Recent posts

기계 번역 평가를 위한 COMET 스코어

2 minute read

Lexical Metric의 한계 기계 번역(Machine Translation) 모델의 성능을 평가하는 Metric 에는 여러 가지가 있지만, 가장 간단하면서도 대표적인 것은 BLEU 라는 지표이다. BLEU 스코어는 Reference (정답문) 과 Hypothesis (번...

얼렁뚱땅 LLM을 만들어보자 [2/3]

5 minute read

Pre-training 이번에는 Pre-training을 해볼 차례이다. Pre-training은 모델에게 우리가 원하는 Task를 학습시키기 전에 다량의 코퍼스를 먼저 보여줌으로써, 언어에 대해 전반적인 이해를 시키는 과정이다. 다시 말해, 우리는 ChatGPT 같은 대화가...