기계 번역 평가를 위한 COMET 스코어
Lexical Metric의 한계 기계 번역(Machine Translation) 모델의 성능을 평가하는 Metric 에는 여러 가지가 있지만, 가장 간단하면서도 대표적인 것은 BLEU 라는 지표이다. BLEU 스코어는 Reference (정답문) 과 Hypothesis (번...
Recent posts
얼렁뚱땅 LLM을 만들어보자 [2/3]
Pre-training 이번에는 Pre-training을 해볼 차례이다. Pre-training은 모델에게 우리가 원하는 Task를 학습시키기 전에 다량의 코퍼스를 먼저 보여줌으로써, 언어에 대해 전반적인 이해를 시키는 과정이다. 다시 말해, 우리는 ChatGPT 같은 대화가...
얼렁뚱땅 LLM을 만들어보자 [1/3]
Large Language Model (LLM) 2024년 5월 13일, OpenAI에서 GPT-4o를 발표했다. 알파벳 o는 “omni”를 의미하며, GPT가 더 이상 텍스트에 국한되지 않고 오디오, 이미지, 나아가 비디오까지 이해하고 소통할 수 있게 된 것이다. 오냐오냐 ...