본문 바로가기

[AI] 인공지능의 단편

AI divide

기존 ChatGPT, Claude 등 open source 모델 LLM에서 2023년 이후에는 메타의 Llama를 위시한 프랑스의 Mistral, 중국의 DeepSeek 등 closed source 모델 LLM의 등장이 확대되고 있다.

MMLU(Massive Multitask Language Understanding) 벤치마크도 open source 모델과 closed source 모델간 거의 차이가 없다. 

2024년 9월 기준 DeepSeek는 MMLU가 약 81% 수준으로 떨어지기는 한다.