- 1800억개의 파라미터가 포함된 최대 규모의 공개 언어 모델
- 공개 모델중에선 리더보드 1위에 랭크. Llama 2 70B 및 GPT-3.5를 능가하며 PaLM-2와 경쟁
- TII의 RefinedWeb 데이터 세트(대부분 영어)를 이용하여 3.5T 토큰으로 훈련
- Llama 2 보다 2.5배 더 크고 4배 이상의 컴퓨팅 파워…
잼난 개발놀이, 노리컴퍼니