- 3B/7B 모델을 공개, 15B/30B/65B 모델도 공개 예정이고 175B까지 계획중
- 모델은 CC BY-SA-4.0 라이센스로 출처 표기시 상업적 이용 가능
- 오픈 데이터셋인 The Pile에 기반했지만 3배 크기인 1.5T 토큰을 가지는 새로운 데이터셋으로 훈련
- 컨텍스트 길이는 4096 토큰
- PoC로…
잼난 개발놀이, 노리컴퍼니