- DeepMind의 Flamingo 모델을 오픈소스로 구현한 것
- 3B, 4B, 9B 모델을 공개
- MPT-1B/7B 와 RedPajama-3B 기반
- 같은 Flamingo 모델 성능의 80% 이상을 달성
- 훈련및 평가코드를 개선
- Fully Sharded Data Parallel (FSDP) 지원
- 새로운 데이터셋…
잼난 개발놀이, 노리컴퍼니