- 8k 컨텍스트 길이를 지원하는 7B 파라미터 오픈소스 LLM
- MPT-7B에 추가로 500B 토큰 데이터를 이용해 256개의 NVidia H100 으로 3일간 트레이닝
- 3개의 모델을 공개 : MPT-7B-8k, MPT-7B-8k-Instruct, MPT-7B-8k-Chat
- 상업적 용도로 사용 가능
- ALiBi(Attention with Linear…
잼난 개발놀이, 노리컴퍼니