- GPL 라이센스인 LLaMA 코드 대신, nanoGPT 기반으로 Apache 2.0 라이센스로 완전히 별도 개발된 오픈소스
- bolierplate 없이 단일 파일로 구현되어 심플하며, 기존 모델과 수치적으로 동일
- FlashAttention, 양자화, LoRA 파인튜닝, 사전 학습등을 지원
- 소비자용 하드웨어에서 실행되…
잼난 개발놀이, 노리컴퍼니