- LLM이 많이 사용되면서 긴 시퀀스에 대해서 적용하는 것이 중요해짐: 문서 요약, 코드 작성, 단백질 서열 예측등
- 하지만 대부분의 오픈소스 LLM(LLaMA, MPT, Falcon) 등은 최대 2K 토큰 시퀀스 길이로 훈련됨
- XGen-7B 는 최대 8K 시퀀스 길이 까지로 1.5T 코큰에 대해 훈련
- 표준 NL…
잼난 개발놀이, 노리컴퍼니