- GPT/LLaMA/PaLM 같은 LLM 모델은 토큰 기반으로 동작
- 텍스트를 받아서 토큰들(Integers)으로 변환하고, 다음에 어떤 토큰이 나올지를 예측함
- OpenAI가 Tokenizer를 공개했지만, 필자는 Observable notebook 으로 자신의 버전을 공개(GPT-2 기반의 교육용 )
- 텍스트-to-토큰, 토큰-to…
잼난 개발놀이, 노리컴퍼니