llama-tokenizer-js – 브라우저에서 실행되는 LLaMA 토크나이저

• 클라이언트 사이드에서 토큰을 정확하게 계산하기 위해 사용 가능
• 의존성 전혀없는 하나의 파일로 쉽게 사용 가능
• 대부분의 LLaMA 기반 모델과 호환
• 약 2천개의 토큰을 20ms 안에 토큰화 가능

…

출처 : GeekNews – 개발/기술/스타트업 뉴스 서비스