- Hugging Face Transformer 기반의 텍스트 생성 모델에 대해서 OpenAI와 호환되는 스트리밍 API를 제공
- 다른 LLM을 이용해서 OpenAI 서비스처럼 이용 가능
- 다양한 디코딩 전략을 이용한 스트리밍 생성 가능
- 디코더-온리 또는 인코더-디코더 모델 모두 지원
- sur…
잼난 개발놀이, 노리컴퍼니