- 다양한 종류의 LLM을 지원하여 추론, 배포 가능
- StableLM, Falcon, DOlly, Flan-T5, ChatGLM, StarCoder,..
- 하나의 명령으로 LLM을 RESTful API 또는 gRPC로 서빙
- WebUI, CLI, Python/Javascript Client 또는 모든 HTTP Client에서 호출
- LangChai…
잼난 개발놀이, 노리컴퍼니