- OpenAI와 호환되는 REST API로 다양한 LLM들을 이용 가능
- GPU 없이도 가능. llama.cpp 호환 LLM에서는 GPU 가속 지원
- 다중 모델을 지원하며, 오디오 트랜스크립션, 텍스트 생성, 이미지 생성(Stable Diffusion) 지원
- 한번 로딩되면 모델을 메모리에 저장해두고 빠른 추론 지원
…
잼난 개발놀이, 노리컴퍼니