- /chat/completion API를 Azure, OpenAI, Replicate, Anthropic, Hugging Face 등의 다양한 LLM에 대해서 호출 가능
- Input/Ouput 포맷을 OpenAI 포맷으로 통일
- 모델 Fallback을 지원(예: GPT-4 실패시 llama2 호출)
- 로깅 지원: Supabase, Posthog, Mixpanel, Sentry, Helicone
…
잼난 개발놀이, 노리컴퍼니