Close
HomeNewsITliteLLM – 50개 이상의 LLM을 지원하는 프록시 서버

liteLLM – 50개 이상의 LLM을 지원하는 프록시 서버

노리컴퍼니ITNo Comments 93 views
  • /chat/completion API를 Azure, OpenAI, Replicate, Anthropic, Hugging Face 등의 다양한 LLM에 대해서 호출 가능
  • Input/Ouput 포맷을 OpenAI 포맷으로 통일
  • 모델 Fallback을 지원(예: GPT-4 실패시 llama2 호출)
  • 로깅 지원: Supabase, Posthog, Mixpanel, Sentry, Helicone

    • …

    출처 : GeekNews – 개발/기술/스타트업 뉴스 서비스

You Might Also Like

Leave a Reply

Your email address will not be published. Required fields are marked *

이 사이트는 스팸을 줄이는 아키스밋을 사용합니다. 댓글이 어떻게 처리되는지 알아보십시오.

© 2024 NORICOMPANY