Close
HomeNewsITOpenLLM – LLM을 프로덕션에서 운영하기 위한 오픈 플랫폼

OpenLLM – LLM을 프로덕션에서 운영하기 위한 오픈 플랫폼

노리컴퍼니ITNo Comments 158 views
  • 다양한 종류의 LLM을 지원하여 추론, 배포 가능
    • StableLM, Falcon, DOlly, Flan-T5, ChatGLM, StarCoder,..
  • 하나의 명령으로 LLM을 RESTful API 또는 gRPC로 서빙
    • WebUI, CLI, Python/Javascript Client 또는 모든 HTTP Client에서 호출
  • LangChai…

    출처 : GeekNews – 개발/기술/스타트업 뉴스 서비스

You Might Also Like

Leave a Reply

Your email address will not be published. Required fields are marked *

이 사이트는 스팸을 줄이는 아키스밋을 사용합니다. 댓글이 어떻게 처리되는지 알아보십시오.

© 2024 NORICOMPANY