Lanarky – LLM을 프로덕션에 배포하기 위한 오픈소스 프레임워크

• FastAPI 기반
• 멀티 모드 토큰 스트리밍
• 빠른 프로토타이핑을 위한 간단한 gradio 챗봇
• LangChain 어플리케이션 지원
• 다수의 LLM 캐싱 전략
• 지원 예정: LlamaIndex, Guidance, Rebuff 등 지원 및 SQL DB 연동

…

출처 : GeekNews – 개발/기술/스타트업 뉴스 서비스