Web LLM – WebGPU로 브라우저에서 LLM 가속하여 실행하기

• 서버 없이 브라우저에서 LLaMA, Vicuna 같은 LLM을 WASM을 이용하여 구동
• WebGPU로 가속 하지만, 별도로 Apache TVM이 지원하는 GPU 백엔드들(CUDA, OpenCL, Vulkan)도 지원
• MLC(Machine Learning Compilation) 기술을 사용

…

출처 : GeekNews – 개발/기술/스타트업 뉴스 서비스