talk-llama – 터미널에서 LLaMA와 대화하기

• Whisper Medium(Whisper.cpp) + LLaMA v2 13B Q8_0 을 M2 Ultra에서 시연
• Whisper로 음성인식하여 해당 질문을 LLaMA에게 보낸뒤 답변을 MacOS의 음성합성(say 명령)을 이용해서 출력
• 세션 관리를 지원해서 기존 대화 내용에 기반한 연속적인 대화 가능

…

출처 : GeekNews – 개발/기술/스타트업 뉴스 서비스