- 원래 Python 으로 구현되어 있던 모델을 GGML 라이브러리를 이용해서 C++로 포팅
- 경량화된 코드를 통해 다양한 곳에서 이용 가능
- 원작성자 Georgi Gerganov의 이름을 딴 GGML은 llama.cpp/whisper.cpp 를 만드는데 사용한 양자화 지원 텐서 라이브러리
- GPU보다는 CPU에 최적화. 특히…
잼난 개발놀이, 노리컴퍼니