- 최근 LLaMa 추론 코드를 순수 C++로 재작성한 프로젝트에 대한 기사, Pixel5, M2 Macbook Pro, Raspberry Pi 등 다양한 하드웨어에서 실행 가능
- 대형 모델이 일반적으로 비싼 GPU를 필요로 하는데, 이것이 어떻게 가능한지에 대한 저자의 탐구
- GPU는 그들의 큰 메모리 대역폭과 계산 능력 때…
잼난 개발놀이, 노리컴퍼니