- LLM은 꽤 많은 양의 메모리와 컴퓨팅 리소스를 필요로 함
- DeppSpeed의 ZeRO 패밀리는 이런 문제에 대한 해결책을 제공하여 TNLG-17B, Bloom-176B, MPT-7B, Jurrasic-1 등에서 사용됨
- 하지만 수많은 GPU들이 사용되는 대규모 시나리오에서는 GPU간 잦은 통신이 필요하는 등 오버헤드가 발생…
잼난 개발놀이, 노리컴퍼니