대규모 언어 모델(LLM)의 획기적인 새로운 기능은 인공지능(AI)의 영역을 넓히고 있다. 그러나 큰 크기와 특수한 실행 특성으로 비용 효율적인 방식으로 사용하기 어려울 수 있다.여기에, 엔비디아가 새로운 소프트웨어 ‘엔비디아 텐서RT-LLM(NVIDIA TensorRT-LLM)’의 출시를 지난 8일(현지시간) 발표했다.엔비디아는 대규모 언어 모델 추론을 가속화하고 최적화하기 위해 메타(Meta), 애니스케일(Anyscale), 코히어(Cohere), 데시(Deci), 그래머리(Grammarly), 미스트럴 AI(Mistral AI
출처 : 인공지능신문 – 전체기사
