엔비디아가 텐서RT(TensorRT) 8을 20일(현지시간) 출시했다. 텐서RT 8은 엔비디아의 8세대 AI 소프트웨어로, 언어 쿼리에 대한 추론 시간을 절반으로 줄여 개발자들이 업계 최고 수준의 성능을 제공하는 검색 엔진, 광고 추천 플랫폼, 챗봇을 개발하도록 돕고, 이를 클라우드부터 엣지에서 제공하도록 지원한다.텐서RT 8의 최적화 기능은 언어 애플리케이션을 위한 기록적인 속도를 제공하여, 전세계적으로 가장 널리 사용되는 트랜스포머 기반 모델 중 하나인 BERT-라지(BERT-Large) 모델의 추론을 1.2밀리세컨드(ms) 만
출처 : 인공지능신문 – 전체기사
