NVIDIA가 음성 모델 Nemotron 3.5 Transcribe를 공개 가중치로 내놓았다. 같은 모델에 자연어 지시만 바꿔 전사, 화자 표시, 영어 번역, 회의 내용 질의응답을 시킬 수 있다. 대상은 녹음된 오디오이고, 실시간 스트리밍은 지원하지 않는다.
- 지원 범위: 40개 언어 전사, 이 중 31개 언어와 영어 사이의 양방향 번역, 13개 언어 화자 구분을 지원한다. 최대 1시간 길이, 화자 8명까지 처리하고 단어 단위 타임스탬프도 준다. 오디오 질의응답은 영어로만 학습했다.
- 정확도: Open ASR 영어 평가에서 공개 가중치 모델 중 평균 WER 5.33%로 1위다. 전체 300억 파라미터 중 토큰당 약 40억 개만 활성화하는 구조다.
- 화자 구분: Sortformer의 화자 단서를 언어 모델에 넘겨 생성하는 도중에 화자를 붙인다. 전사 후에 단어와 화자를 맞추는 방식이 아니다. David AI 평가에서 DER 18.26%, VoiceArena에서 cpWER 32.4%로 비교 시스템 중 가장 낮았다.
- 배포: 현재 체크포인트는 vLLM과 SGLang-Omni로 직접 띄우거나 Baseten, DeepInfra, Simplismart의 호스팅 엔드포인트로 쓴다. NVFP4 양자화판과 로컬 실행 지원은 예정 단계다. 양자화판은 GPU 1대에서 100시간 분량을 3분 안에 처리한다고 하는데, 30초 클립과 높은 동시성을 가정한 벤치마크다.
- 데이터와 도메인 적응: 학습에 쓴 정제 파이프라인과 Granary v2 매니페스트(48개 언어, 463,062시간)가 공개됐다. 원본 오디오는 코퍼스별 라이선스에 따라 따로 받아야 한다. 의료 녹음 사례에서는 미세조정으로 별도 평가 화자의 WER가 22.44%에서 12.17%로 내려갔지만, 일반 영어 인식 성능은 소폭 떨어졌다.
회의록, 상담 녹취, 강의 영상 자막처럼 녹음을 쌓아 두고 나중에 처리하는 업무에 먼저 어울린다. 도메인 용어를 후보 목록으로 프롬프트에 주고 “오디오가 뒷받침할 때만 쓰라”고 지시하는 방식은, 모델을 다시 학습하지 않고도 써 볼 만하다. 다만 자료에는 한국어가 지원 목록에 들어 있는지 나와 있지 않다. 작업별 언어 지원표는 모델 카드에 있으니, 한국어 전사나 화자 구분이 필요하다면 도입 전에 거기서 확인해야 한다.
수치를 읽을 때도 조심할 점이 있다. 의료 사례는 인도 의사와 의대생의 영어 녹음 기준이고, 대부분의 성능 수치는 NVIDIA가 인용한 공개 벤치마크 결과다. 우리 녹음에서 같은 개선이 나온다는 보장은 없다. 제공사도 이름, 화자 전환, 질의응답 결과를 원본 녹음과 대조해 표본 검수하라고 안내한다. 업무에 넣으려면 자체 녹음 샘플로 오류율을 먼저 재 보는 편이 안전하다. 실시간 자막이 필요한 서비스에는 이 모델이 맞지 않고, 양자화판과 로컬 배포는 아직 나오지 않았다.
원문: NVIDIA Nemotron 3.5 Transcribe: 40개 언어를 지원하는 공개 음성 인식 모델 (GeekNews)