谷歌发布 Gemini 3.5 Transcribe:语音转录从逐字记录走向智能整理
谷歌推出 Gemini 3.5 Transcribe,支持 85+ 语言、说话人分离与智能整理,流式词错误率 4.0%。
8 月 26 日,谷歌发布新一代语音转文本模型 Gemini 3.5 Transcribe。与传统逐字记录型语音识别不同,这款模型在转录过程中会自动处理「嗯」「啊」等语气词、口误和重复表达,并补充标点、大小写及文本格式,目标是把原始语音直接转成更接近成稿的文本。谷歌 CEO Sundar Pichai 将其称为「迄今最精确的语音转文本模型」。
核心能力:多语言、自修正与说话人分离
Gemini 3.5 Transcribe 支持 85 种以上语言和地区变体,并能自动判断当前使用的语言,用户无需提前设置语种,即使在同一段对话中切换语言,模型也可继续转录。该能力主要面向跨国会议、多语言访谈、客服通话以及夹杂中英文专业术语的场景。
模型具备语义级自修正能力。例如,当用户说「我们周二开会——不,改成周三」时,模型能理解后半句是对前面内容的修正,并在最终文本中保留正确结果,而不是机械记录整段口误。
针对嘈杂环境、不同口音与多语言对话,谷歌进行了优化,并增强了对电话号码、邮政编码、订单号等字母与数字混合信息的识别能力。模型还支持自定义词表,开发者最多可提供 1000 个专业词汇、缩写、人名或产品名称,引导模型优先识别这些内容;谷歌建议实际使用中控制在 100 个词以内效果更佳。
在说话人分离方面,模型可识别最多 8 名说话人,并把不同语音片段分配给对应说话人标签。谷歌同时提醒,3 名以上说话人的识别目前仍属实验性能力。对于预录音频,模型还能输出逐词时间戳,便于制作字幕或定位原话。
性能数据与版本划分
根据谷歌引用的 Artificial Analysis 测评,Gemini 3.5 Transcribe 在实时流式场景下的平均词错误率为 4.0%,非流式录音处理为 2.6%。与上一代 Chirp 3 相比,最终转录延迟缩短了 70%,实时版本可通过 WebSocket 以低于一秒的延迟持续返回阶段性转录结果。
谷歌提供两个版本:
gemini-3.5-transcribe-live:面向实时字幕、语音输入和 Voice Agentgemini-3.5-transcribe:面向采访录音、会议、通话记录等预录音频,支持说话人分离和逐词时间戳
限制方面,启用说话人分离或逐词时间戳时,单次录音长度上限为 30 分钟;普通音频转录则支持单次最长 1 小时。
定价方面,实时转录约为每分钟 0.009 美元,非实时转录约为每分钟 0.005 美元,并提供免费测试额度。开发者可通过 Google AI Studio 的 Gemini API 和 Gemini Enterprise Agent Platform 调用。
从「听写」到「整理」的产品转向
Gemini 3.5 Transcribe 引入的 Smart Transcription 功能,会主动清理语气词和重复内容,根据上下文处理自我修正,并把口语转成带标点和结构的文本。它还支持「逆文本规范化」,例如将口述的「twenty six million dollars」直接转换为「$26M」。
这种「智能整理」也带来新风险:在会议纪要和日常语音输入中删除语气词通常无害,但在新闻采访、法律取证等需要逐字核对的场景中,自动删除重复表达或改写数字可能改变说话人原始措辞。为此,模型同时提供 Verbatim 模式,允许开发者获得更接近逐字记录的文本。
相关能力已开始进入谷歌自家产品:Android 版 Gboard 的 Rambler 功能可将口述内容转为格式化文本并支持语音改写;macOS 版 Gemini 应用可结合屏幕上下文识别文件名和当前文档,通过语音指令调用其他 Gemini 模型完成文件总结、文本改写和图片生成。
战略意义:语音 Agent 的基础拼图
在行业普遍聚焦多模态与 Coding Agent 的背景下,单看一款语音转文本模型容易让人感觉「节奏错位」。但从产品逻辑看,Gemini 3.5 Transcribe 的价值不在于重新发明听写工具,而在于补齐语音 Agent 进入生产环境前最基础的一层:在客服、会议、采访、医疗记录等场景中,让机器先稳定听懂噪声、口音、自我修正和语言切换,再把整理过的结构化文本交给下游 Agent 执行任务。
因此,这款模型只有被嵌入 Gboard、Gemini、Chrome 和企业 Agent 工作流,让语音成为调用工具和执行任务的入口,才能真正体现战略意义。
参考链接:https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-5-transcribe/ https://ai.google.dev/gemini-api/docs/pricing?hl=zh-cn
