产品更新 PChome 电脑之家 · 2026-09-11

小米开源工业级语音识别大模型 CocktailASR-1,专攻「鸡尾酒会」多人混叠难题

查看原文 ↗

9 月 11 日,小米正式发布并开源工业级目标说话人语音识别大模型 Xiaomi-CocktailASR-1。该模型采用端到端 LLM 架构,仅需一小段目标说话人参考音频即可在多人同时发言的复杂声学环境中精准提取并仅转录目标语音,在 AliMeeting、AMI、LibriMix 等多个主流测试集上达到 SOTA,权重以 Apache 2.0 协议开放。

语音识别在单人场景下已相当成熟,但当说话人增至两人或更多时,识别率会急剧下降——这一难题被称为「鸡尾酒会问题」。小米此次开源的 CocktailASR-1 走端到端 LLM 架构:以目标说话人的一段参考音频作为「声纹提示」与混合语音一同送入模型,直接转写目标说话人内容,省去先分离再识别两步,且目标不在场时输出空文本以降低误触发。

据技术报告披露,模型音频编码器约 0.6B 参数(源自 Data2Vec2 自监督模型),语言模型骨干为 Qwen3-8B,训练数据约百万小时。在真实会议测试集 AliMeeting 远场词错率达 20.63%(此前最好约 27.5%),合成混音集 LibriMix 两人混叠词错率 4.11%,而 Qwen3-ASR、StepAudio 在重度混叠下飙至 60% 以上;负样本拒识率 68%–80%,通用 ASR 普遍为 0。

开发者侧有两条利好:协议为 Apache 2.0 可免费商用,权重已在 Hugging Face(Ease3/Xiaomi-CocktailASR-1)发布,transformers 加载仅需 trust_remote_code,bf16 单卡可跑。会议纪要、访谈整理、庭审记录这类「只认一个人」的场景,第一次有了免费商用的工业级起点。

相关资讯