关于 Sesame
让 AI 语音真正像人
Sesame AI 提出「语音临场感（voice presence）」概念，目标是让 AI 生成语音真正自然、富有情感并被理解。其 Conversational Speech Model（CSM）不同于传统 TTS 逐字转语音，而是融合文本与语音的多模态模型，能捕捉停顿、语调与重音等细微差异。
CSM 在约 100 万小时多样音频数据上训练，端到端多模态架构带来亚 500 毫秒的平均延迟与最长约 2 分钟的上下文记忆，使对话流畅自然、可处理打断与强调。其演示一度吸引超百万用户体验、生成数千万分钟语音，被评价为当时最像人的对话语音。
在工程上，CSM 采用残差矢量量化（RVQ）对语义与声学分别编码，并以自回归 Transformer 完成文本到音频的生成。Sesame 已将关键组件以 Apache 2.0 开源（CSM 1B / 8B），代码托管于 GitHub、模型与在线 Demo 位于 Hugging Face，方便开发者与研究者构建语音助手与 AI 陪伴。
核心功能一览
六大核心能力，覆盖创作全流程
语音临场感
捕捉微停顿与语调变化，语音真实到难以分辨来自人类，跨过恐怖谷。
情感智能
识别并适应用户情绪，以恰当的语气回应兴奋、思考或需要安慰的场景。
低延迟 <500ms
流式解码实现亚 500 毫秒平均延迟，实时对话不再有明显停顿。
2 分钟上下文
保留最长约 2 分钟对话上下文，自然引用前序话题，保持连贯。
Apache 2.0 开源
CSM 1B / 8B 开源，GitHub 与 Hugging Face 可下载，便于自托管与二次开发。
零基础快速上手
4 步完成你的第一件 AI 作品，无需任何设计经验
体验在线 Demo
访问 sesame.com 的语音 Demo，与预训练音色对话，感受实时拟人语音。
获取开源权重
从 Hugging Face 拉取 SesameAI/csm-1b 等权重，或从 GitHub 克隆 SesameAI/csm 仓库。
本地推理
准备 GPU 与 Python 环境，加载 CSM 权重运行推理，默认片段约 10 秒，可微调延长。
接入应用
通过开源权重或官方 API 把 CSM 集成进语音助手、AI 陪伴或客服机器人。
常见问题解答
遇到问题？这里可能有你想要的答案
Sesame 免费吗？
开源权重（CSM 1B/8B）以 Apache 2.0 免费下载与商用；在线 Demo 与官方 API 的具体定价以官网为准。
和 ElevenLabs、Fish Audio 有什么区别？
ElevenLabs 与 Fish Audio 以高质量 TTS 见长且部分开源；Sesame 的 CSM 聚焦对话临场感与上下文感知，更适合需要自然多轮对话的语音助手与陪伴场景。
Sesame 支持中文吗？
CSM 主要在英语数据上训练，英语表现最佳，对非英语有一定能力但效果有限 ；多语言扩展仍在路线图中。
与语音合成产品对比
和同类工具横向对比，帮你选对工具。
| 对比维度 | Sesame CSM | ElevenLabs | OpenAI 语音 | Fish Audio |
|---|---|---|---|---|
| 定位 | 对话语音模型 | TTS 平台 | 语音模型 | TTS 平台 |
| 延迟 | <500ms | 低 | 低 | 低 |
| 上下文 | 2 分钟 | 较长 | 较长 | 较长 |
| 开源 | Apache 2.0 | 闭源 | 闭源 | 开源 |
| 情感表达 | 强（临场感） | 强 | 中 | 中 |
同类推荐工具
发现更多优质 AI 创作工具，找到最适合你的那一款
AssemblyAI
AssemblyAI 是 2017 年成立于旧金山的语音 AI 公司，提供高准确度的 Speech-to-Text 与音频智能 API：说话人分离、情感分析、自动章节、PII 脱敏，以及用 LeMUR 对音频做 LLM 级问答与总结。
Deepgram
Deepgram 是用于实时与批量语音转写的开发者优先 STT API，Nova-3 模型实现亚 300ms 流式延迟、50+ 语言支持，并为语音智能体提供原生端点检测。
Descript
Descript 是 AI 驱动的音视频编辑器，用「像编辑文档一样编辑视频」：导入录音后自动转写，删掉文字对应的片段就消失；内置 Underlord AI 剪辑师、Studio Sound 与配音克隆，转录准确率达 95%。
ElevenLabs
ElevenLabs 是领先的 AI 音频与语音平台，提供文本转语音、语音克隆、声音设计、音乐生成与语音转写，支持多语言，广泛应用于配音、有声书与客服语音智能体。