ElevenLabs 是 AI 语音与音频生成平台,自研基础模型,提供文本转语音(支持 29+ 语言、低延迟对话)、声音克隆、实时语音转录(Scribe)、音效生成、人声分离,以及与唱片公司和出版商合作打造、可商用的 Music API / Eleven Music 音乐生成模型;同时提供 ElevenAgents 实时对话式语音智能体,并面向开发者开放 API,采用免费加付费套餐模式。
Capability Timeline
声音克隆
用少量参考音频复刻指定音色并生成同音色语音的能力
相关工具
10Cartesia 是基于状态空间模型(SSM)构建的实时语音 AI 平台,提供流式文本转语音(TTS)与语音转文本(STT)模型,主打低延迟语音智能体场景。其 Sonic 系列 TTS 主打 sub-90ms 首音频时间,支持内联表情标记、自定义发音词典以及速度/音量/情绪参数,可通过 API 与 LiveKit Agents 插件集成。模型可在云、私有化与端侧部署,面向语音代理、客户交互与内容本地化等生产场景。
CosyVoice 是基于通义自研 Qwen-Audio 音频大模型的 AI 语音平台,包含语音记录 CosyFlow、音频创作 CosyCreative 与语音智能体 CosyAgent。CosyFlow 提供实时高质量语音转文本、自动过滤口语填充词、方言识别与口述成稿;CosyCreative 支持从想法生成播客与有声书、音色复刻、多角色多语言配音及多轨音频编辑。
Grok Voice 是 xAI(SpaceXAI)推出的最新语音模型,已在 fal 平台上线并可通过 API 调用。它能在 0.70 秒内应答、在句子结束前完成工具调用,适合构建低延迟语音智能体;支持带词级时间戳的语音转录、覆盖 25 种以上语言与 30 种以上音色的文本转语音,以及用两分钟音频完成声音克隆,面向客服等实时语音场景。
MAI-Voice-2.1 是微软 AI 发布的多语言文本转语音模型,支持 23 种语言、26 个地区设置,同一音色可用母语口音讲所有语言,适合品牌在多语言辅导、助手和客服场景保持统一声音。它可凭数秒参考音频完成跨语言声音克隆,并内置同意护栏防滥用。高速变体 MAI-Voice-2.1-Flash 端到端延迟约 150 毫秒,定价为每百万字符 15 美元;标准版为 22 美元,可经 Microsoft Foundry、MAI Playground 及 OpenRouter 使用。
OpenAI 是提供多种大模型与 API 服务的 AI 工具平台。本次官方新增能力:开发者可在用量与支出仪表板中按 API 密钥追踪各应用和工作负载的用量与支出,并可为组织或项目设置月度支出限额,包括达到限额即停止流量的硬性上限,帮助企业精细化管控 API 调用成本。
Suno 是一款 AI 音乐生成产品,覆盖网页端与移动端,可将创意直接生成为完整歌曲。平台支持高级音轨分离、将音轨导出为 MIDI、歌词合写与自动保存、截图生成歌曲等创作能力,并已接入 Apple CarPlay 与 Android Auto 车载场景,适合内容创作者和音乐爱好者快速完成从灵感到成品的音乐制作流程。
YouDub WebUI 是开发者刘朝(@liuzhao1225)开源的 AI 视频本地化与配音工具,由面壁智能 VoxCPM2 驱动,支持 YouTube、Bilibili 及本地视频。它通过语音识别、字幕翻译、声音克隆/语音合成、人声与背景音分离、混音渲染的全自动管线,输出保留原音的硬字幕视频、纯配音视频或字幕配音一体视频;成熟场景为 YouTube 英文→中文配音,亦支持 B 站中文→英文与本地日文→中文。
剪映是字节跳动旗下的一站式AI视频创作平台,集AI视频生成、多轨道专业剪辑、数字人、AI音乐、文本朗读与音色克隆于一体,提供超清画质、AI补帧、智能调色、人声分离、智能剪口播等能力,支持PC与移动端,服务自媒体口播、影视二创、政企宣传与营销推广等创作场景。
VoxCPM 是 OpenBMB(面壁智能)开源的无分词器语音合成模型,支持 30 种语言直接输入文本合成语音,可仅凭自然语言描述设计全新音色,也能用一段短参考音频克隆音色并控制情绪、语速与风格;原生输出 48kHz 高质量音频,并支持实时流式推理,权重与代码以 Apache 2.0 许可发布,允许商用。


