音频生成

ResceneAgent（Rescene Agent OS）是一款本地优先的开源自迭代智能体操作系统，聚合多家免费模型并提供智能路由与熔断自愈，可用一条 marathon 命令抓取 Hacker News/GitHub 热点自主选题，按需求→计划→自检闭环迭代交付；同时具备联网自学写入记忆文件，以及内置 54 个设计系统参考的前端设计能力。

fal 是生成式媒体模型推理与 Serverless GPU 平台，提供 1000 多款可直接用于生产的图像、视频、音频和 3D 模型 API，支持按量或预留容量计费、私有端点、单点登录、SOC 2 合规与使用分析，并可在 H100/H200/B200 GPU 上扩展自定义模型的训练与部署。2026 年 9 月，xAI 语音模型 Grok Voice 上线 fal，开发者可调用它构建低延迟语音智能体。

Wan3.0（万相3.0）是阿里云推出的视频生成模型，目前处于公开测试阶段，主打“简单输入、智能创作”。它支持原生30秒长度的视频生成与真实感级别渲染，并通过 Omni-Reference 能力在文本、图像、音频、视频之外，进一步接受文档、表格、幻灯片、网页等参考输入来驱动视频创作。

Muse 是 Alexandr Wang（Scale AI 创始人、Meta 首席 AI 官）于 2026 年 9 月 8 日宣布推出的个人 AI 助手，同日开放试用。它主打始终在线、响应速度快，能够自主使用浏览器执行操作，并可连接用户的各类应用账户，产品设计上注重安全。用户可通过官方发布的试用链接体验。

Runway 是基于自研 Real-World Intelligence 模型构建的云端 AI 创意平台，在同一工作区内提供视频、图像与音频的生成和编辑能力，聚合 Gen-4.5、Seedance、Nano Banana Pro、Lyria 3、Text to Speech 等大量模型。支持改光影、换风格、增删画面元素等指令式视频编辑，并可搭建节点式自定义 Workflows 串联多模型、多模态与中间步骤，面向个人与各规模团队。

ElevenLabs 是 AI 语音与音频生成平台，自研基础模型，提供文本转语音（支持 29+ 语言、低延迟对话）、声音克隆、实时语音转录（Scribe）、音效生成、人声分离，以及与唱片公司和出版商合作打造、可商用的 Music API / Eleven Music 音乐生成模型；同时提供 ElevenAgents 实时对话式语音智能体，并面向开发者开放 API，采用免费加付费套餐模式。

FLUX 3 是 Black Forest Labs 发布的多模态基础模型，基于 Self-Flow 方法在单一架构中联合学习图像、视频与音频，同一组权重即可输出图像、视频、带原生音频的视频以及机器人动作预测。FLUX 3 Video 可单次生成长达 20 秒、带原生音频的视频。模型提供 API、Playground 在线试用与开放权重部署，支持按需付费与商业授权，面向内容创作与物理 AI 场景。

SkyProduction（天工工作台）是一款面向短剧与短视频创作的AI视频工作台，将剧本翻译、剧本评分、小说转剧本、资产生成、分镜拆解和视频镜头制作串到同一条生产线上，并提供导演Agent自动化流程、无限画布多人实时协作、片段重拍、视频智能拉片与超分去水印等后期处理能力，支持团队多管理员、子工作室与项目成员权限及积分成本管理。通过官网可一键生成视频素材并制作完整视频。

Wombo 是一款开源自托管的 AI 游戏素材工作室：用文本提示词生成角色、精灵动画与音效。可生成对齐的侧视、正视、背视参考图，并制作待机、行走、战斗等动画序列，通过色度键抠像输出可直接使用的精灵图，帧序列自动保存为 PNG 与 Aseprite 文件。图像与视频调用经 OpenRouter（GPT-Image、MiniMax），声音与音效由 ElevenLabs 生成。基于 Node.js 本地运行，需自备对应服务商 API Key。

Adobe Firefly 是 Adobe 的一站式 AI 创意工作室，可通过文本提示生成并编辑图像、视频、音频与矢量图，并集成 Google、ElevenLabs、Kling AI、Luma AI、OpenAI、Runway 等第三方模型。2026年8月音频工具全面开放：生成免版税音乐、配音、场景音效，输出可商业使用；AI Assistant 提供每日免费生成并新增支持多模态输入的 Gemini Omni Flash 模型。

Adobe Premiere 是 Adobe 面向手机推出的移动 AI 视频编辑应用，安卓版于 2026 年 9 月 22 日登陆 Google Play（需 Android 13、至少 5GB 内存）。应用提供帧级多轨时间线，可分割、修剪、合并视频，调速并添加转场、文字、色彩预设及旁白音效，核心剪辑免费，可不限次数导出无水印 4K 视频。AI 语音增强与 Firefly 文生图等生成式功能及额外云存储需内购，Adobe 称不使用用户内容训练。

ComfyUI是一款面向视觉专业人员的AI创作引擎，通过强大的模块化节点图界面，让用户无需编写代码即可实验和创建复杂的Stable Diffusion工作流。它原生支持SDXL、Flux、Qwen Image等多种图像模型，可生成图像、视频、3D模型和音频等内容。ComfyUI支持Omnigen 2、Flux Kontext等图像编辑模型，具备Inpainting、ControlNet、Upscale Models等功能，可对图片进行局部修改、扩图和超分辨率放大等操作。其智能内存管理可在低至1GB显存的GPU上自动运行大模型，并提供异步队列系统仅重新执行工作流中变化的部分。ComfyUI可在Windows、Linux和macOS上本地运行，也提供官方云端版本，并能通过API端点无缝集成到生产流程中

CosyVoice 是基于通义自研 Qwen-Audio 音频大模型的 AI 语音平台，包含语音记录 CosyFlow、音频创作 CosyCreative 与语音智能体 CosyAgent。CosyFlow 提供实时高质量语音转文本、自动过滤口语填充词、方言识别与口述成稿；CosyCreative 支持从想法生成播客与有声书、音色复刻、多角色多语言配音及多轨音频编辑。

Grok Imagine 是 SpaceXAI（xAI）推出的 AI 图像与视频生成工具，作为 Grok 套件的创意子产品独立于 grok.com/imagine 提供。用户可使用其生成或编辑图像、将图像动画化为视频，并可借助 Imagine Agent Mode 快速迭代创意流程；2026-07-31 上线的模板大更新带来了现成预设以及照片编辑、风格重绘、智能调整尺寸、背景移除、头像制作、表情符号生成器、周边产品制作器等大量新创意工具，面向内容创作者与营销人员。

Luma Agents 是 Luma AI 推出的创意工作智能体，可围绕视频、图像、音频和文本进行研究、生成与精修，并在整个过程中保持品牌一致性。由 Uni-1 品牌智能模型和 Ray 3.2 视频模型驱动，支持像导演拍摄一样控制每一帧、跨镜头保持连续性，并可从任意图像中提取图层，替换产品、重设背景风格、重写标题，改一个元素而保留其余内容。

MAGI-2-preview 是 Sand.ai 开源的音视频统一生成模型，总参数 114B，每个 token 仅激活约 6B 参数，基于自研 MagiMoE 架构并在模型结构、训练系统与数据三方面协同设计，探索视频生成的高效 Scaling 路径。它可直接生成带声音的视频内容，支持对白、歌唱与情绪变化，并让口型、表情、眼神与肢体动作自然配合，代码与权重在 GitHub 与 Hugging Face 公开。

MiniMax Design 是稀宇科技推出的新一代 AI 原生创作平台（Harness），以 Agent 全流程协助创作，串联文本、图像与音视频模型，把多模态模型能力变成真实可用生产力。主 Agent 理解创意目标后自动拆解任务并调用多个专属智能体并行执行，画布节点自动连线，支持升级、编辑与导出，并可通过专属 Skill 与专业插件沉淀经验。适用于短剧、电商批量出图出视频、品牌 TVC 与投放素材等商业内容制作场景。

MiniMax H3 是 MiniMax 发布的通用全模态生成模型，可对文本、图像、视频、声音组成的多模态上下文进行统一理解，并输出具备原生双声道音视频，最高支持 15 秒 2K 分辨率。模型通过 /v2/video_generation 接口以多模态 content[] 结构调用，支持 t2va 文生视频、i2va 图生视频、首尾帧生视频及多模态参考四种模式。MiniMax 宣布将在未来数日内依法开放模型权重。

minimax-h3-mlx 是 PipeNetwork 开源的 Python 项目，把 MiniMax-H3 全模态生成模型从零重写为 MLX 实现，使 33B 视频+音频联合扩散管线可在 Apple Silicon 设备本地运行。项目包含 33B 扩散 Transformer、Qwen3-VL-32B 冻结条件编码器以及视频与音频两套 VAE，可同步生成带立体声音轨的视频片段，并通过 AdaLN 预计算在推理时减少 13B 参数。

Google 旗下 AI 笔记与研究工具 NotebookLM 更名为 Gemini Notebook，为每个笔记本配备安全云端计算机，可原生编写并执行代码完成基于数据源的复杂数据分析，内置超过100项软件技能，升级至 Gemini 3.5，增强长文档分析、网络研究和多步骤推理能力。

Qwen-Audio是阿里通义千问团队推出的音频语言大模型系列，能够接受多种音频信号输入并执行音频分析或根据语音指令进行文本回复。模型支持语音聊天和音频分析两种交互模式，用户可无需文本输入直接进行语音交互，也可提供音频和文本指令进行分析。最新版本Qwen-Audio-3.0-Realtime在智商、Agent工具调用、共情对话和双工交互流畅度四条主线上同步升级。

Qwen-MM-Plugins 是通义千问推出的原生多模态插件集合，把图像、视频、文档与 3D 模型的读取理解、OCR、目标定位、分割、语音识别、视觉对话与联网搜索打包为 skill 加 MCP 服务器，并提供长视频图记忆、视频剪辑与图像/视频/音频生成、Blender 三维建模、FreeCAD 参数化 CAD 及教学讲解视频生成等能力，可安装到 Claude Code、Codex、Qwen Code、Gemini CLI 等智能体框架。

Runware 是 AI 推理服务平台，通过单一 API 端点调用 40 万以上图像、视频、音频、3D 与大语言模型，切换模型只需修改字符串。平台自建 Sonic Inference Engine 硬件与推理引擎，请求经路由、优化后执行，支持按秒计费的 GPU 算力，并可通过 MCP 客户端接入 Claude Code、Cursor 等开发环境。

Seedance 2.5 是字节跳动 Seed 团队发布的新一代音视频生成模型，单段视频生成时长提升至 30 秒并支持两次视频延长，延续多模态音视频联合生成架构并强化参考与编辑能力，提供白模控制、绿幕编辑等进阶能力以适配专业视频创作流程，将陆续在即梦 AI、豆包专业版上线，火山方舟 API 也将接入。