Experiential 是一个面向智能体工作流的开源网关与路由器,通过一个 OpenAI 兼容 API 统一托管、BYOK 和本地模型。它支持按用户、智能体、用例及预算控制模型访问,并可将生产流量转化为针对质量、速度和成本优化的自定义路由器或模型。项目支持本地部署(pip install experiential)及托管平台,默认启用匿名聚合遥测。
Capability Timeline
视频理解
对已有视频内容进行分析、识别与问答,输出对画面与情节的理解结果
相关工具
33ChatGPT是一款人工智能交互平台,能够根据用户保存的聊天记录提供量身定制的回答。该平台支持创建图像、上传文件以及语音对话,并提供深度研究功能。用户登录后可获得个性化服务,其对话内容可能会被审阅并用于改进模型性能
MiMo是小米推出的通用智能平台大模型,专注于智能体代理与长程连贯推理。它通过网页演示与API门户支持快速集成,具备针对长周期代码任务的计算、记忆与进化设计核心。该平台支持多模态交互、开源语音识别与智能体语音合成,通过将复杂世界压缩为可理解语言并预测所需答案,辅助开发者高效构建应用
ResceneAgent(Rescene Agent OS)是一款本地优先的开源自迭代智能体操作系统,聚合多家免费模型并提供智能路由与熔断自愈,可用一条 marathon 命令抓取 Hacker News/GitHub 热点自主选题,按需求→计划→自检闭环迭代交付;同时具备联网自学写入记忆文件,以及内置 54 个设计系统参考的前端设计能力。
Ling-3.0-flash 是蚂蚁百灵(inclusionAI)推出的混合专家(MoE)大模型,总参数约 1240 亿,每 token 激活约 51 亿参数,支持 262144 token 上下文窗口、单次最大输出 32768 token。该模型已上架 OpenRouter,可通过统一 API 免费调用,适合需要长上下文与低成本推理的开发场景。
Grok 是由 xAI 构建的 AI 助手,支持聊天对话、图像创建、代码编写,并能从网络和 X 平台获取实时信息回答用户问题。订阅用户可通过 Grok Heavy 等套餐获得 X Premium+ 等增值权益。
通义千问(Qwen)是阿里巴巴云开发的大语言模型系列,提供对话助手、代码生成、智能体工具调用、256K至100万token长文本理解、多语言翻译和创意写作等能力。模型涵盖Dense和MoE架构,支持思考与非思考模式切换,可通过Qwen Chat、API及多种推理框架使用。
FLUX 3 是 Black Forest Labs 发布的多模态基础模型,基于 Self-Flow 方法在单一架构中联合学习图像、视频与音频,同一组权重即可输出图像、视频、带原生音频的视频以及机器人动作预测。FLUX 3 Video 可单次生成长达 20 秒、带原生音频的视频。模型提供 API、Playground 在线试用与开放权重部署,支持按需付费与商业授权,面向内容创作与物理 AI 场景。
Gemini 3.5 Flash 是一款面向智能体与编程领域的前沿多模态AI模型。它能够在极速响应下提供媲美旗舰模型的智能水平,支持文本、音频、图像、代码和视频的深度融合理解。该模型擅长长周期任务的自主推理与多智能体协同调度,可在编码迭代中快速生成并优化界面,同时具备针对提示注入等网络威胁的主动拦截能力。凭借百万级长上下文支持与企业级安全标准,它为开发者构建高效自动化工作流提供核心支持
Gemini 4 Argon 是 Google DeepMind 推出的旗舰多模态 AI 模型,面向软件工程、金融、法律与网络安全等领域的长周期复杂任务。它具备跨学科推理、代码编写与多步骤任务持续能力,可自主发现、验证并修补关键软件漏洞,在提示注入防护上为迄今最强。模型支持最长达约一百万词元的输出与超长上下文,并具备视频等多模态理解能力。目前谷歌先向受信任的网络安全合作伙伴小范围开放,完成更多测试后将优先面向付费订阅用户扩大开放。
SkyProduction(天工工作台)是一款面向短剧与短视频创作的AI视频工作台,将剧本翻译、剧本评分、小说转剧本、资产生成、分镜拆解和视频镜头制作串到同一条生产线上,并提供导演Agent自动化流程、无限画布多人实时协作、片段重拍、视频智能拉片与超分去水印等后期处理能力,支持团队多管理员、子工作室与项目成员权限及积分成本管理。通过官网可一键生成视频素材并制作完整视频。
DaVinci Resolve 是 Blackmagic Design 推出的一体化专业视频后期软件,21 版本将剪辑、调色、视觉特效、动态图形、Fairlight 音频后期与新增照片页整合在同一应用中。内置 DaVinci AI 神经引擎,提供 IntelliSearch 内容搜索、AI 语音生成、CineFocus 焦点调整、人脸年龄变换与瑕疵去除等 AI 工具,支持 32-bit 浮点 HDR 调色及沉浸式 VR 工作流,面向电影、电视与流媒体制作团队。
dots3-note preview 是小红书 dots3 系列的首个开源权重模型,采用多模态 MoE 架构,总参数量 280B、激活参数 16B,支持最长 512K token 上下文。模型能理解文本、图像、视频和音频并输出文本,覆盖通用知识与指令遵循、数学与逻辑推理、工具调用与多步 Agent 工作流、代码生成、图像/文档/图表/音频/视频理解以及长上下文处理等任务,是 dots3 系列中延迟与成本最低的轻量成员。
Gemini 3.6 Flash 是 Google DeepMind 推出的高效主力模型,面向编码、知识工作与多模态任务,相比 3.5 Flash 输出 token 用量降低约 17%。模型支持跨文本、音频、图像、代码与视频的多模态理解,具备长周期深度推理与迭代编码能力,可通过多智能体编排执行代码迁移、财务数据分析等复杂任务,并已上线 Google AI Studio 与 Gemini API。
Gemini 3.7 Flash 是 Google DeepMind于2026年8月发布的编码与智能体工作主力多模态模型,定位为大规模智能体任务处理的强算力旗舰。它针对软件工程、Web开发与知识工作任务优化性能,以严谨推理提升输出质量,在智能体执行中能稳定化解编程与真实世界问题,并支持文本、音频、图像、代码与视频的多模态理解。
Google Chrome 是谷歌推出的网页浏览器,主打快速、安全与个性化体验。浏览器深度集成 Gemini,可直接在当前标签页中理解网页内容、基于打开的标签页和浏览历史完成任务,并通过 auto browse 自动执行购物、预订、研究等繁琐操作。内置 AI Mode 提供强大的 AI 搜索,支持对话式追问与多任务并排视图;还可借助 Nano Banana 图像模型将网页可视化为信息图或编辑网页图片。Skills 功能允许保存并复用常用提示词,跨页面重复调用。
Kimi Work 是月之暗面推出的本地运行桌面智能体,面向知识工作场景。内置 Cron 引擎实现 24/7 自动化任务调度,可定时调用 LLM Agent 或执行 Python/Shell 脚本;WebBridge 功能支持自主浏览网页、提取数据并执行多步骤网页操作;具备多智能体协作能力,可一键将研究成果转为 PowerPoint 或 Excel 文件,并预集成 A 股、港股、美股市场数据。
MiniCPM是面壁智能(OpenBMB)自主研发的端侧大模型系列,包括文本基座模型MiniCPM5-1B、稀疏注意力模型MiniCPM-SALA等。专为端侧部署和资源受限场景设计,支持本地助手、编码代理、工具调用和长上下文推理。
MiniMax H3 是 MiniMax 发布的通用全模态生成模型,可对文本、图像、视频、声音组成的多模态上下文进行统一理解,并输出具备原生双声道音视频,最高支持 15 秒 2K 分辨率。模型通过 /v2/video_generation 接口以多模态 content[] 结构调用,支持 t2va 文生视频、i2va 图生视频、首尾帧生视频及多模态参考四种模式。MiniMax 宣布将在未来数日内依法开放模型权重。
Perceptron 是面向物理智能体的具身视觉推理模型,为真实世界连续视频流提供感知与推理层。模型接受文本、图像、视频输入,能以点、边界框、多边形和视频片段配合文本作答,支持跨时序推理、视频片段时间码定位、单样本目标检索、手势关键点估计与密集场景计数。开发者可通过 API 调用,企业可申请权重商业许可;Mk1.5 版本已于 2026 年 9 月 25 日上线 OpenRouter。
Qsirch 是威联通(QNAP)为其 NAS 打造的专用搜索应用,提供关键词搜索与 AI 语义搜索切换,并支持基于 RAG 的知识搜索。用户可用自然语言同时检索文档、图片、视频与音频,定位 PDF/DOCX 段落、图像内容、视频关键片段和音频转录中的具体时间点,还能对搜索结果生成 AI 摘要,AI 推理可在 NAS 本地执行。
Qwen-MM-Plugins 是通义千问推出的原生多模态插件集合,把图像、视频、文档与 3D 模型的读取理解、OCR、目标定位、分割、语音识别、视觉对话与联网搜索打包为 skill 加 MCP 服务器,并提供长视频图记忆、视频剪辑与图像/视频/音频生成、Blender 三维建模、FreeCAD 参数化 CAD 及教学讲解视频生成等能力,可安装到 Claude Code、Codex、Qwen Code、Gemini CLI 等智能体框架。
S-Roll 是 Saliency 推出的全本地运行视频理解智能体工具,面向播客、游戏录像、访谈等长视频场景。导入视频后自动转录、识别独立段落并生成竖版、方形或横版切片;用户可用自然语言描述想要的片段,由智能体定位对应画面,支持主体跟踪自动重构图,并在编辑器中完成裁剪、构图调整、字幕与标题样式(可存为品牌预设)后导出无水印 MP4。所有 AI 处理在 Apple silicon Mac(macOS 26+)本地完成,视频、转录与对话不离机,Mac App Store 免费提供。
SenseNova 6.8 Flash Lite 是商汤日日新推出的轻量级多模态智能体模型,可自主规划、持续执行数百步跨阶段长程任务,失败后自主回退并重新规划;主 Agent 能调度十余个专业子智能体并行完成信息检索、数据分析、数学计算、视觉理解与事实核验。模型原生理解文字、图片、图表、文档、视频、网页及应用界面,可制作原生 HTML 动态 PPT、操作浏览器与应用、处理本地文件、编写脚本并自动运行工作流,通过 SenseNova Token Plan 提供兼容 OpenAI SDK 的 API 调用。




