功能图谱

Capability Timeline

视频理解

对已有视频内容进行分析、识别与问答,输出对画面与情节的理解结果

33 个工具405 条动态

相关工具

33

开源智能体工作流网关与路由器,统一托管、BYOK与本地模型访问。

Experiential 是一个面向智能体工作流的开源网关与路由器,通过一个 OpenAI 兼容 API 统一托管、BYOK 和本地模型。它支持按用户、智能体、用例及预算控制模型访问,并可将生产流量转化为针对质量、速度和成本优化的自定义路由器或模型。项目支持本地部署(pip install experiential)及托管平台,默认启用匿名聚合遥测。

代码沙箱执行第三方模型接入访问控制策略工具协议集成函数调用
近7天 18 动态9,907 Stars
CH

ChatGPT是一款支持语音交互与深度研究的AI助手,可基于历史记录提供定制化回答

ChatGPT是一款人工智能交互平台,能够根据用户保存的聊天记录提供量身定制的回答。该平台支持创建图像、上传文件以及语音对话,并提供深度研究功能。用户登录后可获得个性化服务,其对话内容可能会被审阅并用于改进模型性能

安全检测办公协作代码沙箱执行代码生成第三方应用集成
近7天 10 动态

小米打造的通用智能平台,提供长程代码智能体、多模态交互与语音合成能力

MiMo是小米推出的通用智能平台大模型,专注于智能体代理与长程连贯推理。它通过网页演示与API门户支持快速集成,具备针对长周期代码任务的计算、记忆与进化设计核心。该平台支持多模态交互、开源语音识别与智能体语音合成,通过将复杂世界压缩为可理解语言并预测所需答案,辅助开发者高效构建应用

材料发现对话助手复杂推理机器人操作开放世界3D生成
近7天 7 动态

本地优先的自迭代智能体操作系统

ResceneAgent(Rescene Agent OS)是一款本地优先的开源自迭代智能体操作系统,聚合多家免费模型并提供智能路由与熔断自愈,可用一条 marathon 命令抓取 Hacker News/GitHub 热点自主选题,按需求→计划→自检闭环迭代交付;同时具备联网自学写入记忆文件,以及内置 54 个设计系统参考的前端设计能力。

安全检测代码沙箱执行代码审查访问控制策略联网搜索
近7天 7 动态88 Stars

Black Forest Labs 的多模态基础模型,统一图像、视频、音频生成与机器人动作预测

FLUX 3 是 Black Forest Labs 发布的多模态基础模型,基于 Self-Flow 方法在单一架构中联合学习图像、视频与音频,同一组权重即可输出图像、视频、带原生音频的视频以及机器人动作预测。FLUX 3 Video 可单次生成长达 20 秒、带原生音频的视频。模型提供 API、Playground 在线试用与开放权重部署,支持按需付费与商业授权,面向内容创作与物理 AI 场景。

本地模型推理机器人操作世界模型视频处理视频理解
近7天 2 动态

专为智能体开发与复杂编程打造的高性能多模态AI模型,兼顾极速响应与深度推理能力

Gemini 3.5 Flash 是一款面向智能体与编程领域的前沿多模态AI模型。它能够在极速响应下提供媲美旗舰模型的智能水平,支持文本、音频、图像、代码和视频的深度融合理解。该模型擅长长周期任务的自主推理与多智能体协同调度,可在编码迭代中快速生成并优化界面,同时具备针对提示注入等网络威胁的主动拦截能力。凭借百万级长上下文支持与企业级安全标准,它为开发者构建高效自动化工作流提供核心支持

安全检测代码审查代码生成联网搜索视频理解
近7天 2 动态

谷歌旗舰多模态AI模型,擅长编程、网络安全与超长任务推理

Gemini 4 Argon 是 Google DeepMind 推出的旗舰多模态 AI 模型,面向软件工程、金融、法律与网络安全等领域的长周期复杂任务。它具备跨学科推理、代码编写与多步骤任务持续能力,可自主发现、验证并修补关键软件漏洞,在提示注入防护上为迄今最强。模型支持最长达约一百万词元的输出与超长上下文,并具备视频等多模态理解能力。目前谷歌先向受信任的网络安全合作伙伴小范围开放,完成更多测试后将优先面向付费订阅用户扩大开放。

安全检测代码生成代码重构复杂推理机器人操作
近7天 2 动态

从剧本到成片的AI短剧制作工作台

SkyProduction(天工工作台)是一款面向短剧与短视频创作的AI视频工作台,将剧本翻译、剧本评分、小说转剧本、资产生成、分镜拆解和视频镜头制作串到同一条生产线上,并提供导演Agent自动化流程、无限画布多人实时协作、片段重拍、视频智能拉片与超分去水印等后期处理能力,支持团队多管理员、子工作室与项目成员权限及积分成本管理。通过官网可一键生成视频素材并制作完整视频。

内容审核视频处理视频理解视频生成图像生成
近7天 2 动态

集剪辑、调色、特效与音频后期于一体的 AI 视频制作软件

DaVinci Resolve 是 Blackmagic Design 推出的一体化专业视频后期软件,21 版本将剪辑、调色、视觉特效、动态图形、Fairlight 音频后期与新增照片页整合在同一应用中。内置 DaVinci AI 神经引擎,提供 IntelliSearch 内容搜索、AI 语音生成、CineFocus 焦点调整、人脸年龄变换与瑕疵去除等 AI 工具,支持 32-bit 浮点 HDR 调色及沉浸式 VR 工作流,面向电影、电视与流媒体制作团队。

视频处理视频理解图像编辑音频编辑语音合成
近7天 1 动态

小红书首个全模态 MoE 开源大模型,支持图片/视频/音频理解与长上下文

dots3-note preview 是小红书 dots3 系列的首个开源权重模型,采用多模态 MoE 架构,总参数量 280B、激活参数 16B,支持最长 512K token 上下文。模型能理解文本、图像、视频和音频并输出文本,覆盖通用知识与指令遵循、数学与逻辑推理、工具调用与多步 Agent 工作流、代码生成、图像/文档/图表/音频/视频理解以及长上下文处理等任务,是 dots3 系列中延迟与成本最低的轻量成员。

代码生成复杂推理视频理解图像理解文件分析
近7天 1 动态

谷歌高效编码与多模态理解的主力模型,更省token更快更智能

Gemini 3.6 Flash 是 Google DeepMind 推出的高效主力模型,面向编码、知识工作与多模态任务,相比 3.5 Flash 输出 token 用量降低约 17%。模型支持跨文本、音频、图像、代码与视频的多模态理解,具备长周期深度推理与迭代编码能力,可通过多智能体编排执行代码迁移、财务数据分析等复杂任务,并已上线 Google AI Studio 与 Gemini API。

代码生成联网搜索视频理解数据分析图像理解
近7天 1 动态

谷歌发布的高性能编码与智能体工作主力多模态模型,兼顾深度推理与极速响应

Gemini 3.7 Flash 是 Google DeepMind于2026年8月发布的编码与智能体工作主力多模态模型,定位为大规模智能体任务处理的强算力旗舰。它针对软件工程、Web开发与知识工作任务优化性能,以严谨推理提升输出质量,在智能体执行中能稳定化解编程与真实世界问题,并支持文本、音频、图像、代码与视频的多模态理解。

代码生成复杂推理视频理解图像理解长文本处理
近7天 1 动态

谷歌出品的快速安全浏览器,内置 Gemini AI 浏览助手与 AI Mode 搜索

Google Chrome 是谷歌推出的网页浏览器,主打快速、安全与个性化体验。浏览器深度集成 Gemini,可直接在当前标签页中理解网页内容、基于打开的标签页和浏览历史完成任务,并通过 auto browse 自动执行购物、预订、研究等繁琐操作。内置 AI Mode 提供强大的 AI 搜索,支持对话式追问与多任务并排视图;还可借助 Nano Banana 图像模型将网页可视化为信息图或编辑网页图片。Skills 功能允许保存并复用常用提示词,跨页面重复调用。

测验生成对话助手联网搜索视频理解图像生成
近7天 1 动态

月之暗面本地桌面智能体,支持全天候自动化与网页浏览

Kimi Work 是月之暗面推出的本地运行桌面智能体,面向知识工作场景。内置 Cron 引擎实现 24/7 自动化任务调度,可定时调用 LLM Agent 或执行 Python/Shell 脚本;WebBridge 功能支持自主浏览网页、提取数据并执行多步骤网页操作;具备多智能体协作能力,可一键将研究成果转为 PowerPoint 或 Excel 文件,并预集成 A 股、港股、美股市场数据。

联网搜索视频理解数据分析图像理解文件分析
近7天 1 动态

MiniMax 通用全模态生成模型 H3

MiniMax H3 是 MiniMax 发布的通用全模态生成模型,可对文本、图像、视频、声音组成的多模态上下文进行统一理解,并输出具备原生双声道音视频,最高支持 15 秒 2K 分辨率。模型通过 /v2/video_generation 接口以多模态 content[] 结构调用,支持 t2va 文生视频、i2va 图生视频、首尾帧生视频及多模态参考四种模式。MiniMax 宣布将在未来数日内依法开放模型权重。

模型训练学习视频处理视频理解视频生成图像理解
近7天 1 动态

面向物理智能体的具身视觉推理模型,可输出点框多边形与视频片段

Perceptron 是面向物理智能体的具身视觉推理模型,为真实世界连续视频流提供感知与推理层。模型接受文本、图像、视频输入,能以点、边界框、多边形和视频片段配合文本作答,支持跨时序推理、视频片段时间码定位、单样本目标检索、手势关键点估计与密集场景计数。开发者可通过 API 调用,企业可申请权重商业许可;Mk1.5 版本已于 2026 年 9 月 25 日上线 OpenRouter。

复杂推理关键点检测目标检测视频理解图像理解
近7天 1 动态

威联通 NAS 专用 AI 语义搜索引擎

Qsirch 是威联通(QNAP)为其 NAS 打造的专用搜索应用,提供关键词搜索与 AI 语义搜索切换,并支持基于 RAG 的知识搜索。用户可用自然语言同时检索文档、图片、视频与音频,定位 PDF/DOCX 段落、图像内容、视频关键片段和音频转录中的具体时间点,还能对搜索结果生成 AI 摘要,AI 推理可在 NAS 本地执行。

企业搜索视频理解图像理解文件分析语音转录
近7天 1 动态

让任意智能体框架原生具备多模态能力的插件层

Qwen-MM-Plugins 是通义千问推出的原生多模态插件集合,把图像、视频、文档与 3D 模型的读取理解、OCR、目标定位、分割、语音识别、视觉对话与联网搜索打包为 skill 加 MCP 服务器,并提供长视频图记忆、视频剪辑与图像/视频/音频生成、Blender 三维建模、FreeCAD 参数化 CAD 及教学讲解视频生成等能力,可安装到 Claude Code、Codex、Qwen Code、Gemini CLI 等智能体框架。

工具协议集成视频处理视频理解视频生成图像分割
近7天 1 动态3,135 Stars

本地运行的视频理解智能体,把长视频剪成可分享短片

S-Roll 是 Saliency 推出的全本地运行视频理解智能体工具,面向播客、游戏录像、访谈等长视频场景。导入视频后自动转录、识别独立段落并生成竖版、方形或横版切片;用户可用自然语言描述想要的片段,由智能体定位对应画面,支持主体跟踪自动重构图,并在编辑器中完成裁剪、构图调整、字幕与标题样式(可存为品牌预设)后导出无水印 MP4。所有 AI 处理在 Apple silicon Mac(macOS 26+)本地完成,视频、转录与对话不离机,Mac App Store 免费提供。

目标跟踪视频处理视频理解语音转录智能体
近7天 1 动态

商汤轻量多模态智能体模型,长程任务端到端交付

SenseNova 6.8 Flash Lite 是商汤日日新推出的轻量级多模态智能体模型,可自主规划、持续执行数百步跨阶段长程任务,失败后自主回退并重新规划;主 Agent 能调度十余个专业子智能体并行完成信息检索、数据分析、数学计算、视觉理解与事实核验。模型原生理解文字、图片、图表、文档、视频、网页及应用界面,可制作原生 HTML 动态 PPT、操作浏览器与应用、处理本地文件、编写脚本并自动运行工作流,通过 SenseNova Token Plan 提供兼容 OpenAI SDK 的 API 调用。

浏览器操作代理模型推理服务视频理解数据分析图像理解
近7天 1 动态13 Stars