模型推理服务

Experiential 是一个面向智能体工作流的开源网关与路由器，通过一个 OpenAI 兼容 API 统一托管、BYOK 和本地模型。它支持按用户、智能体、用例及预算控制模型访问，并可将生产流量转化为针对质量、速度和成本优化的自定义路由器或模型。项目支持本地部署（pip install experiential）及托管平台，默认启用匿名聚合遥测。

MiMo是小米推出的通用智能平台大模型，专注于智能体代理与长程连贯推理。它通过网页演示与API门户支持快速集成，具备针对长周期代码任务的计算、记忆与进化设计核心。该平台支持多模态交互、开源语音识别与智能体语音合成，通过将复杂世界压缩为可理解语言并预测所需答案，辅助开发者高效构建应用

ResceneAgent（Rescene Agent OS）是一款本地优先的开源自迭代智能体操作系统，聚合多家免费模型并提供智能路由与熔断自愈，可用一条 marathon 命令抓取 Hacker News/GitHub 热点自主选题，按需求→计划→自检闭环迭代交付；同时具备联网自学写入记忆文件，以及内置 54 个设计系统参考的前端设计能力。

Ling-3.0-flash 是蚂蚁百灵（inclusionAI）推出的混合专家（MoE）大模型，总参数约 1240 亿，每 token 激活约 51 亿参数，支持 262144 token 上下文窗口、单次最大输出 32768 token。该模型已上架 OpenRouter，可通过统一 API 免费调用，适合需要长上下文与低成本推理的开发场景。

fal 是生成式媒体模型推理与 Serverless GPU 平台，提供 1000 多款可直接用于生产的图像、视频、音频和 3D 模型 API，支持按量或预留容量计费、私有端点、单点登录、SOC 2 合规与使用分析，并可在 H100/H200/B200 GPU 上扩展自定义模型的训练与部署。2026 年 9 月，xAI 语音模型 Grok Voice 上线 fal，开发者可调用它构建低延迟语音智能体。

Gemini是Google打造的生成式AI助手，能够帮助用户完成写作、规划与头脑风暴等核心任务。该工具支持70种以上语言的实时语音到语音翻译，具备流式连续音频生成与自动语种检测功能，可精准保留原始语调、语速和音调，并拥有出色的强抗噪能力。借助生成式AI技术，用户可流畅开展跨语言交流、内容生成及多场景智能协作

GLM 是智谱推出的国产原创大模型全栈技术体系，包含旗舰开源模型 GLM-5.2 及 GLM-5.3，提供全模态大模型 API 服务、Coding 能力、1M 无损上下文和长程任务执行，配套 AutoGLM 智能体、GLM Code 编程与 ChatGPT 对话产品，支持模型微调、AI 搜索与翻译等多场景应用。

GPT-6 Luna 是 OpenAI 于 2026 年 9 月 22 日发布的 GPT-6 系列新模型，与 GPT-6 Sol 同样基于 GPT-6 Astra 的技术成果，在继承其大部分能力的同时提供更快速度与更低成本，面向规模化工作负载，并改进了缓存与推理效率。

GPT-6 Sol 是 OpenAI 于 2026 年 9 月 22 日发布的 GPT-6 系列新模型，基于 GPT-6 Astra 的技术成果，在继承其大部分能力的同时提供更快速度与更低成本，面向规模化工作负载，并通过更高效的缓存与推理支撑大规模使用。

Grok 是由 xAI 构建的 AI 助手，支持聊天对话、图像创建、代码编写，并能从网络和 X 平台获取实时信息回答用户问题。订阅用户可通过 Grok Heavy 等套餐获得 X Premium+ 等增值权益。

通义千问（Qwen）是阿里巴巴云开发的大语言模型系列，提供对话助手、代码生成、智能体工具调用、256K至100万token长文本理解、多语言翻译和创意写作等能力。模型涵盖Dense和MoE架构，支持思考与非思考模式切换，可通过Qwen Chat、API及多种推理框架使用。

Cerebras Systems 提供基于晶圆级处理器的 AI 推理与模型服务，主打极低延迟与高吞吐的在线推理能力。2026 年 8 月，Cerebras 与 OpenAI 联合推出 GPT-5.6 Sol Ultrafast（超高速）模式，作为首个在 OpenAI API 上线的新服务层级，由 Cerebras 算力驱动，最高每秒输出 750 个词元、是标准处理的 14 倍且不牺牲模型质量，面向事故响应、金融研究、客服语音交互、电商问答与实时研究等对时延敏感的业务场景，当前以有限预览向一小批客户开放。

Fireworks AI 是由 PyTorch 创始团队打造的生成式 AI 推理与训练云平台，日处理超 40 万亿 token。平台提供 250+ 开源模型（Qwen、Kimi、DeepSeek、MiniMax、GLM、Llama 等）的无服务器与专属部署推理，兼容 OpenAI 与 Anthropic API，支持模型后训练，训练与推理在同一技术栈闭环运行，并具备 SOC 2 Type II、HIPAA、GDPR 合规能力。

GPT-5.6是OpenAI推出的新一代前沿大模型，专注于复杂编程推理与专业知识自动化处理。它能够调用编程工具自主运行轻量程序以协调多步复杂工作流，并支持并行多智能体协同攻关。在专业场景中，GPT-5.6可精准遵循指定模板与参考文件规范，自动整合多平台文档数据并生成高质量演示文稿、财务报表及交互式前端界面，为研发、运营与科研团队提供高成本效益的智能协作支持

Hermes Agent (Nous Research) 是开源（MIT）自进化 AI 智能体，内置学习回路：从经验中自动创建技能、持续改进、留存知识、检索自身历史对话，并跨会话构建更深的用户模型。可在低价 VPS、GPU 集群或 serverless 运行，并提供 Hermes Desktop 桌面端。近期 Bot Mode 将单一对话列表替换为一组命名机器人，每机器人拥有独立聊天、记忆、技能、固定模型与持久化 Agent Inbox，可通过 @提及 交接工作。

Kimi 是月之暗面推出的 AI 助手，核心产品 Kimi K3 为全球首个开源 3T 级模型，具备 2.8T 参数、原生视觉能力与百万 Token 上下文窗口。支持实时联网搜索、50+ 文件分析、AI 幻灯片与网站生成、前沿编程能力及增强图像理解，适用于长程编程、知识工作与推理任务。

Mistral AI 是法国前沿 AI 公司，提供自研大语言模型、面向长周期任务的 AI 智能体与企业级 AI 平台，支持企业知识搜索、结构化数据分析、文档与报告合成、异步代码生成、自动化 CI/CD，以及自定义模型训练与蒸馏，可在自托管环境、Mistral 云或第三方云上部署。

Perplexity Computer 是 Perplexity 官方推出的智能体产品，可将任务拆分给多个子代理（subagents）执行，并支持指定编排模型（orchestrator model）统一调度这些子代理；同时提供定时自动化（scheduled automations）能力，按计划自动运行任务。据官方公告，GPT 5.6 Terra 已成为所有 Computer 子代理的默认模型，Luna 作为定时自动化的主要模型，Terra 亦可作为编排模型使用。

QwenCloud 是阿里云推出的统一 AI 开发平台，将模型访问、多模态 API、微调、部署、监控与成本控制整合到一个平台中，面向企业开发者主打企业级可扩展性、可靠性与成本优化。平台提供网站、Skills 与 CLI 三种交互方式：Website 用于人工探索，Skills 支持智能体推理，CLI 用于工作流执行。演示将于 2026 年 9 月 4 日在曼谷的 Qwen Conference 上进行。

SGLang 是由非营利开源组织 LMSYS 托管的大语言模型与多模态模型高性能推理服务框架，面向生产级部署设计，可在单卡到大规模分布式集群之间提供低延迟、高吞吐的推理服务，目前支撑全球超过 40 万块 GPU 上的大规模生产部署，每天生成数万亿 token。

Yosuri 是一款开源（AGPL-3.0）、本地优先的 AI Agent 工作台，支持 Windows、Linux、macOS、Android 与 CLI 五端同步。它把 98 个免费模型及自定义提供方聚合为兼容 OpenAI 与 Anthropic 的统一 API，并按健康度智能路由；可联动浏览器、终端与真实工具自动拆解任务并闭环验证，具备长期记忆、子代理后台任务、免费联网搜索、图像理解、MCP 工具接入与短剧工作台等能力，承诺永久免费。

国家超算互联网是国家级算力服务平台，连接全国超算智算中心，提供算力调度、应用商城、AI社区及低代码开发环境。平台搭载科学计算智能体，汇聚超万项技能与智能体组件，支持大模型训练与AI推理，为科研院所和个人开发者提供算力、数据、工具全栈配套支撑。

Abliteration.ai 提供“去限制”大模型托管 API 服务，对开源权重模型移除训练出的拒答机制后自行托管，通过 OpenAI 兼容的 /v1/chat/completions 端点对外提供调用。旗下 abliterated-model 支持 256K 上下文与图像输入，abliterated-model-large-v2 基于 GLM-5.3 提供 1M 上下文的前沿级推理，面向红队评测场景；同时提供企业策略网关，可按策略放行、拒绝、改写或对敏感信息做脱敏处理，并支持联网搜索、项目额度与审计日志。

Agents API 是 OpenAI 推出的托管式智能体运行 API，让应用通过 OpenAI 管理的接口使用 Codex harness。OpenAI 负责会话、编排、上下文压缩与恢复，开发者提供工具并选择执行环境；智能体可在沙箱中执行代码、编辑文件、连接 MCP 服务器并生成产物，支持子智能体委派、断点续跑、webhooks 进度跟踪与联网搜索，按所选模型 API 费率及沙箱容器标准费率计费。