强化学习训练

MiMo是小米推出的通用智能平台大模型，专注于智能体代理与长程连贯推理。它通过网页演示与API门户支持快速集成，具备针对长周期代码任务的计算、记忆与进化设计核心。该平台支持多模态交互、开源语音识别与智能体语音合成，通过将复杂世界压缩为可理解语言并预测所需答案，辅助开发者高效构建应用

Meshy 是面壁智能 OpenBMB 开源的大模型异步强化学习训练引擎，即 MiniCPM5-2B 背后的 RL 训练栈。它将推理、rollout 与训练建模为独立服务进程，样本经单一 TransferQueue 数据平面流动，控制流由数据可用性驱动，拓扑由各进程从一份声明式 recipe 本地推导，无需中心 driver 转发张量；基于 SGLang 与 torchtitan，支持 on-policy、有界 off-policy 与全异步训练，提供 Docker 镜像，Apache 2.0 许可。

SGLang 是由非营利开源组织 LMSYS 托管的大语言模型与多模态模型高性能推理服务框架，面向生产级部署设计，可在单卡到大规模分布式集群之间提供低延迟、高吞吐的推理服务，目前支撑全球超过 40 万块 GPU 上的大规模生产部署，每天生成数万亿 token。

Castform 是一个模型训练平台，专注于对任务专用模型做后训练、评估与上线。平台可从现有语料库、智能体 trace 等已有数据自动生成训练集，支持定义工具与奖励函数、监控训练过程，并提供 LLM 裁判、批量评测与 playground，对接 Qwen、Gemma 等开源模型，目标是以开源成本达到前沿模型水平。

CUA-Lite 是 UC Berkeley 团队开源的计算机操作智能体（CUA）开放平台，用一套动作空间、一套 LiteSample 数据格式和一条命令，打通桌面、浏览器与移动端的智能体、沙箱环境、数据集、评测与训练。内置 10+ 智能体、15+ 基准与 30k+ 可验证任务的免虚拟机沙箱，并支持 SFT 与基于 Slime 的 GRPO 强化学习训练。

Microduck 是 Pollen Robotics 推出的开源双足机器人，身高约 25cm，可捡拾物品、踢球、坐立站起，还能穿轮滑鞋移动。其行为以强化学习策略形式在物理仿真中训练、一键部署到真实机器人，用户可重训练新动作并发布策略。机器人内置摄像头、激光雷达与 IMU，搭载瑞芯微 RK3566，软件开发包与完整 RL 训练栈开源，可通过游戏手柄或激光笔操控，预售价 399 美元。

Miles 是 LMSYS（Chatbot Arena 团队）推出的面向前沿模型后训练的全栈生产级系统，也是首个 Miles 版本的继任者。其基于 slime 简洁设计，围绕 RL 训练循环的 rollout、training、weight update 三阶段优化，默认集成 SGLang 实现 agentic rollout，并采用全异步 RL 使 rollout 与训练互不阻塞。支持 Megatron-LM/FSDP 训练器与三种评估模式，让前沿模型强化学习训练对研究者和开发者可访问。

Motus2 是生数科技（GensPI）与清华大学联合发布的自进化通用世界模型，面向机器人灵巧操作。单个共享参数模型同时提供策略、模拟器与评估器三个接口，把行动、后果预测与结果评估耦合成闭环，通过 Best-of-N 规划与基于模型的强化学习（MBRL）持续改进策略。模型基于约13万小时人类第一视角数据分层预训练并完成机器人域适配，内置触觉专家与工作记忆，已部署在 Sharpa Wave、WUJI Hand 2 等灵巧手平台。

openPangu 是华为推出的开源 AI 模型品牌，专注基于昇腾 NPU 训练的大规模语言模型。openPangu-2.0-Pro 是其开源旗舰级语言模型，提供 505B 总参数 MoE 架构、约 18B 每 token 激活，支持 512k 长上下文，覆盖预训练、后训练 SFT/RL 及在线蒸馏能力，面向开发者与研究机构在昇腾平台上进行大模型推理与开发。

Orchard 是微软研究院开源的智能体建模框架，核心是 Kubernetes 原生的环境服务 Orchard Env，可按需拉起数千个隔离沙箱容器，支撑轨迹蒸馏、on-policy 强化学习 rollout 与评估。同一套基础设施可复用于软件工程、浏览器导航、计算机操作和个人助理类智能体，并随框架开放 Orchard-SWE、Orchard-GUI、Orchard-Claw 训练配方、训练数据与评估方法。

Oumi 是面向企业的“AI 工厂”生产线平台，用户可像使用 Claude Code 一样通过提示词或 Web UI 构建专用模型：由 Oumi Agent 自动合成训练数据、生成可复现配方、做数据分析与清洗，并用 LLM-as-a-Judge 评估器对比基线；支持 0.8B 到 120B 开放权重模型微调与前沿模型蒸馏，一键部署 OpenAI 兼容推理端点，再针对失败模式合成新数据形成持续改进循环。

Pantograph 推出的首个目标条件强化学习模型，通过互联网规模视频预训练学习目标导向行为。Pan-4B 拥有40亿参数，在约50万小时 Minecraft 视频上预训练，再经约2000小时承包商轨迹后训练。模型能根据目标图像指令在 Minecraft 中战斗、探索、建造和完成平台跳跃任务，并可泛化到未见过的环境。

Prime Intellect 是面向开源前沿模型的开放超级智能堆栈，提供计算、训练、推理与沙箱一体化能力。用户可通过 Prime CLI 在 2500 多个 RL 环境上训练大规模智能体模型，运行托管评测，并经 OpenAI 兼容 API 使用 Prime 自托管模型（首发 GLM-5.3）或通过 Prime Inference Gateway 接入第三方模型，同时支持预留专用推理容量。2026 年 10 月推出 Prime Inference，提供 serverless 端点与预留容量两种模式。

RLinf 是由无问芯穹联合清华大学等共同研发的全球首个面向具身智能持续进化的大规模强化学习基础设施项目。它提供从数据采集、数据管理、监督微调（SFT）、强化学习（RL）、模型评测到真机部署的一站式开发平台，支持多种具身模型（VLA模型、世界模型）、仿真器（Genesis、Polaris、RoboVerse、IsaacLab）、真机平台（Franka、GimArm、DOS-W1）以及异构计算硬件（昇腾、AMD ROCm、Musa），实现从仿真训练到真实机器人在线学习的统一开发闭环。

RPent（Recursive Physical Agent）是由清华、无问芯穹、正行创新发起、RLinf 团队打造的开源具身智能体基础设施。通用大模型负责理解与规划，VLA/WAM 等专家模型负责高精度动作，配合三层 Memory 与 Flash Mode 任务卡复用，形成观察-规划-执行-反馈闭环；支持 LIBERO-PRO、RoboCasa 等仿真及 Franka、SO-101 等真机，LIBERO-PRO 成功率 92.6%。

SmoothRL 是星尘智能（Astribot）基座模型团队发布的基于异步推理执行的在线强化学习框架。它在真实机器人异步推理与部署下，将 action chunk 划分为已提交、执行与丢弃三个区域，仅让梯度穿过机器人真正执行的动作，使训练优化目标与真实执行时间线一致，并从训练起就运行异步推理以对齐部署节奏。以冻结基础策略为先验，轻量子策略在原始动作空间做残差修正，支持实时人工介入与稀疏奖励。在绳驱本体 S1 的动态投掷、给笔戴帽、快递开箱等真实任务中显著提升成功率并降低急动度。

Soup 是开源的大模型微调与后训练命令行工具，用一份 YAML 即可自动生成训练配置，涵盖 SFT 与 DPO、ORPO、SimPO、KTO 等对齐方法。其 Layer Streaming 把冻结底座放在内存或 NVMe 中逐层送入显存并量化为 NF4，使 Llama-3.1-8B 可在 4 GB 显存笔记本 GPU 上微调，并可与 HuggingFace、Ollama、vLLM 等生态对接。

Tunix 是 Google 推出的基于 JAX 的原生后训练库，面向多轮、使用工具的 LLM 推理智能体训练场景。它通过高并发异步 rollout 引擎和解耦的生产者-消费者流水线消除 TPU 闲置瓶颈，原生集成 vLLM-TPU 与 SGLang-Jax 推理引擎，并提供围绕 RL 指标的持续轻量级性能观测能力，帮助开发者最大化硬件吞吐量并保持环境模块化。

vLLM 是 UC Berkeley Sky Computing Lab 发起、现由逾两千名贡献者共建的开源 LLM 推理与在线服务引擎。它以 PagedAttention 高效管理注意力键值内存，通过连续批处理、分块预填充、前缀缓存实现业界领先的服务吞吐，为 LLM 提供易用、快速且低成本的模型推理与部署。近期集成原生 TPU 支持并对 Qwen3 Embedding 系列做企业级优化，可承载长上下文多模态嵌入推理，支撑语义检索、推荐系统等企业场景。

CUDA Agent 是字节跳动 Seed 与清华大学 AIR 提出的开源研究系统，通过数据合成、技能增强的 CUDA 开发环境与强化学习算法，训练大语言模型生成高性能 CUDA 内核。在 KernelBench 的 Level-1/2/3 上达到 100%/100%/92% 快于 torch.compile，Level-3 上比 Claude Opus 4.5 和 Gemini 3 Pro 高出约 40%。公开 CUDA-Agent-Ops-6K 数据集与 SKILL.md，但训练好的智能体与权重尚未发布。

DeepSeek Elastic Compute（DSec）是深度求索推出的生产级弹性沙箱平台，通过统一 SDK 提供 FnCall、容器、microVM 与完整 VM 四种沙箱后端，支撑大规模 LLM 智能体的强化学习训练与评估。平台跨集群协调沙箱放置与生命周期，以独立版本化分层组合环境，结合内存共享、回收与 CPU 调度实现高密度执行，并从 3FS 分布式文件系统按需加载镜像。单个生产单元约 160 个节点，每日服务约 300 万沙箱，支持超 38 万并发沙箱、每秒创建逾 5000 个。

DW05 是原力灵机（Dexmal）发布的开源具身世界模型，采用 MoT 架构，以 Wan 为骨干网络，配合 Video Expert、Action Expert、Value Expert 三大专家模块，统一未来视频预测、动作生成与状态价值评估。支持语言、图像/视频、机器人类型、状态和动作多模态输入，可预测动作执行后的未来状态、生成失败轨迹并对任务进度打分，用于 VLA 模型后训练中的强化学习环境。已发布模型权重、推理代码和训练代码，采用 Apache-2.0 许可证。

Tinker 是 Thinking Machines 推出的模型训练与微调 API，面向研究者和开发者。用户通过 forward_backward、optim_step、sample、save_state 四个原语完全掌控训练循环、数据与算法，平台托管算力与基础设施。支持以 LoRA 高效微调 Qwen 等开源模型，可用于监督微调与强化学习实验，并配套 cookbook 提供常见微调示例。