训练数据清洗

AXIS 是 Axis Robotics 打造的机器人数据基础设施，通过程序化任务生成引擎批量构造多样化环境，依托十万人级全球人类网络在线并行采集遥操作演示，再经统一数据中间件清洗为高保真训练数据，并配合自动化评测诊断数据质量、挖掘失败样本生成新任务，服务于机器人操作模型训练。

Castform 是一个模型训练平台，专注于对任务专用模型做后训练、评估与上线。平台可从现有语料库、智能体 trace 等已有数据自动生成训练集，支持定义工具与奖励函数、监控训练过程，并提供 LLM 裁判、批量评测与 playground，对接 Qwen、Gemma 等开源模型，目标是以开源成本达到前沿模型水平。

Oumi 是面向企业的“AI 工厂”生产线平台，用户可像使用 Claude Code 一样通过提示词或 Web UI 构建专用模型：由 Oumi Agent 自动合成训练数据、生成可复现配方、做数据分析与清洗，并用 LLM-as-a-Judge 评估器对比基线；支持 0.8B 到 120B 开放权重模型微调与前沿模型蒸馏，一键部署 OpenAI 兼容推理端点，再针对失败模式合成新数据形成持续改进循环。

Soup 是开源的大模型微调与后训练命令行工具，用一份 YAML 即可自动生成训练配置，涵盖 SFT 与 DPO、ORPO、SimPO、KTO 等对齐方法。其 Layer Streaming 把冻结底座放在内存或 NVMe 中逐层送入显存并量化为 NF4，使 Llama-3.1-8B 可在 4 GB 显存笔记本 GPU 上微调，并可与 HuggingFace、Ollama、vLLM 等生态对接。

Ultra-FineWeb-L1 是面壁智能开源的一套经精细处理的英文网页语料库，包含超 1T tokens 与约 11.4 亿文档，数据覆盖至 CC-MAIN-2025-51。作为 UltraData 生态的 L1 过滤层，它通过文本提取、语言过滤、启发式过滤及去重等流程提升数据质量，已上线 HuggingFace，可供模型预训练与语料清洗使用。

DataOrchestra 是 GAIR-NLP 开源的预训练数据清洗框架，用轻量编排器对每个数据块单独决定 Drop、Untouch 或 Clean，并为需清洗的块选择噪声删除与改写等下游阶段并生成具体指令，由对应工具模型执行。仓库开源了编排器训练数据构建流程、运行脚本与各阶段提示词。