
Soup
一条命令完成大模型微调与后训练的 CLI
Soup 是开源的大模型微调与后训练命令行工具,用一份 YAML 即可自动生成训练配置,涵盖 SFT 与 DPO、ORPO、SimPO、KTO 等对齐方法。其 Layer Streaming 把冻结底座放在内存或 NVMe 中逐层送入显存并量化为 NF4,使 Llama-3.1-8B 可在 4 GB 显存笔记本 GPU 上微调,并可与 HuggingFace、Ollama、vLLM 等生态对接
13
2026-10-28
未收录
10,031
工具功能
这个工具能做什么、适合谁用,以及目前已识别的核心能力。
工具简介
Soup 是开源的大模型微调与后训练命令行工具,用一份 YAML 即可自动生成训练配置,涵盖 SFT 与 DPO、ORPO、SimPO、KTO 等对齐方法。其 Layer Streaming 把冻结底座放在内存或 NVMe 中逐层送入显存并量化为 NF4,使 Llama-3.1-8B 可在 4 GB 显存笔记本 GPU 上微调,并可与 HuggingFace、Ollama、vLLM 等生态对接
核心功能
价格信息
暂无可验证价格信息暂无足够准确的价格信息。
基础信息
- 更新频率
- 近 7 天 2 条收录动态
- 最近更新
- 2026-10-28
- 覆盖行业
更新日志
按时间记录功能更新、版本发布、新工具入库等重要变化。
- 2026-10-28版本发布
Soup 发布 v0.77.1:GRPO 现可在 Apple Silicon 上通过 `backend: mlx` 原生训练(自带 MLX 循环完成采样、accuracy/format 打分与策略梯度更新);新增 `soup infer --backend mlx`,无需 Torch/PEFT 即可加载 MLX 基座与文本 LoRA 适配器推理;同时修复 `soup data` 命令用 `--output` 覆盖自身输入、`soup plan`/`soup apply` 拒绝 `soup train` 会拒绝的配置,并新增 `soup ship --progress jsonl` 带版本的进度事件。
- 2026-10-26版本发布
Soup 发布 v0.77.0:DPO/ORPO/SimPO/KTO 可在 Apple Silicon 原生训练(backend: mlx),MLX 文本 SFT 新增原生 DoRA、eval_steps、loss watchdog 与可复现种子;Layer Streaming 扩展至 DeepSeek-V3 系列 MoE 模型并支持 per_expert 逐专家流式;GRPO 新增 LLM 裁判打分 judge_rank,registry push 记录训练文件 SHA-256 支持溯源;新增 PDF/DOCX 摄取与 Sesame CSM 语音微调。破坏性变更:31 个暂存字段与 14 个 v0.76 静默接受的无效设置现于加载时拒绝,需先跑 soup doctor --config。
- 2026-10-14版本发布
Soup 发布 v0.76.1 补丁:修复捆绑 DPO 示例(dpo/ipo/bco/preference)在 trl 中因 prompt 与 chosen/rejected 消息列表布局不一致导致的训练失败,dpo/kto 转换器统一偏好行布局;所有 YAML 文件经统一加载器施加嵌套(100层)与扩展限制及每读取器大小上限(如 soup.yaml 1 MiB),超限即拒绝加载;Typer 版本下限修正为 typer>=0.15.4;单字符串 data.train 可加载含点号的 Hub 数据集 id(如 teknium/OpenHermes-2.5)。
- 2026-10-12版本发布
Soup v0.76.0:30 余项被校验却从未被任何训练路径读取的配置项加载时直接拒绝,29 个暂缓字段改为告警并将在 v0.77 拒绝,v0.75 配置可能停载,先跑 soup doctor --config。验证损失按 epoch/eval_steps 评估;grpo/ppo/online_dpo 忽略 val_split;非标准 GRPO 变体强制 grpo_beta KL;退出码统一 0/2/3。新增 adapters check/audit、bench train、data clean、recipes verify、rewind、ab、draft measure、多机 --nodes、Sigstore 签名;新增 kimi-k2.5、deepseek-v4-pro、minimax-m3、mistral-large-3、qwen3.5/3.6 DPO/GRPO recipes;infer --batch-size 与 --cuda-graphs(解码快 2.9 倍);Layer Streaming 磁盘层后台线程+直接 I/O+双 NVMe 条带。
- 2026-10-01版本发布
Soup 发布 v0.75.2 安全补丁(GHSA-9f49-hqpf-c849):出站端点校验在所有 scheme 下拒绝私有/链路本地/保留 IP 字面量(https 与 http 一致),覆盖 soup data generate --api-base、vLLM provider、soup eval judge、eval-gate、soup ship --judge-model、training.online_dpo_judge 与 Web UI chat proxy;0.0.0.0 不再视为本地,100.64.0.0/10 与 fec0::/10 归为非公开,非 ASCII 拼写地址按折叠后 ASCII 判定;soup ship 先校验 --judge-model,chat proxy 对非法 URL 返回 400。升级前勿运行不受信任的 soup.yaml/eval-gate/.can 包。
- 2026-09-21版本发布
Soup 发布 v0.75.1 安全加固补丁(v0.75.0 回迁版,含 25 个 cherry-pick),修复安全公告 GHSA-63h4-gvp4-r26g 八类问题:soup push 向 modelscope/modelers 误发 Hugging Face token、judge URL 误判 OpenAI 致 OPENAI_API_KEY 发给任意主机;适配器验签接受未签名记录;Web UI 未转义且无 CSP;serve 路由不校验 Host/Origin;MCP --allow-execute 批准后配置可被篡改;配置正则 ReDoS;凭证明文入审计日志;.can 归档 YAML 别名可耗尽内存,并要求受影响用户轮换凭据。另修复 peft>=0.21 下 stream_layers 适配器存成全零张量需重训、--keep-weights 在 Click 8.1 行为反转、Modal/Lambda 云端产物丢失及 Ctrl+C 可能遗留计费实例。
- 2026-09-12版本发布
Soup 发布 v0.75.0:破坏性变更——未知配置键现在直接拒绝加载(soup train 退出码 1,API/Web UI 抛 ValueError 并提示可能的字段名);修复 MLX 后端六项训练配置被校验后静默丢弃,24 个无 MLX 对应的优化器改为按名拒绝;validation loss 现被记录、推送并显示;新增 soup doctor --config;GSPO(arXiv:2507.18071)成为正式序列级目标;修复 LoRA+ 崩溃;要求 torch>=2.6.0;Multipack FFD 装箱改 O(N log N);Web UI 读取端点与 SSE 强制认证,--public 不再暴露 FastAPI 文档;遥测改为 opt-in。
- 2026-09-04版本发布
Soup 发布 v0.74.0:修复冻结底座长期以 fp32 加载导致显存峰值翻倍(H100+LLaMA-3.1-8B+LoRA 峰值从 48,241 MiB 降至 18,658 MiB,约 28.9GB,三次复现逐字节一致);升级 Transformers 5.x/TRL 0.29/PEFT 0.20 并修复依赖冲突;修复 T4等免费层 stream_layers 的 BFloat16 与 fp16 GradScaler 崩溃;新增 soup train --cloud lambda 云端训练后端(默认仅计划);修复四种 IPv4 拼写绕过 SSRF 缺陷,/v1/tools/bash 在 OS 级隔离下重新启用,soup serve 缺 --tool-auth-token 时退出码 2;新增 14 个 recipe(目录共 163)。
- 2026-08-18版本发布
Soup 发布 v0.73.3:修复四个被 schema 校验、文档化却从未被任何代码读取的配置 flag——training.bnb_4bit_use_double_quant 被硬编码 True、Apple Silicon 上 quantization:4bit 被静默改写为 none(quantization 决策被提取为显式可测的 resolve_quantization())、soup train --no-reexec 打印缺失标志的启动命令、data.interleave 训练期无读取器;新增 soup mcp serve --allow-execute 以服务器生成的一次性确认 token 门禁计划中的训练/导出(计划期快照配置、token 消费在 Popen 前);新增 qwen3.5-4b-pretrain 与 deepseek-v4-flash-grpo 两个新 recipe。
- 2026-08-15版本发布
Soup 发布 v0.73.2:修复 soup ship 发布门禁(release gate)Leg 2 回归评分的三个误导性缺陷——mini_tool_call 按括号卫生而非模型真实能力排名、mini_mmlu 因抽取器不认识 \boxed{} 且提示词不要求字母导致 8B 模型得分被压到 0.5B 之下;新增反过度拒绝检测套件 mini_over_refusal 与 soup ship --noise-floor N(重复测量底座各轴 max−min 作为门禁阈值下限,防止噪声被误判为回归);新增 soup data split --stratify-semantic 语义分层切分与 soup mcp serve --allow-execute 更强的可执行 opt-in;并修复调用方错误与真实回归不可区分、Rich 吞掉 Leg-1 标记、未信任轴名可驱动终端的转义等缺陷。
- 2026-08-14版本发布
Soup 发布 v0.73.1:修复 bf16 假设导致 T4/P100/V100/GTX16xx 等所有 pre-Ampere 显卡(即 Colab/Kaggle 免费层)任务全部失败的问题,覆盖 14 处默认 bf16;新增可选的 training.stream_vram_probe,通过对真实一次前向+反向的测量来决定 Layer Streaming 显存检查,实测在 RTX 3050 4GB 上 5120/6144 序列长时预测低估 7%-21%,提供 4 倍预算内的超控;修复 use_fsdp2_compile 下 checkpoint-* 仍加载成清零 dead adapter、MLX adapter_config.json 的 target_modules 未解析导致适配器静默无效、backend:mlx 未派发到 MLX trainer、training.seed 仅到达 SFT wrapper 等问题;training.batch_size 现拒绝 0 与负数。
- 2026-08-09版本发布
Soup 发布 v0.73.0:首次在 8×H100 机器验证 Layer Streaming(H100 中位 113.00 tok/s、峰值 3.32 GB,对比 RTX 3050 的 119.6 tok/s、同为 3.32 GB),并修复 NF4 大模型(163.8–171.5 MiB/层阈值以上,即 32B 及以上)静默错误梯度缺陷 #331。修复四条从未跑通的后端:soup train --gpus N 多卡入口、DeepSpeed 训练 LoRA(zero2/zero3/zero++)、use_fsdp2_compile 保存适配器全零、SGLang 生成报 500;vLLM 后端改用模型自带 chat template。新增 training.seed / data_seed、lora.r: 0 全参微调、--deepspeed zero3_offload(ZeRO-3 CPU 参数卸载),trl 放宽至 >=0.14.0,<0.29,Python 限定 3.10–3.12。
- 2026-08-04版本发布
Soup 发布 v0.72.4,旗舰能力 Layer Streaming(BETA)将冻结底座保留在 CPU 内存或 NVMe,通过专用 CUDA 流逐层拷入显存并量化为 NF4,使峰值显存受单层而非整个模型限制,Llama-3.1-8B 可在 4 GB 显存笔记本 GPU 上微调,DPO/ORPO/SimPO/KTO 对齐同样支持流式训练。
Soup 常见问题
关于 Soup 的定位、核心功能、价格与最近更新。
Soup 是什么?
Soup 是开源的大模型微调与后训练命令行工具,用一份 YAML 即可自动生成训练配置,涵盖 SFT 与 DPO、ORPO、SimPO、KTO 等对齐方法。其 Layer Streaming 把冻结底座放在内存或 NVMe 中逐层送入显存并量化为 NF4,使 Llama-3.1-8B 可在 4 GB 显存笔记本 GPU 上微调,并可与 HuggingFace、Ollama、vLLM 等生态对接。
Soup 有哪些核心功能?
Soup 当前已核验的核心功能包括:安全检测、强化学习训练、性能基准、本地模型推理、模型训练学习、模型量化压缩、自动化工作流、训练数据清洗、隐私防护。
Soup 如何收费?
AI Equal 当前没有收录 Soup 的可验证价格信息。
Soup 最近有什么更新?
2026-10-28:Soup 发布 v0.77.1:GRPO 现可在 Apple Silicon 上通过 `backend: mlx` 原生训练(自带 MLX 循环完成采样、accuracy/format 打分与策略梯度更新);新增 `soup infer --backend mlx`,无需 Torch/PEFT 即可加载 MLX 基座与文本 LoRA 适配器推理;同时修复 `soup data` 命令用 `--output` 覆盖自身输入、`soup plan`/`soup apply` 拒绝 `soup train` 会拒绝的配置,并新增 `soup ship --progress jsonl` 带版本的进度事件。