Soup

一条命令完成大模型微调与后训练的 CLI

Soup 是开源的大模型微调与后训练命令行工具,用一份 YAML 即可自动生成训练配置,涵盖 SFT 与 DPO、ORPO、SimPO、KTO 等对齐方法。其 Layer Streaming 把冻结底座放在内存或 NVMe 中逐层送入显存并量化为 NF4,使 Llama-3.1-8B 可在 4 GB 显存笔记本 GPU 上微调,并可与 HuggingFace、Ollama、vLLM 等生态对接

强化学习训练性能基准模型训练学习模型量化压缩自动化工作流
访问官网
收录动态

7

最近更新

2026-09-12

评价样本

未收录

GitHub Stars

6,730

工具功能

这个工具能做什么、适合谁用,以及目前已识别的核心能力。

工具简介

Soup 是开源的大模型微调与后训练命令行工具,用一份 YAML 即可自动生成训练配置,涵盖 SFT 与 DPO、ORPO、SimPO、KTO 等对齐方法。其 Layer Streaming 把冻结底座放在内存或 NVMe 中逐层送入显存并量化为 NF4,使 Llama-3.1-8B 可在 4 GB 显存笔记本 GPU 上微调,并可与 HuggingFace、Ollama、vLLM 等生态对接

核心功能

5 项已整理
强化学习训练
性能基准
模型训练学习
模型量化压缩
自动化工作流

价格信息

免费

当前仅展示已核验的定价模式。

基础信息

更新频率
近 7 天 1 条收录动态
最近更新
2026-09-12
覆盖行业

更新日志

按时间记录功能更新、版本发布、新工具入库等重要变化。

  1. 2026-09-12版本发布

    Soup 发布 v0.75.0:破坏性变更——未知配置键现在直接拒绝加载(soup train 退出码 1,API/Web UI 抛 ValueError 并提示可能的字段名);修复 MLX 后端六项训练配置被校验后静默丢弃,24 个无 MLX 对应的优化器改为按名拒绝;validation loss 现被记录、推送并显示;新增 soup doctor --config;GSPO(arXiv:2507.18071)成为正式序列级目标;修复 LoRA+ 崩溃;要求 torch>=2.6.0;Multipack FFD 装箱改 O(N log N);Web UI 读取端点与 SSE 强制认证,--public 不再暴露 FastAPI 文档;遥测改为 opt-in。

  2. 2026-09-04版本发布

    Soup 发布 v0.74.0:修复冻结底座长期以 fp32 加载导致显存峰值翻倍(H100+LLaMA-3.1-8B+LoRA 峰值从 48,241 MiB 降至 18,658 MiB,约 28.9GB,三次复现逐字节一致);升级 Transformers 5.x/TRL 0.29/PEFT 0.20 并修复依赖冲突;修复 T4等免费层 stream_layers 的 BFloat16 与 fp16 GradScaler 崩溃;新增 soup train --cloud lambda 云端训练后端(默认仅计划);修复四种 IPv4 拼写绕过 SSRF 缺陷,/v1/tools/bash 在 OS 级隔离下重新启用,soup serve 缺 --tool-auth-token 时退出码 2;新增 14 个 recipe(目录共 163)。

  3. 2026-08-18版本发布

    Soup 发布 v0.73.3:修复四个被 schema 校验、文档化却从未被任何代码读取的配置 flag——training.bnb_4bit_use_double_quant 被硬编码 True、Apple Silicon 上 quantization:4bit 被静默改写为 none(quantization 决策被提取为显式可测的 resolve_quantization())、soup train --no-reexec 打印缺失标志的启动命令、data.interleave 训练期无读取器;新增 soup mcp serve --allow-execute 以服务器生成的一次性确认 token 门禁计划中的训练/导出(计划期快照配置、token 消费在 Popen 前);新增 qwen3.5-4b-pretrain 与 deepseek-v4-flash-grpo 两个新 recipe。

  4. 2026-08-15版本发布

    Soup 发布 v0.73.2:修复 soup ship 发布门禁(release gate)Leg 2 回归评分的三个误导性缺陷——mini_tool_call 按括号卫生而非模型真实能力排名、mini_mmlu 因抽取器不认识 \boxed{} 且提示词不要求字母导致 8B 模型得分被压到 0.5B 之下;新增反过度拒绝检测套件 mini_over_refusal 与 soup ship --noise-floor N(重复测量底座各轴 max−min 作为门禁阈值下限,防止噪声被误判为回归);新增 soup data split --stratify-semantic 语义分层切分与 soup mcp serve --allow-execute 更强的可执行 opt-in;并修复调用方错误与真实回归不可区分、Rich 吞掉 Leg-1 标记、未信任轴名可驱动终端的转义等缺陷。

  5. 2026-08-14版本发布

    Soup 发布 v0.73.1:修复 bf16 假设导致 T4/P100/V100/GTX16xx 等所有 pre-Ampere 显卡(即 Colab/Kaggle 免费层)任务全部失败的问题,覆盖 14 处默认 bf16;新增可选的 training.stream_vram_probe,通过对真实一次前向+反向的测量来决定 Layer Streaming 显存检查,实测在 RTX 3050 4GB 上 5120/6144 序列长时预测低估 7%-21%,提供 4 倍预算内的超控;修复 use_fsdp2_compile 下 checkpoint-* 仍加载成清零 dead adapter、MLX adapter_config.json 的 target_modules 未解析导致适配器静默无效、backend:mlx 未派发到 MLX trainer、training.seed 仅到达 SFT wrapper 等问题;training.batch_size 现拒绝 0 与负数。

  6. 2026-08-09版本发布

    Soup 发布 v0.73.0:首次在 8×H100 机器验证 Layer Streaming(H100 中位 113.00 tok/s、峰值 3.32 GB,对比 RTX 3050 的 119.6 tok/s、同为 3.32 GB),并修复 NF4 大模型(163.8–171.5 MiB/层阈值以上,即 32B 及以上)静默错误梯度缺陷 #331。修复四条从未跑通的后端:soup train --gpus N 多卡入口、DeepSpeed 训练 LoRA(zero2/zero3/zero++)、use_fsdp2_compile 保存适配器全零、SGLang 生成报 500;vLLM 后端改用模型自带 chat template。新增 training.seed / data_seed、lora.r: 0 全参微调、--deepspeed zero3_offload(ZeRO-3 CPU 参数卸载),trl 放宽至 >=0.14.0,<0.29,Python 限定 3.10–3.12。

  7. 2026-08-04版本发布

    Soup 发布 v0.72.4,旗舰能力 Layer Streaming(BETA)将冻结底座保留在 CPU 内存或 NVMe,通过专用 CUDA 流逐层拷入显存并量化为 NF4,使峰值显存受单层而非整个模型限制,Llama-3.1-8B 可在 4 GB 显存笔记本 GPU 上微调,DPO/ORPO/SimPO/KTO 对齐同样支持流式训练。

Soup 常见问题

关于 Soup 的定位、核心功能、价格与最近更新。

Soup 是什么?

Soup 是开源的大模型微调与后训练命令行工具,用一份 YAML 即可自动生成训练配置,涵盖 SFT 与 DPO、ORPO、SimPO、KTO 等对齐方法。其 Layer Streaming 把冻结底座放在内存或 NVMe 中逐层送入显存并量化为 NF4,使 Llama-3.1-8B 可在 4 GB 显存笔记本 GPU 上微调,并可与 HuggingFace、Ollama、vLLM 等生态对接。

Soup 有哪些核心功能?

Soup 当前已核验的核心功能包括:强化学习训练、性能基准、模型训练学习、模型量化压缩、自动化工作流。

Soup 如何收费?

Soup 当前已核验的价格模式为免费。

Soup 最近有什么更新?

2026-09-12:Soup 发布 v0.75.0:破坏性变更——未知配置键现在直接拒绝加载(soup train 退出码 1,API/Web UI 抛 ValueError 并提示可能的字段名);修复 MLX 后端六项训练配置被校验后静默丢弃,24 个无 MLX 对应的优化器改为按名拒绝;validation loss 现被记录、推送并显示;新增 soup doctor --config;GSPO(arXiv:2507.18071)成为正式序列级目标;修复 LoRA+ 崩溃;要求 torch>=2.6.0;Multipack FFD 装箱改 O(N log N);Web UI 读取端点与 SSE 强制认证,--public 不再暴露 FastAPI 文档;遥测改为 opt-in。