投机解码加速

SGLang 是由非营利开源组织 LMSYS 托管的大语言模型与多模态模型高性能推理服务框架，面向生产级部署设计，可在单卡到大规模分布式集群之间提供低延迟、高吞吐的推理服务，目前支撑全球超过 40 万块 GPU 上的大规模生产部署，每天生成数万亿 token。

colibri 是开源纯 C 本地大模型推理引擎，无需 GPU 即可在普通电脑内存与磁盘上运行数千亿参数 MoE 开源模型。内置 GLM、DeepSeek、Qwen、Kimi、MiMo 等 13 个引擎，支持本地对话、OpenAI 兼容 API 服务、工具调用、图像理解与 Qwen-Image 文本生成图像，并提供 System One 决策 API。v2.0.0 新增 Vulkan GPU 加速、双 GPU 专家分层与最多 16 路并发会话。

LFM2.5-VL-3B 是 Liquid AI 面向端侧部署的视觉语言模型，以 LFM2.5-2.6B 为语言骨干并搭配 SigLIP2 NaFlex 400M 视觉编码器，支持 32768 token 上下文与 16 种语言。可处理文本与图像输入，具备整页 OCR 带版面标注、自然语言指代的目标定位与检测、多图推理、屏幕 UI 理解与函数调用能力，并提供 GGUF、ONNX、MLX 量化版本用于 CPU、移动与 Apple Silicon 推理。

vLLM 是 UC Berkeley Sky Computing Lab 发起、现由逾两千名贡献者共建的开源 LLM 推理与在线服务引擎。它以 PagedAttention 高效管理注意力键值内存，通过连续批处理、分块预填充、前缀缓存实现业界领先的服务吞吐，为 LLM 提供易用、快速且低成本的模型推理与部署。近期集成原生 TPU 支持并对 Qwen3 Embedding 系列做企业级优化，可承载长上下文多模态嵌入推理，支撑语义检索、推荐系统等企业场景。