WebLLM
高性能浏览器端LLM推理引擎，基于WebGPU硬件加速
WebLLM 是一个高性能的浏览器端 LLM 推理引擎，让大语言模型推理直接在浏览器内运行，全程无需服务器支持，通过 WebGPU 获得硬件加速。它完全兼容 OpenAI API，可在本地任意开源模型上使用流式、JSON 模式、函数调用等功能，支持 Llama、Phi、Gemma、Mistral、Qwen 等模型，并支持自定义 MLC 格式模型集成。以 npm 包形式提供，开发者可在其之上构建 AI 助手等 Web 应用，兼顾 GPU 加速效果与数据隐私
2
2026-10-11
未收录
19,266
工具功能
这个工具能做什么、适合谁用，以及目前已识别的核心能力。
工具简介
WebLLM 是一个高性能的浏览器端 LLM 推理引擎，让大语言模型推理直接在浏览器内运行，全程无需服务器支持，通过 WebGPU 获得硬件加速。它完全兼容 OpenAI API，可在本地任意开源模型上使用流式、JSON 模式、函数调用等功能，支持 Llama、Phi、Gemma、Mistral、Qwen 等模型，并支持自定义 MLC 格式模型集成。以 npm 包形式提供，开发者可在其之上构建 AI 助手等 Web 应用，兼顾 GPU 加速效果与数据隐私
核心功能
价格信息
暂无可验证价格信息暂无足够准确的价格信息。
基础信息
- 更新频率
- 近 7 天 1 条收录动态
- 最近更新
- 2026-10-11
- 覆盖行业
- 程序员
更新日志
按时间记录功能更新、版本发布、新工具入库等重要变化。
- 2026-10-11版本发布
WebLLM 发布 v0.2.86：新增 Gemma 4 E2B 指令微调模型（q4f16_1/q4f32_1），支持文本与音频输入，FP32 变体无需 shader-f16，浏览器端即可进行 Gemma 文本流式与音频对话；Phi-3.5 视觉库改用 4K-prefill 使默认方形图片适配，图像理解输入上限提升；内置 TVM 运行时升级到 0.28.0-dev0，预编译目录切换到 v0_2_86/base，重建 224 个 WebGPU 库；新增基于 manifest 的音频/图像加载与崩溃可恢复生成，并修复中断会话、取消流、模型锁、token 计数与音频清理问题。
- 2026-09-08版本发布
WebLLM 发布 v0.2.85：新增 OPFS 同步访问句柄与已提交缓存记录，内置 TVM web 运行时升级至 0.27.0-dev0；OpenAI 兼容接口 created 时间戳改为秒级；启动时注册 service-worker 处理器使重启 worker 仍可接收请求；保留恢复后的 worker 模型状态以避免重复加载；修复无效结构化标签约束导致的卡死并拒绝 NaN 生成参数。仍复用 v0_2_84/base 模型库，无需新模型二进制。
WebLLM 常见问题
关于 WebLLM 的定位、核心功能、价格与最近更新。
WebLLM 是什么？
WebLLM 是一个高性能的浏览器端 LLM 推理引擎，让大语言模型推理直接在浏览器内运行，全程无需服务器支持，通过 WebGPU 获得硬件加速。它完全兼容 OpenAI API，可在本地任意开源模型上使用流式、JSON 模式、函数调用等功能，支持 Llama、Phi、Gemma、Mistral、Qwen 等模型，并支持自定义 MLC 格式模型集成。以 npm 包形式提供，开发者可在其之上构建 AI 助手等 Web 应用，兼顾 GPU 加速效果与数据隐私。
WebLLM 有哪些核心功能？
WebLLM 当前已核验的核心功能包括：图像理解、对话助手、模型推理服务、结构化抽取、语音对话。
WebLLM 如何收费？
AI Equal 当前没有收录 WebLLM 的可验证价格信息。
WebLLM 最近有什么更新？
2026-10-11：WebLLM 发布 v0.2.86：新增 Gemma 4 E2B 指令微调模型（q4f16_1/q4f32_1），支持文本与音频输入，FP32 变体无需 shader-f16，浏览器端即可进行 Gemma 文本流式与音频对话；Phi-3.5 视觉库改用 4K-prefill 使默认方形图片适配，图像理解输入上限提升；内置 TVM 运行时升级到 0.28.0-dev0，预编译目录切换到 v0_2_86/base，重建 224 个 WebGPU 库；新增基于 manifest 的音频/图像加载与崩溃可恢复生成，并修复中断会话、取消流、模型锁、token 计数与音频清理问题。