WebLLM
高性能浏览器端LLM推理引擎，基于WebGPU硬件加速
WebLLM 是一个高性能的浏览器端 LLM 推理引擎，让大语言模型推理直接在浏览器内运行，全程无需服务器支持，通过 WebGPU 获得硬件加速。它完全兼容 OpenAI API，可在本地任意开源模型上使用流式、JSON 模式、函数调用等功能，支持 Llama、Phi、Gemma、Mistral、Qwen 等模型，并支持自定义 MLC 格式模型集成。以 npm 包形式提供，开发者可在其之上构建 AI 助手等 Web 应用，兼顾 GPU 加速效果与数据隐私
0
—
未收录
18,774
工具功能
这个工具能做什么、适合谁用，以及目前已识别的核心能力。
工具简介
WebLLM 是一个高性能的浏览器端 LLM 推理引擎，让大语言模型推理直接在浏览器内运行，全程无需服务器支持，通过 WebGPU 获得硬件加速。它完全兼容 OpenAI API，可在本地任意开源模型上使用流式、JSON 模式、函数调用等功能，支持 Llama、Phi、Gemma、Mistral、Qwen 等模型，并支持自定义 MLC 格式模型集成。以 npm 包形式提供，开发者可在其之上构建 AI 助手等 Web 应用，兼顾 GPU 加速效果与数据隐私
核心功能
价格信息
暂无可验证价格信息暂无足够准确的价格信息。
基础信息
- 更新频率
- 暂无已发布动态
- 最近更新
- 覆盖行业
更新日志
按时间记录功能更新、版本发布、新工具入库等重要变化。
暂无可展示的更新历史
采集到并通过审核的功能动态会按时间显示在这里。
WebLLM 常见问题
关于 WebLLM 的定位、核心功能、价格与最近更新。
WebLLM 是什么？
WebLLM 是一个高性能的浏览器端 LLM 推理引擎，让大语言模型推理直接在浏览器内运行，全程无需服务器支持，通过 WebGPU 获得硬件加速。它完全兼容 OpenAI API，可在本地任意开源模型上使用流式、JSON 模式、函数调用等功能，支持 Llama、Phi、Gemma、Mistral、Qwen 等模型，并支持自定义 MLC 格式模型集成。以 npm 包形式提供，开发者可在其之上构建 AI 助手等 Web 应用，兼顾 GPU 加速效果与数据隐私。
WebLLM 有哪些核心功能？
WebLLM 当前已核验的核心功能包括：对话助手、模型推理服务、结构化抽取。
WebLLM 如何收费？
AI Equal 当前没有收录 WebLLM 的可验证价格信息。