Kinference
面向 Kubernetes 与 vLLM 的开源推理控制平面，提供策略路由与负载均衡
Kinference 是面向 Kubernetes 与 vLLM 的开源推理控制平面（Apache 2.0），在多个推理端点之间按策略执行路由与负载均衡，通过 gRPC 接口接收 OpenAI chat-completions 格式请求并返回目标端点。它监控 vLLM 的 KV-cache 事件与引擎指标，通过 Kubernetes CRD 配置行为，提供租户级路由策略、令牌速率限制、模型别名及含 TTFT/ITL/端到端延迟的推理指标，可与 Buoyant Gateway 等代理搭配
1
2026-11-07
未收录
53
工具功能
这个工具能做什么、适合谁用，以及目前已识别的核心能力。
工具简介
Kinference 是面向 Kubernetes 与 vLLM 的开源推理控制平面（Apache 2.0），在多个推理端点之间按策略执行路由与负载均衡，通过 gRPC 接口接收 OpenAI chat-completions 格式请求并返回目标端点。它监控 vLLM 的 KV-cache 事件与引擎指标，通过 Kubernetes CRD 配置行为，提供租户级路由策略、令牌速率限制、模型别名及含 TTFT/ITL/端到端延迟的推理指标，可与 Buoyant Gateway 等代理搭配
核心功能
价格信息
暂无可验证价格信息暂无足够准确的价格信息。
基础信息
- 更新频率
- 近 7 天 1 条收录动态
- 最近更新
- 2026-11-07
- 覆盖行业
更新日志
按时间记录功能更新、版本发布、新工具入库等重要变化。
- 2026-11-07新工具首发
Buoyant 发布开源项目 Kinference：面向 Kubernetes 与 vLLM 的推理控制平面（Apache 2.0），新增声明式路由策略、KV-cache 感知负载均衡与租户级指标
Kinference 常见问题
关于 Kinference 的定位、核心功能、价格与最近更新。
Kinference 是什么？
Kinference 是面向 Kubernetes 与 vLLM 的开源推理控制平面（Apache 2.0），在多个推理端点之间按策略执行路由与负载均衡，通过 gRPC 接口接收 OpenAI chat-completions 格式请求并返回目标端点。它监控 vLLM 的 KV-cache 事件与引擎指标，通过 Kubernetes CRD 配置行为，提供租户级路由策略、令牌速率限制、模型别名及含 TTFT/ITL/端到端延迟的推理指标，可与 Buoyant Gateway 等代理搭配。
Kinference 有哪些核心功能？
Kinference 当前已核验的核心功能包括：模型推理服务、模型路由、用量与费用管控。
Kinference 如何收费？
AI Equal 当前没有收录 Kinference 的可验证价格信息。
Kinference 最近有什么更新？
2026-11-07：Buoyant 发布开源项目 Kinference：面向 Kubernetes 与 vLLM 的推理控制平面（Apache 2.0），新增声明式路由策略、KV-cache 感知负载均衡与租户级指标