语义缓存

Experiential 是一个面向智能体工作流的开源网关与路由器，通过一个 OpenAI 兼容 API 统一托管、BYOK 和本地模型。它支持按用户、智能体、用例及预算控制模型访问，并可将生产流量转化为针对质量、速度和成本优化的自定义路由器或模型。项目支持本地部署（pip install experiential）及托管平台，默认启用匿名聚合遥测。

Flue 是开源的智能体 Harness 框架，用 TypeScript 以函数形式定义自治智能体：通过 useModel、useSandbox、useSkill、useTool 组合模型、沙箱、技能与工具。它为任意模型提供会话、工具、技能、指令、文件系统访问和安全沙箱环境，可用 CLI 在本地运行智能体，也可部署到自选托管运行时，用于构建端到端自动完成复杂任务的自治智能体。

SGLang 是由非营利开源组织 LMSYS 托管的大语言模型与多模态模型高性能推理服务框架，面向生产级部署设计，可在单卡到大规模分布式集群之间提供低延迟、高吞吐的推理服务，目前支撑全球超过 40 万块 GPU 上的大规模生产部署，每天生成数万亿 token。

Amazon Bedrock 是 AWS 提供的一站式生成式人工智能平台，让企业无需管理底层基础设施即可构建和部署生产级 AI 应用与智能体。平台聚合 Anthropic、Meta、OpenAI、Amazon Nova 等厂商的数百个基础模型，并提供模型选择与评估工具，帮助企业按性能与成本挑选最佳模型。内置 AgentCore 智能体构建与部署能力，同时具备企业级安全与可扩展性，已在全球超过十万家组织投入使用。

jevper 是 TypeSafe System One 接口的独立 Python 实现：输入文本 state，输出带概率与置信度的类型化答案（判断、选择、评分）。客户端鸭子类型，任何 OpenAI 兼容客户端均可接入，含自托管 llama.cpp，运行时不依赖 openai。支持多种概率判定方法及 auto 选择，问题并发执行，Apache-2.0 开源。

Kimi K3 是月之暗面推出的 AI 助手，专为智能体编程与知识工作打造。支持 Swarm 智能体集群与 Goal 模式并行执行任务，可构建可玩的多人与3D游戏，生成咨询级 PPT，处理 Excel 和 PDF 文档，提供深度研究与建站能力。

OpenAI 是提供多种大模型与 API 服务的 AI 工具平台。本次官方新增能力：开发者可在用量与支出仪表板中按 API 密钥追踪各应用和工作负载的用量与支出，并可为组织或项目设置月度支出限额，包括达到限额即停止流量的硬性上限，帮助企业精细化管控 API 调用成本。

Redis LangCache 是 Redis 推出的全托管语义缓存服务，位于应用与大模型之间，为提问生成嵌入并做向量检索，按语义而非字面匹配历史问答；命中相似度阈值即返回缓存响应、不再调用 LLM。目前以公共预览版在 Redis Cloud 提供，通过 REST API 接入并附带 Python、JavaScript SDK，兼容任意模型提供商，支持相似度阈值、TTL、淘汰策略及命中率与成本节省监控。