功能图谱

Capability Timeline

LLM评测

用代码规则、LLM 裁判或类型化判断模型对 LLM/智能体的 trace 与输出进行打分、结构化反馈与回归评测。

5 个工具144 条动态

相关工具

5

开源智能体工作流网关与路由器,统一托管、BYOK与本地模型访问。

Experiential 是一个面向智能体工作流的开源网关与路由器,通过一个 OpenAI 兼容 API 统一托管、BYOK 和本地模型。它支持按用户、智能体、用例及预算控制模型访问,并可将生产流量转化为针对质量、速度和成本优化的自定义路由器或模型。项目支持本地部署(pip install experiential)及托管平台,默认启用匿名聚合遥测。

代码沙箱执行第三方模型接入访问控制策略工具协议集成函数调用
近7天 18 动态9,907 Stars

开源 AI 智能体构建器与运行时:YAML 定义、多智能体协作与 MCP 工具生态

docker-agent 是 Docker 开源的 AI 智能体构建器与运行时,以 docker CLI 插件运行,用声明式 YAML 定义智能体。支持多智能体任务委派,内置 think、todo、memory 与 RAG 检索;可接入任意 MCP 服务器,兼容 OpenAI、Anthropic、Gemini、xAI 及 Docker Model Runner 本地模型;智能体可打包为 OCI 镜像分发,随 Docker Desktop 4.63+ 预装。

本地模型推理第三方模型接入工具协议集成结构化工具输出命令行工具
近7天 2 动态4,480 Stars

面向智能体与 LLM 的可观测性平台,支持追踪、监控与在线质量评估。

LangSmith 是 LangChain 出品的 Agent 与 LLM 可观测性及评估平台,提供完整链路追踪、生产监控和在线评估能力,可通过 Python、TypeScript、Go、Java SDK 接入任意 Agent 技术栈,定位延迟、成本与响应质量问题。新推出的 Tuned Evaluators 以专用后训练 judge 自动为生产 trace 附加质量反馈,首个能力 Perceived Error 可检测智能体出错、误解或走错方向的对话,帮助团队发现并修复线上故障。

测试生成第三方应用集成访问控制策略故障根因分析即时通讯集成
近7天 2 动态

开源 AI 智能体工作室:配置、测试、评估并发布为网站聊天机器人或接入 WhatsApp

Chatbot Studio 是 MIT 许可、可自托管的开源 AI 智能体构建平台,将智能体配置与面向客户的展示层分离。支持 OpenAI、Anthropic、Gemini、Groq、OpenRouter、Ollama 等模型供应商,可挂载工具、MCP 服务器、知识库、记忆、技能与护栏,并提供可视化工作流、智能体团队、审批、定时任务与沙箱。内置测试对话、评估、追踪、提示词优化、人工转接队列和访客收件箱,可将同一智能体发布为品牌化网站聊天小组件,或通过 WhatsApp Web 接入渠道。

第三方模型接入对话助手工具协议集成即时通讯集成界面定制
近7天 1 动态0 Stars

面向端侧设备的基础模型与部署栈

Liquid AI 提供 Liquid Foundation Models(LFM)系列基础模型,主打在手机、笔记本、汽车、可穿戴等设备本地运行的低延迟推理,可在 CPU、GPU、NPU 上通过 llama.cpp、MLX、ONNX、CoreML、vLLM 等运行时部署,并支持针对自有数据与具体场景做微调定制,形成从架构、优化到部署的全栈方案。

模型量化压缩模型路由模型推理服务模型训练学习内容审核
近7天 1 动态