eval-awareness-sentinel 是一个基于 Python 的只读分析工具,通过读取语言模型内部激活态来检测模型是否识别出评估环境(eval-awareness)。其目标是为 AI 安全研究提供洞察,识别模型可能在评估中刻意表现不佳(sandbagging)的迹象,但不与故意低表现建立因果关系。作为 AGPL-3.0 开源的轻量库,它提供简单的 score() 接口返回评估感知分数与是否评估感知的布尔结果,可方便集成进现有模型评估与部署前审查工作流,主要面向 AI 安全研究员与模型评测团队。
Capability Timeline
模型可解释性
分析 LLM 内部表示、激活值、层间贡献,可视化模型内部机制。
相关工具
5J-Wash 是基于 Anthropic Jacobian Lens 的本地 LLM 内部表示分析与编辑工具。用户可在聊天界面中实时查看各层读取的 token 方向,通过 token 编辑器添加消融、替换等规则来重塑模型身份和行为,然后将编辑导出为完整 checkpoint、修改层权重或 LoRA,导出的 safetensors 权重可在任意 transformers 环境中加载运行,还支持转换 GGUF 格式。无需训练、数据集或微调。
Lophius 是面向语言模型研究的开源工作台,可在 Jupyter 或 Colab 中通过 pip 安装并以 lophius.init() 启动。它支持同时加载多个模型进行对比与批量操作,查看模型统计与架构、编辑模型与分词器配置并热重载,与已加载模型对话,图形化管理提示数据集,并可视化任意层与注意力头的注意力分数、任意 token 位置的 logits/概率/熵,以及用 PCA、t-SNE、UMAP、PaCMAP 降维展示隐藏状态。
NeuronScope 是一个开源的机制可解释性 CLI 与 MCP 服务器,基于 TransformerLens 构建。用户从命令行或通过 Agent 的 MCP 接入,向语言模型提问“你为何给出这个回答”,即可获得以 JSON 形式输出的、真正导致该输出的注意力头与 MLP 神经元,用于溯源 LLM 输出的根因。它适合做模型诊断、AI 安全研究与可解释性分析,既可用于本地交互,也可作为模型上下文协议服务嵌入 Agent 工作流。
TabPFN 是 Prior Labs 推出的表格数据基础模型,基于在数十亿合成数据集上预训练的 Transformer,通过上下文学习一次前向传播即可对新表格数据集给出分类与回归预测,无需针对数据集单独训练或调参。可通过 pip 安装本地使用,也可调用云端 API,并支持时序预测、异常检测、可解释性与微调等能力。




