NNSight 技能包

为 nnterp 提供跨架构的可解释性技术模板，支持注意力分析、激活修补等实验，确保在 GPT-2、Llama 等不同 Transformer 家族中统一运行。

基于 nnterp 标准化接口，在 GPT-2、Llama、Qwen 等 98 种 Transformer 家族及视觉语言模型中统一编写和运行可解释性代码。

指导在自有 GPU 上部署 NDIF 服务器，涵盖 Docker、源码安装及配置，供 nnsight remote=True 使用。

管理自托管 NDIF 上的模型部署、扩缩容及队列监控，支持模型大小估算与生产环境配置。

用于扩展 nnterp 以支持非标准模型架构、自定义值注入及处理版本升级导致的算子名称变更。

诊断自托管 NDIF 的常见故障，如容器启动失败、GPU 缺失、请求挂起或 CUDA 内存溢出等。适用于分析服务器日志及重建失败请求。

用于修改 NDIF 服务器代码，涵盖仓库结构、请求生命周期、模型 Actor 钩子及测试发布流程。

通过在干净与损坏提示间复制激活值，定位因果组件。支持去噪/加噪、层×位置映射及分布式对齐搜索，用于验证探针发现并构建IOI式配对提示。

通过归因分析与剪枝算法，精准定位模型执行特定任务的核心组件子图，并提供验证证据以区分真实电路与高分组件列表。

通过应用最终范数和反嵌入层解码模型在每一层的预测，用于分析答案生成的深度、追踪特定Token概率及验证模型知识。

利用梯度近似激活补丁，通过两次前向和一次反向传播高效生成全层、位置及注意力头的归因热力图，适用于大规模模型筛选与电路发现。

利用 Transformers 库的张量并行功能，将超出单卡显存的大模型分片至多 GPU 运行。支持完整 API（梯度、源数据等），适用于多卡追踪及处理激活形状异常场景。

在 nnsight 中处理稀疏自编码器（SAE）和字典学习，支持模型特征分析、激活读取、示例查找及重建误差评估。

基于 ROME 协议定位模型存储和检索事实的位置，通过干扰与恢复隐藏状态生成因果轨迹，用于分析事实召回机制。

通过指定格式名称（如 nf4、int8）加载 4 位或 8 位量化模型，详解内存节省、精度损失及常见静默失败场景。

通过向残差流添加方向向量，在推理时动态改变模型行为。支持对比激活、转向向量及函数向量提取，用于诱导或抑制特定风格与任务表现。

诊断并修复 nnsight 代码中的错误、挂起或静默失败问题，支持旧版本代码向 0.8 版本的迁移适配。

通过移除模型组件（如层、注意力头、神经元）来量化其贡献，支持零值、均值或噪声等多种消融策略，用于评估组件必要性及重要性扫描。

用于在模型激活上训练分类器，检测属性（如真值、情感）的可解码性、所在层级及因果影响，支持层扫描、控制实验及概念擦除。

在 vLLM 推理引擎中运行 nnsight 干预，支持连续批处理、张量并行及流式输出，适用于高吞吐量场景。

提取并分析注意力模式及单头行为，包括概率矩阵、熵值等指标及头类型检测，用于定位信息流动路径或筛选待修补的注意力头。

使用 nnsight 读取、修改和分析神经网络内部结构，支持激活追踪、模块干预及梯度计算，适用于可解释性实验与调试。

追踪并干预非纯文本模型，包括视觉语言、扩散管道及音频/视觉编码器。用于定位图像信息入口、执行令牌消融或处理 HuggingFace 多模态任务。

提供可解释性研究的规划清单与方法路由，辅助选择探针、消融等技术及确定控制变量与评估指标。

通过权重直接修改、ROME更新及加载PEFT/LoRA适配器，持久化改变模型知识或行为。支持在冻结模型上训练LoRA并监控内部状态，评估编辑的特异性与泛化能力。

优化在 NDIF 上运行的 nnsight 代码，支持远程执行、异步作业及超大模型（如 Llama-70B/405B），涵盖 API 配置与故障诊断。