IBM 发布 vLLM-Hook MIA，让 vLLM 推理中观测和干预模型内部状态

IBM 发布 vLLM-Hook MIA 插件库，可在 vLLM 推理运行时观测和干预模型内部状态，用于拒绝恶意提示、标记幻觉事实或调整语气。技术报告称其比前代 vLLM-Hook 快至多 20 倍，比向模型插入代码的同类方法快至多 14 倍；在 8B Llama 和 Qwen 1.5B 上部分场景推理仅延迟 2%，Llama 70B 上干预开销为 6%。