跳到正文
Hacker News· neutrinoliu·· 2 小时前AI 评分58

CyberArena:在实时对称攻防对抗中评测 AI 智能体

CyberArena: Benchmarking AI Agents in Live Symmetric Attack-and-Defense Combat

AI 导读

CyberArena 是一个动态对称的攻防对抗基准,让两个智能体在隔离沙盒中按相同规则同时扮演攻击方和防御方,围绕持续变化的服务进行多轮对抗。研究团队用自动化智能体流水线持续生成、审核和验证新环境,并提出一个动力学模型,把对局动态映射为进攻、防御和领域能力的多维统一评分。在 40 个挑战、466 场对局中评测 12 个前沿 LLM 智能体后,该基准区分出了单智能体基线触及上限时各模型的能力差异。

来源:Hacker News · arxiv.org