DeepMind 开源 gBench 评测套件

Google DeepMind 开源了 gBench，一个面向开放大语言模型（LLM）和视觉语言模型（VLM）的评测套件，包含 86 个学术评测套件、16 项 Golden Set 冒烟测试和 GemmaClaw 智能体质量套件。 使用上，基础包需 Python 3.11+，可运行在笔记本或 Ollama 等远程端点上；本地 GPU 服务和远程真实数据集任务需另装 vllm，并需提供 GEMINI_API_KEY 或 GEMINI_API_KEYS。套件以 Apache 2.0 许可证发布。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。