Microsoft 研究员 Jennifer Neville 谈 AI 评测的意外失败与真实世界表现
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界，以及模型在超出常规评测时出现的"意外失败"。她结合自身从数学、物理、认知科学转向计算机科学的经历，分享了使用当前 AI 系统的实用建议，并强调当结果偏离预期时应仔细审视数据。
#大佬观点
Microsoft ResearchAI 评分2222
GitHub Blog · AI & MLAI 评分3636 GitHub Copilot 为何认为 chat 是错误的 UI
GitHub Copilot 提出 canvas 概念，即运行在 GitHub Copilot app 内、无浏览器外壳的全栈应用，可与 agent 双向通信并调用第三方 API、在本地执行代码。官方认为 chat 只是通用兜底方案，用户明确任务时更该让 agent 构建可复用工具，而非把 agent 本身当工具，例如用 canvas 管理 Winget 包或直接操作 SQLite 数据库。
Berkeley AI ResearchAI 评分3434 智能免费之后怎么办？面向智能体、由智能体运行、由智能体构建的数据系统
UC Berkeley 的 Aditya G. Parameswaran 等人提出，随着推理成本从 2023 年初 GPT-4 级约 $30/百万 token 降至如今不到 $1、部分厂商低于 $0.10，数据系统需应对三类新挑战：面向智能体的数据系统、由智能体运行的数据系统、由智能体构建的数据系统。