跳到正文
今天10月15日周四5 条
  1. Alexandr Wang18

    对 muse wonder full 的用心评测 显然还有很多需要改进的地方,但很高兴看到大家喜欢用这个模型!

    引用Ben Davis@davis7

    Pros: - writing & "voice" - capabilities are on par with 6.1 sol (in non specialized things like computer use or 3d, they didn't RL on those this time) - orchestration Cons: - seriously wtf is this naming scheme you guys are making gpt-5.2-codex-high-fast seem sane - price/usage limits (tho they're working hard on fixing this) - can only use the good one (full) in muse code through the sub. no API

  2. Google Research66

    Google 发布地理空间推理智能体技术报告与两个新基准

    Google 发布地理空间推理智能体的技术报告,在 CBGB、UnivEARTH 及新提出的 GeoExpertQueries、GeoKTools 四个基准上评估四种智能体配置,并公开两个新基准的开发集。

    推荐理由:Google 公开地理空间推理智能体的技术报告与两个新基准,并给出与 WHO 等伙伴的实测案例,可了解专用工具与前置规划对空间推理的提升。

10月14日周三
10月12日周一
10月7日周三
  1. Microsoft Research22

    Microsoft 研究员 Jennifer Neville 谈 AI 评测的意外失败与真实世界表现

    Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规评测时出现的"意外失败"。她结合自身从数学、物理、认知科学转向计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。

10月5日周一
  1. GitHub Blog · AI & ML60

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub PR 的分布构建,包含 219 个 PR、覆盖 19 种语言,采用多来源 golden set 与统一评分标准,并由资深工程师独立复核,一致率 96.6%。

    推荐理由:GitHub 公开了代码审查基准的构建方法与离线到线上的验证数据,可据此判断评测信号是否可信。

10月4日周日
  1. Hugging Face Blog66

    微软 ThinkingBox 基准:按数据库终态而非模型自述评判 AI 智能体

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox 智能体评测基准,通过隔离的 MCP 工具会话运行任务,只根据智能体留下的后端终态和副作用打分,而非其生成的文字。

    推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出 20 次重复下的稳定性与成本数据。

10月2日周五
  1. Mustafa Suleyman62

    微软 AI 发布流式语音转文字模型 MAI-Transcribe-2-Streaming,在 AA-WER Streaming 的最终转写准确率与首个部分转写准确率上均排名第一,最终转写 WER 为 2.5%、语音结束后 0.13s 返回结果。该模型流式转写定价为每小时音频 0.54 美元,非流式转写为每小时 0.10 美元。Mustafa Suleyman 称其比 ElevenLabs 快 55%、便宜 60%,并邀请开发者在其平台上构建智能体。

    引用Artificial Analysis@ArtificialAnlys

    Microsoft AI has released MAI-Transcribe-2-Streaming, taking the #1 spot for Final Transcript accuracy and First Partial Transcript accuracy on AA-WER Streaming with 2.5% WER at 0.13s after end of speech MAI-Transcribe-2-Streaming is @MicrosoftAI's new streaming Speech to Text model, joining the non-streaming MAI-Transcribe-2. It leads streaming Final Transcript WER at 2.5%, ahead of the previous #1, SpaceXAI's Grok Voice Transcribe 2.0 at 2.7%, and returns that transcript in 0.13s rather than 0.49s. It is available for streaming transcription at $0.54 per hour of audio, at the higher end of pricing among the leading streaming models. Key takeaways ➤ Final Transcript: MAI-Transcribe-2-Streaming achieves 2.5% WER at 0.13s after end of speech, ranking #1 of 38 models. It is more accurate and faster than Grok Voice Transcribe 2.0 at 2.7% and 0.49s, Muse Voice Transcribe at 3.1% and 0.16s, and ElevenLabs Scribe v2 Realtime at 3.6% and 0.14s. It is also more accurate, though slightly slower, than Cartesia Ink Preview (external endpoints) at 3.1% and 0.11s ➤ First Partial Transcript: The model achieves 2.5% WER at 0.12s, ahead of Grok Voice Transcribe 2.0 at 3.4% and 0.49s, and ahead of Muse Voice Transcribe and ElevenLabs Scribe v2 Realtime on accuracy, both at 3.6%, and slightly faster than both at 0.12s versus 0.13s. It is more accurate but slower than Cartesia Ink-2 (external endpoints) at 4.0% and 0.07s ➤ Price: MAI-Transcribe-2-Streaming costs $0.54 per hour for streaming, or $9.00 per 1,000 minutes. This puts it level with Gemini 3.5 Transcribe Live at $9, above the $6.50 charged for ElevenLabs Scribe v2 Realtime and Deepgram Flux, more than twice Cartesia Ink-2 at $4, and three times Muse Voice Transcribe at $3. Non-streaming transcription costs $0.10 per hour, or $1.67 per 1,000 minutes Congrats to the @MicrosoftAI team on the launch! See more details below

10月1日周四
9月30日周三
8月22日周六
8月20日周四
  1. Mistral AI69

    Mistral 发布 Agentic Search,用多步检索循环提升复杂文档问答准确率

    Mistral 发布 Agentic Search,一种让模型在检索结果中继续搜索、打开、导航、读取和 grep 的多步检索层,通过 Mistral Search Toolkit 提供,并内置在 Studio 和 Vibe 的 Libraries 中。

    推荐理由:原文给出多步检索循环的五个工具与两组基准数据,读者可据此判断传统 RAG 在复杂文档上的边界。

8月17日周一
7月28日周二