Yzma 基准称嵌入速度领先 Ollama 与 Docker

Yzma 发布 1.30.0 版推理引擎对比基准，称在嵌入任务上比 Ollama 0.40.5 和 Docker Model Runner v1.2.8 快 2.6 至 2.7 倍：单次请求耗时 1.7 毫秒，对手分别为 4.5 毫秒和 4.6 毫秒。文本生成快 9.2% 至 12.1%，图像请求快 1.2 至 1.4 倍。Yzma 称速度优势源于在同一进程内调用 llama.cpp，无需 REST 往返。 该基准比较三个支持 GGUF 模型的引擎，测量时间为 2026 年 10 月 16 日至 19 日；AMD EPYC 相关数据较早，来自 9 月 24 日至 25 日的 b11146 构建。文本测试在每台机器上使用 4 线程，因为线程更多会让这个小模型变慢；相关 flag 仅在 Linux 上有效。以上均为 Yzma 自行发布的对比结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。