Hacker News· deadprogram·· 3 小时前AI 评分36
yzma 1.30.0 嵌入速度比 Ollama 和 Docker Model Runner 快 2.6 倍以上
Yzma now over 2.6X faster at embeddings than Ollama or Docker Model Runner
AI 导读
yzma 1.30.0 在嵌入任务上比 Ollama 0.40.5 和 Docker Model Runner v1.2.8 快 2.6 至 2.7 倍，单次请求耗时 1.7 ms，对手为 4.5 ms 和 4.6 ms。文本生成快 9.2% 至 12.1%，图像请求快 1.2 至 1.4 倍。速度优势源于 yzma 在同一进程内调用 llama.cpp，无需 REST 往返。
来源：Hacker News · yzma.ai