跳到正文
Hacker News· mike_hearn·· 2 小时前AI 评分58

Quixotic AI 推出纯 Java 推理引擎 jinfer,宣称比 llama.cpp 更快

Local inferencing in one JVM JAR, dependency free, faster than llama.cpp

AI 导读

Quixotic AI 发布面向 JVM 的 AI 推理引擎 jinfer,以单个 JAR 交付且无外部依赖,覆盖对话、视觉、嵌入向量和文本转语音,并提供 Spring AI 与 LangChain4j 集成。

来源:Hacker News · qxotic.ai