Hacker News· noreplydev·· 5 小时前AI 评分40
@crtrs/llm:在 Node 中运行本地 LLM 的高层 API
High level API for local LLMs in Node
AI 导读
@crtrs/llm 发布,这是一个让 Node 应用在本地运行 AI 模型的高层 API,指向磁盘上的 GGUF 文件即可对话。它支持传入 zod schema 让回复按指定结构解析并带类型,还提供 onToken 流式输出、getTokenCount 与 unload 接口,要求 Node 20+,采用 MIT 许可。
来源:Hacker News · github.com