跳到正文
Hacker News· noreplydev·· 5 小时前AI 评分40

@crtrs/llm:在 Node 中运行本地 LLM 的高层 API

High level API for local LLMs in Node

AI 导读

@crtrs/llm 发布,这是一个让 Node 应用在本地运行 AI 模型的高层 API,指向磁盘上的 GGUF 文件即可对话。它支持传入 zod schema 让回复按指定结构解析并带类型,还提供 onToken 流式输出、getTokenCount 与 unload 接口,要求 Node 20+,采用 MIT 许可。

来源:Hacker News · github.com