Hacker News· gamebit07·· 2 小时前AI 评分48
Latai:22 MB 引擎在边缘设备本地运行 GGUF 模型,最高支持 35 MB
Latai – run GGUF compliant/local models upto 35 MB on edge
AI 导读
Latai 推出 22 MB 的端侧运行时引擎,让应用在本地直接运行 GGUF 模型,无需上传文件或按次付费。引擎支持约 121M 参数、35 MB 模型文件、4,096 token 上下文,并提供 Python、TypeScript、Go、Rust、Flutter、React Native 六个 SDK,桌面与服务端 SDK 已可用,移动端仍在真机验证。
来源:Hacker News · hitl.systems