跳到正文
Hacker News· bretpiatt·· 2 小时前AI 评分58

tiny-llm:在 Apple Silicon 上从零实现 LLM 推理系统

Learn LLM inference system on Apple Silicon

AI 导读

tiny-llm 是一门面向系统工程师的动手课程,基于 MLX 数组和 MLX 扩展运行时,从矩阵运算开始逐步实现 Qwen3 的加载、token 到 logits 的转换与文本生成,不使用高层神经网络层。

来源:Hacker News · github.com