教程：用 transformers serve 构建决策模型

作者 speckx 发布教程，介绍如何把 LLM 改造成输出概率分布的决策模型，并以 Jev 的 /v1/systemone 接口为参照。教程从 Hugging Face transformers serve 的零样本服务器起步，安装命令为 pip install "transformers[serving]"。 教程给出的改进做法包括：保留 <opt_k> 选项 token、按题型分别做温度校准、用树形批处理把多个问题打包成单序列；从零样本聊天模型切换到微调后的决策检查点时，启动需传入 --decision-config decision.json。调用时传入 images 数组（最多四个 data:image/...;base64,... 字符串），这些图片会附加到该次调用中每个问题共享的状态上。 教程称 Jev 对每个问题限制 32k token、每个请求限制 64k token，可通过可选请求头将两者提高到 262k。这些做法和限制均出自该教程的说明。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。