Hacker News· mirastacklabs·· 14 小时前AI 评分38
按“每用户 GPU 小时”给 LLM 推理定价合理吗?
Is "GPU-hour per user" a sane way to price LLM inference?
AI 导读
MIRASTACK LABS 提出按时间而非 token 售卖 LLM 推理容量,提供不限 token 的开发者日票、按席位计费的团队方案,以及 3/6/9/12 个月期的专属推理平台。其模型全部跑在自建 GPU 上,不转售第三方容量,也不代理请求。文章借此讨论“每用户 GPU 小时”能否成为 LLM 推理的合理定价方式。
来源:Hacker News · mirastacklabs.ai