Hacker News· sha_rad·· 3 小时前AI 评分75
Together AI 发布推理编译器 Together Compiler(TKCC)
Together AI Compiler for Inference
AI 导读
Together AI 发布 Together Compiler(TKCC),一个用高吞吐智能体持续优化推理负载的编译循环,官方称不到 24 小时即可在前沿开源模型上实现最高 2.6x 的 TPS 提升。
来源:Hacker News · together.ai