Together AI发布推理编译器TKCC

Together AI 发布推理编译器 Together Compiler（TKCC），称其为一个持续优化循环，用高吞吐智能体针对不同推理负载做编译优化。官方称，不到 24 小时即可在前沿开源模型上实现最高 2.6 倍的 TPS 提升，并称 TKCC 目前每天服务数万亿 token。 官方披露，Trainium2 上的测试使用合成多轮数据集（70k ISL、3.5k 新 ISL 且 95% 命中缓存、700 OSL），而非 AgentX，原因是其实现受 HBM 容量限制，尚不支持更高并发。上述提升幅度为 Together AI 的说法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。