LlamaIndex 优化 OCRia-1 推理，单卡提速近 10 倍

LlamaIndex 称，在单张 B200 GPU 上把文档解析模型 OCRia-1 的 token 生成速度从约 285 tokens/sec 提升到约 2800 tokens/sec，接近 10 倍。LlamaIndex 表示，优化起因是训练和部署 OCRia-1 时发现推理速度不够快。 LlamaIndex 称，OCRia-1 目前已在 LlamaParse 的全部服务层级上线；适用于通用模型的优化计划回馈给 vLLM 社区。上述提速数据来自 LlamaIndex 的自述。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。