AWS发布TTS自动扩缩容目标值测量方法

AWS Machine Learning Blog 发布了一套基于实测的 TTS 端点自动扩缩容配置方法，用于替代靠猜扩缩容目标值的做法。方案将 8200 万参数的 Kokoro-82M 以自定义容器部署在 Amazon SageMaker AI 实时端点上，并用 AWS CDK 完成部署。 文中给出的 Q_max=50、T_total=320s 仅适用于 Kokoro-82M 运行在 ml.g5.xlarge 上的情况；运行扩容测量前，需具备至少比基线多一个空闲槽位的 ml.g5.xlarge 服务配额。示例容器固定了较早版本的 PyTorch，存在已知漏洞 PYSEC-2026-2286（在 torch 2.10.0 中修复），AWS 建议在非概念验证用途前检查并升级该版本。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。