用vLLM在自有服务器部署Apertus 8B多模态模型
热点事件持续更新
用vLLM在自有服务器部署Apertus 8B多模态模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
作者 asteriskeng 发布教程，演示如何用 vLLM 框架在自有服务器上运行瑞士开源多模态模型 Apertus 的 8B 版本，并做了基准测试。 作者称，该模型使用 BF16 数据类型，要舒适运行至少需要 32GB 显存；教程所用配置为单张 48GB 显存的 NVIDIA RTX A6000，系统为 Ubuntu Server 24.04 LTS。 作者还称，截至 2026 年 10 月，Apertus 1.5 版本尚未完全合并进 Transformers 和 vLLM 库，因此运行 vLLM 时至少需要额外加上 --tool-call-parser 参数。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 16:24
用 vLLM 在自有服务器上运行瑞士开源多模态模型 Apertus报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- Hacker News用 vLLM 在自有服务器上运行瑞士开源多模态模型 Apertus
文章演示如何用 vLLM 在单张 48GB 显存的 NVIDIA RTX A6000 上部署瑞士开源多模态模型 Apertus 的 8B 版本，该模型采用 BF16 数据类型，运行需至少 32GB 显存。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。