用 vLLM 在自有服务器上运行瑞士开源多模态模型 Apertus

文章演示如何用 vLLM 在单张 48GB 显存的 NVIDIA RTX A6000 上部署瑞士开源多模态模型 Apertus 的 8B 版本，该模型采用 BF16 数据类型，运行需至少 32GB 显存。