跳到内容

夜深了,注意休息,愿你今夜好梦。

VLLM:高性能 LLM 推理引擎,轻松部署大模型服务

如果你正在为部署大语言模型的推理延迟和吞吐量发愁,vLL…