https://rd163.visword.com/tags/%E6%8E%A8%E7%90%86%E5%8A%A0%E9%80%9F/推理加速 - 标签 - 研发日志 · R&D LogHugo -- gohugo.iozh-CNwhutluohui@gmail.com (小智晖)whutluohui@gmail.com (小智晖)本作品采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可。Sun, 12 Jan 2025 00:00:00 +0800https://rd163.visword.com/posts/vllm/Sun, 12 Jan 2025 00:00:00 +0800小智晖https://rd163.visword.com/posts/vllm/vLLM 是一个高吞吐、低显存占用的库，用于大语言模型（LLM）的推理（inference）与服务（serving），由加州大学伯克利分校 Sky Computing Lab 开源，与 HuggingFace 生态无缝集成。它最初作为 SOSP 2023 论文 Efficient Memory Management for Large Language Model Serving with PagedAttention 的配套工程实现发布，目前是社区中最主流的 GPU 推理框架之一。

]]>