LM247x24 AI大模型动态

·智猩猩AI·中文

首Token提速2.26倍!微信开源LLM通用长上下文Prefill加速框架,vLLM部署吞吐涨109%

微信团队联合中科院、国科大推出全新通用长上下文 Prefill 加速框架(UniPrefill)。该方法以分块动态稀疏化为核心思路,面向不同模型架构实现更通用的 Prefill 加速,并深度融入 vLLM 推理引擎。在几乎无损模型精度的前提下,UniPrefill 最高实现约2.1 倍首 Token 生成加速,且并发请求越多、上下文越长,加速效果越突出,为大模型长文本线上部署提供了更具工程可用性的优化方案。

阅读原文

返回快讯列表