微软公布辅助模型 ICAE，可压缩大语言模型上下文

sunsili

微软公布辅助模型 ICAE，可压缩大语言模型上下文

据 Arxiv 显示，微软近日发布论文，介绍一款名为 In-context Autoencoder (ICAE)的模型，可用于在大语言模型中进行上下文压缩。论文显示， ICAE 中包含两个模块，一个可学习的编码器通过从 LLM 中采用 LoRA 进行调整，将长上下文压缩成有限数量的存储槽。还有一个固定解码器，可以根据存储槽进行各种目的的条件选择。实验结果表明，ICAE 能够有效地产生具有4倍上下文压缩的存储槽，固定解码器可以很好地对其进行条件选择，帮助模型进行回应。（品玩）