研究人员发现了微调大型语言模型使其学习新技能的更优方法

研究人员开发了一种新技术，在不增加微调所需计算资源的前提下，显著提升了大型语言模型的性能。研究表明，在常识推理、算术推理、指令执行、代码生成和视觉识别等任务中，该技术相比以往方法表现更优。

大型语言模型是基于大规模数据集预训练的人工智能系统。预训练后，这些模型通过预测词序来响应用户查询。然而，由于预训练的非特定性，当用户的问题更聚焦于具体主题（如解数学题或编写代码）时，模型性能仍有很大提升空间。

“要提高模型在这些特定任务中的能力，就需要对模型进行微调，”北卡罗来纳州立大学计算机工程副教授、论文共同通讯作者吴田富表示。“但这些模型体量巨大，微调整个模型需要大量计算资源。相反，我们想找到能带来性能提升的最小调整集合。我们提出了一种名为 WeGeFT（发音为‘wee-gift’）的技术，显著推进了大型模型微调的效率。”

微调大型模型的重大突破是 2022 年提出的 LoRA 技术。LoRA 通过数学工具，识别出最可能提升模型任务性能的关键参数子集。尽管后续出现了许多对 LoRA 的改进尝试，但这些方法要么增加了显著计算量，要么并未带来性能提升。

“我们提出的 WeGeFT 在 LoRA 的基础上，融入了额外的数学工具，能判断模型已经‘熟悉’哪些关键参数，哪些参数是模型仍需‘学习’的。”吴解释道，“我们将权重更多地分配给真正新颖的参数，从而在不引入明显计算负担的情况下，实现优于 LoRA 的性能表现。”

在概念验证测试中，研究人员发现 WeGeFT 在多个下游任务中表现优异，等于或优于 LoRA 及其多种变体。这些任务包括常识推理、算术推理、指令执行、代码生成和视觉识别。

“我们认为这是向前迈出的有价值一步，”吴表示。“目前我们正在探索 WeGeFT 是否还能用于识别模型中可能导致有害输出的部分，以期实现 AI 对齐与‘模型手术’，从而提升模型的安全性与输出质量。我们预计相关研究成果即将发表。”

论文题为《WeGeFT: Weight‑Generative Fine‑Tuning for Multi‑Faceted Efficient Adaptation of Large Models》，将于 7 月 17 日在加拿大温哥华举行的国际机器学习大会（ICML）上发表。论文共同通讯作者为北卡州立大学博士生 Chinmay Savadikar，合著者包括独立研究员宋熙（Xi Song）。

本研究获得美国国家科学基金会（NSF）资助，资助编号：1909644、2024688 和 2013451；以及美国陆军研究办公室资助，资助编号：W911NF1810295 和 W911NF2210010。