All Roads Lead to Likelihood: The Value of Reinforcement Learning in Fine-Tuning Book Summary

本文的目标读者是机器学习研究人员、自然语言处理从业者以及对基础模型微调和强化学习交叉领域感兴趣的人。本文假设读者对强化学习、深度学习和自然语言处理有基本的了解。

本文由来自卡内基梅隆大学、康奈尔大学和 Aurora Innovation 的研究人员合著。Gokul Swamy、Sanjiban Choudhury、Wen Sun、Zhiwei Steven Wu 和 J. Andrew Bagnell 在机器学习、机器人和人工智能领域拥有深厚的学术和行业背景。他们在强化学习、自然语言处理和深度学习方面的专业知识为本文的研究结果和分析提供了信息。

近年来，基础模型在各种自然语言处理任务中表现出了卓越的性能。微调是使这些模型适应特定任务的关键步骤。传统上，微调是通过最大似然估计 (MLE) 等离线方法进行的。然而，最近的研究表明，使用来自人类反馈的强化学习 (RLHF) 等在线方法可以获得更好的结果。本文旨在解释为什么在线微调优于离线微调，尽管在线方法涉及通过奖励模型传递信息，这在信息论上会导致信息损失。