• src：https://arxiv.org/abs/2411.19865

ChatGPT 導讀

• 閱讀小幫手 - 文章導讀： Reverse Thinking Makes LLMs Stronger Reasoners

以下是該文章的摘要與主要內容整理：

文章標題

反向思考讓大型語言模型成為更強的推理者 (Reverse Thinking Makes LLMs Stronger Reasoners)

關鍵摘要

• 本文提出了一種新的訓練框架「反向增強思考 (REVTHINK)」，旨在通過引入反向推理來增強大型語言模型（LLMs）的推理能力。
• REVTHINK 包括數據增強和多任務學習目標。數據增強透過教師模型生成正向推理、反向問題及反向推理，再以篩選保留高質量的數據。
• 使用 12 個不同數據集進行測試（涵蓋常識推理、數學推理等），REVTHINK 的表現超過傳統方法，在零樣本性能上提升 13.53%，相較其他基線方法提高 6.84%。
• 此方法展現了樣本效率，即便使用僅 10% 的訓練數據，REVTHINK 的表現仍超越全數據訓練的基準方法。

主要觀點

1. 反向推理的價值：反向推理（從解答推回問題）能有效提高模型在前向推理中的精確性，因為這允許模型驗證答案的一致性。
2. 數據增強策略：REVTHINK 使用教師模型生成四個元素：
   • 原問題 (Question)
   • 正向推理 (Forward Reasoning)
   • 反向問題 (Backward Question)
   • 反向推理 (Backward Reasoning)
3. 多任務學習目標：透過訓練學生模型完成以下任務：
   • 生成正向推理
   • 生成反向問題
   • 從反向問題生成反向推理
4. 跨任務提升：REVTHINK 展現了在數學推理、邏輯推理及自然語言推斷等多個任務上的卓越表現，同時提升了模型在未見數據集上的泛化能力。

關鍵概念

• 反向推理 (Reverse Reasoning)：從解答出發，推回原問題以檢查推理過程的一致性。
• 數據增強 (Data Augmentation)：使用教師模型生成擴展數據集，包含正向及反向推理內容。