大模型相关(3)
野生技术
Created 2024/10/29
CoT Prompting 作为一种促进语言模型推理的方法具有几个吸引人的特点:Think step-by-step
• 首先,从原则上讲,CoT 允许模型将多步问题分解为中间步骤,这意味着可以将额外计算资源分配
给需要更多推理步骤的问题。
• 其次,CoT 提供了对模型行为的可解释窗口,提示了它可能是如何得出特定答案的,并提供了调试
推理路径错误之处的机会(尽管完全描述支持答案的模型计算仍然是一个未解决问题)。
• 第三,在数学应用题、常识推理和符号操作等任务中都可以使用思维链推理(CoT Reasoning),
并且在原则上适用于任何人类能够通过语言解决的任务。
• 最后,在足够大规模现成语言模型中很容易引发 CoT Reasoning ,只需在少样本提示示例中包含一
些连贯思路序列即可。
自洽性(Self-Consistency):多路径推理
通过思维链,我们可以看到大语言模型的强与弱:
• 它强在,模型规模的提高,让语义理解、符号映射、连贯文本生成等能力跃升,从而让多步骤推理的思维链成为可能,带来“智能涌现”。
• 它弱在,即使大语言模型表现出了前所未有的能力,但思维链暴露了它,依然是鹦鹉学舌,而非真的产生了意识。