据IT之家1月15日报道，谷歌研究院日前使用自家BIG-Bench基准测试建立了一项“BIG-BenchMistake”数据集，并利用相关数据集对市面上流行的语言模型“出错概率”及“纠错能力”进行了一系列评估研究。谷歌研究人员表示，由于过去没有能够评估大语言模型“出错概率”及“自我纠错能力”的数据集，因此他们创建了一项名为“BIG-BenchMistake”的专用基准数据集用于评估测试。据悉，研究人员首先使用PaLM语言模型在自家BIG-Bench基准测试任务中运行了5项任务，之后将生成的“思维链（Chain-of-Thought）”轨迹修改加入“逻辑错误”部分，之后重新丢给模型判断思维链轨迹中哪些地方存在错误。谷歌研究人员声称，这一BIG-BenchMistake数据集有利于改善模型自我纠错能力，经过相关测试任务微调后的模型，“即便是小型模型表现也通常比零样本提示的大模型更好”。
