训练大模型时，有时让它“记性差一点”，反而更聪明！ 大语言模型如果不加约束，很容易把训练数据原封不动地复刻出来。为解决这个问题，来自马里兰大学、图宾根大学和马普所的研究团队提出了一个新方法 —— 金鱼 … Continue reading 大模型“记性差一点”反而更聪明：金鱼损失随机剔除 token，让 AI 不再死记硬背
训练大模型时，有时让它“记性差一点”，反而更聪明！ 大语言模型如果不加约束，很容易把训练数据原封不动地复刻出来。为解决这个问题，来自马里兰大学、图宾根大学和马普所的研究团队提出了一个新方法 —— 金鱼 … Continue reading 大模型“记性差一点”反而更聪明：金鱼损失随机剔除 token，让 AI 不再死记硬背