财联社9月24日讯(编辑 史正丞)作为AI产业过去一年迅猛发展的验证,最新研究显示,去年一众AI大模型难以逾越的高难度金融专业测试,现在已经成为顶尖AI模型的入门标准。
纽约大学斯特恩商学院与金融科技公司GoodFin最新发布的研究成果显示,包括Gemini 2.5 Pro、Claude Opus 4等尖端推理模型,都能在原生状态下仅用数分钟就轻松通过CFA三级考试。部分顶尖模型的准确率已经远远超过通过这项考试的要求。
(绿色区域为通过考试所需的最低准确率要求)
而人类考生要通过这个级别的金融行业考试,通常需要数百至一千个小时的学习。
作为对比,摩根大通和加拿大女王大学在去年的一项研究中发现,当时领先的AI大模型已经能够通过CFA一级和二级考试,但无法通过三级考试——特别是在三级考试的论述题中表现不佳。
最新的研究也发现,大多数一线模型都能在选择题上表现良好,所以需要综合逻辑推理的论述题成为拉开区分度的分水岭。研究人员也发现,使用链式思维提示(CoT prompting)——即要求模型推理并给出思路,能够将论述题的准确率提高15个百分点。
对于这项研究的成果,各方也一致认为,AI的确展现出“答对考试题”的能力,但未必就能完全取代资深的金融工作者。
CFA协会教育常务董事Chris Wiese回应称:“在不了解该研究具体如何进行的情况下,我们只能指出,CFA 协会仍然认为,在金融市场中,信任、人际关系、健全的道德判断和专业精神依然至关重要。”
特恩商学院教授Srikanth Jagabathula也指出,现在很难预测这些AI模型会发展出哪些能力。但他提及另一项正在进行的研究,要求用户分别与AI模型和一名人类就理财建议进行互动。
Jagabathula表示:“我们的发现是,AI模型对那些有明确答案的具体问题通常能给出非常精准的回答。但它们在捕捉用户没有明确表述的上下文时往往会困难,有些情况下甚至都做不到。因此,终端用户有点难以信任这些系统。”