【CNMO科技消息】近日，美国佛罗里达州德兰市西南中学（Southwestern Middle School）一名13岁学生被逮捕并羁押于监狱。CNMO从外媒获悉，事件起因是他在学校设备上使用OpenAI的ChatGPT时，输入了“如何在上课过程中杀死我的朋友”这一令人不安的提问。该查询被学校部署的人工智能监控系统Gaggle实时捕获，并立即向校警发出警报。
涉事学生事后声称，自己只是在“开玩笑”，并非真有恶意。然而，根据自动化监控协议，系统仍触发执法介入。
Gaggle是美国中小学广泛采用的安全监控服务，其主要功能是通过实时分析学生在校设备上的数字活动（包括浏览器使用、文档内容、搜索引擎查询及通讯记录）来预防暴力或自残事件。该公司宣称其服务覆盖全美近500万学生，部分学区每年需支付高达6万美元的费用。
然而，该系统长期因误报率过高而受到批评。Gaggle自行披露的数据显示，仅有约0.0036%的警报属于“严重事件”，即每10万次警报中仅有约36次是合理警告，其余99.9964%均为误报。实际案例中，误报内容包括学生作业、朋友间的玩笑对话等。例如，在堪萨斯州劳伦斯市，过去10个月内Gaggle发出的1200次警报中，近三分之二被判定为无害，其中超过200次是学生提交的家庭作业。
批评者指出，此类系统可能造成“类监控国家”的校园氛围，并对学生产生严重的心理后果。在佛罗里达州波尔克县，过去四年中近500次Gaggle警报导致了72起根据《贝克法案》（Baker Act，佛罗里达州精神病强制评估法律）的非自愿住院治疗。许多案例中，学生因随意言论遭遇逮捕、强制心理评估或羁押，尽管未构成真实威胁，但仍需面对长期心理创伤及法律后果。
相关报道
目前，尚无独立研究证明人工智能监控能显著降低学生自杀率或校园暴力。2023年的一项研究发现，关于此类系统的益处或风险仅有有限证据，这使得高额投资与潜在学生权益损害之间的成本效益比受到质疑。