财联社2月6日讯（记者 王彦琳）生成式AI迅速发展，但随之也带来虚假信息、数据安全等系列次生风险。如何筑牢人工智能发展的安全堤坝？
今年上海两会期间，上海市人大代表、国泰海通证券技术研发部总经理助理詹婷婷对财联社记者表示，AI技术在大幅降低应用门槛的同时，也呈现出滥用泛化、隐蔽增强、危害升级的复杂态势。如何构建一套敏捷、科学、系统的人工智能负面风险综合治理体系，在“管得住”的基础上实现“用得好”，已成为上海统筹高质量发展与高水平安全的当务之急。
詹婷婷表示，从实战角度看，技术滥用呈现出产业化、隐蔽化、跨界化的新特征，现有治理体系在应对技术对抗、数据安全及市场秩序风险时仍存在不足，包括深度伪造技术滥用升级、生成内容生态恶化、数据安全与知识产权风险凸显等。
“为统筹发展与安全，切实化解AI技术带来的负面风险，有必要加快构建具有上海特色的人工智能全域治理体系。”詹婷婷说。
在技术攻关方面，詹婷婷建议，相关部门应联合在沪科研机构与头部企业共建“市级AI内容安全检测中心”，打造集监测、预警、溯源于一体的技术平台，对高风险场景实施技术备案与定期“穿透式”评估，推动技术防护从“被动阻断”向“主动防御”转变。建议严格落实国家数字水印标准，强制在沪AIGC服务接入数字水印技术且水印不可去除，实现生成内容“全网可溯”。
针对完善法治规范，詹婷婷提出，要加快新兴领域的立法步伐，制定一部符合上海技术产业发展需求，能够引领全球人工智能治理规范的地方性法规，抢占国际话语权。同时，考虑到未成年人接触AI产品越来越多，建议专门推动制定《未成年人人工智能应用保护条例》，明确禁止向青少年生成或推送涉及暴力、偏见、不良诱导等内容。
在部门协同上，建议针对利用AI操纵金融市场、数据泄露等新型风险，建立共享共用的“AI虚假信息与异常数据特征库”，利用AI技术识别并清理利用AI编造监管谣言、操纵概念股的线索，提升对新型金融风险的感知与处置能力。同时，加强对企业使用第三方AI工具的安全审计，防止核心商业数据通过公共大模型泄露，构建数据安全“防火墙”。
此外，要在全社会筑起防范AI风险的“心理防线”。詹婷婷建议，将AI安全教育纳入全市数字素养提升工程，重点针对“一老一小”、企业财务人员等易受害群体开展精准宣传，普及“视频可伪造”、“预测不靠谱”的风险意识，教会市民通过询问私密细节、指令动作等实用技巧识破深度伪造。