财联社10月29日讯（记者郭松峤）“搜索今日国际金价”指令后，大模型居然给出了“10万美元/克”的错误答案。这是10月底在北京举行的2025 TechWorld智慧安全大会上发生的一幕。
这一幕并非故障，而是大模型正遭受传统“爬虫”软件攻击的直观体现——在精心设计的干扰下，AI可轻易被诱导，输出错误信息甚至执行恶意指令。
而这不过是当前层出不穷的AI安全威胁的一个缩影。随着AI技术深入应用，从数据泄露到模型被恶意操控，各类安全事件正以更高频度和更大危害席卷而来。
财联社记者在现场观察到，从台上专家到台下厂商和客户，都在聊一个问题，如何为狂奔的AI套上安全的“缰绳”？而一个共识即当前AI安全威胁已从理论风险全面走向现实渗透，数据泄露、模型攻击、合规挑战等正交织成一张复杂的威胁网络，倒逼整个产业从技术、产品到生态层面加快应对步伐。
与此同时，日益严峻的安全形势正在催生新的市场机遇。多位业内人士向财联社记者表示，随着AI安全从“可选项”变为“必选项”，相关领域的投融资活跃度显著提升，一批专注于大模型安全、合规治理的创新企业正迎来发展窗口期，资本市场对AI安全赛道的关注度持续升温。
当“飞行”的AI遇上“滞后”的安全栈
前段时间，网络安全公司Cybernews发布博文，报道称“Chattee Chat”和“GiMe Chat”两款AI伴侣应用曝出重大数据泄露事件，导致超过40万用户的海量敏感信息被公开。
据称，导致本次泄漏的根本原因，在于两款应用的Kafka Broker服务器实例被完全暴露在公共网络上，并且未设置任何访问控制或身份验证措施。
“相较于固定边界内的数据安全，人工智能（AI）工具对所有人开放，因此保障AI的数据安全会面临更大的挑战。”中国电子信息产业发展研究院副总工程师刘权表示，在生产领域AI的普及率不断增加，安全治理是推动数据要素安全利用的关键。
此外，一些企业开发自己的专业大模型时往往使用开源程序或数据，也给安全带来极大风险。
2025 TechWorld上的多位专家提醒，直接“拿来”时，要对开源软件进行必要的安全评估和合规检测，避免模型滥用本身的风险，以及模型之间滥用带来的交互问题。
“这些是大模型、智能体中新攻击面的典型代表。全新交互形式的出现，都会带来新的暴露面。”绿盟科技集团高级攻防部负责人陈永泉说，新暴露面的出现，意味着安全工作需要格外关注模型上下文协议层面的风险点，避免被攻击。
天使投资人、资深人工智能专家郭涛对财联社记者分析，当前AI安全事件的密集发生，既是技术普及初期的“成长痛”，更暴露了产业根基层面的结构性缺陷。
“当前AI系统数据采集、训练、推理全链路缺乏原生安全设计，传统安全防护手段难以适配动态演化的攻击手法。”郭涛表示。
事实上，这一产业发展的内在诉求，与国家宏观政策的指引方向高度契合。
中共中央关于制定国民经济和社会发展第十五个五年规划的建议昨日发布，其中指出，要“加强人工智能治理，完善相关法律法规、政策制度、应用规范、伦理准则。完善监管，推动平台经济创新和健康发展。
”这为解决当下面临的AI安全挑战指明了根本方向，也预示着相关治理与合规市场将从当前的探索阶段，步入一个在明确政策牵引下高速发展的新周期。”一位行业认识对记者表示。
AI安全危机带来的市场需求
从市场层面来看，AI安全危机事件也给市场带来大模型安全评估和防护服务的需求。
中国通信工业协会数字平台分会副会长高泽龙对财联社记者分析，当前AI安全市场需求正呈现两大显著变化：一是客户要求在AI系统上线前就内置安全能力；二是需求不再局限于某个工具，而是覆盖模型开发、部署、运行全生命周期的安全解决方案。
绿盟科技集团通用解决方案销售部总监司志凡在一线的感受也印证上述观点。他对财联社记者表示，从公开信息来看，市场关注度和客户问询量确实显著提升，并直接带动了部分产品和服务的订单增长。
司志凡向财联社记者指出：企业客户对AI安全的需求，确实正从满足监管要求的“被动合规”，向构建自身安全能力的“主动免疫”转变。大家不再只是为了通过检查，而是希望安全能力能内生于业务，实现持续和自适应的防护。
基于这一趋势，司志凡观察到，当前企业采购AI安全产品时，最迫切的三大核心需求可以概括为：安全要可靠、运营要高效、合规要落地。
“一方面，企业追求能应对新型威胁的实战化防护，并要求安全效果可量化、可验证。另一方面，企业亟需通过AI技术应对海量安全告警，实现自动化运营，以弥补专业安全人才缺口，依赖AI实现告警的降噪、研判和处置闭环，追求“分钟级”的响应速度，并期望通过可视化、低代码的方式，降低安全运营的操作门槛。再一方面，企业需要将宏观的政策法规转化为具体的技术方案和产品功能，确保合规过程顺畅、有效。”司志凡对财联社记者分析。
“不过，整体的大规模转化效应仍在持续显现中。”司志凡同时还表示，频发的AI安全事件让各行业对AI风险的认识更加深刻。我们观察到政府、金融、运营商等关键领域客户对此关注度显著提高。特别是在《生成式人工智能服务管理暂行办法》等法规实施后，满足合规要求成为企业部署AI应用的刚性需求，直接催生了对大模型安全评估和防护服务的需求。
资本市场敏锐布局
行业的火热预期与资本的敏锐嗅觉，正迅速转化为一场规模空前的产业共振。
据财联社不完全统计，从去年至今，国内AI安全及相关治理领域的初创公司已披露的融资事件就超过20起，融资额突破50亿元，背后既有北京、上海等地超百亿规模的人工智能产业基金精准布局，也有红杉中国等市场化机构的频繁下注。
司志凡的感受也印证了这一点。 “资本市场对AI安全赛道的关注度确实非常高，并且体现在真金白银的投资、明确的战略布局和显著的市场增长上。”他举例称，摩根士丹利预测AI安全市场未来几年规模可能达到450亿美元，而诸如Nexos.ai、AgentLISA等初创公司也获得了大规模融资。
司志凡强调，这种高度的资本关注正在深刻影响企业的战略决策。“AI安全已从技术备选项升级为企业的核心战略支柱。” 他透露，绿盟科技也已构建“风云卫+DeepSeek”双底座与多智能体架构，打造AI驱动的安全生态，并且研发重点已转向打造能直接解决客户痛点、并能为公司带来增量收入的产品。
资本的热情也正在重塑整个赛道的估值逻辑。
司志凡还观察到，资本正大力押注能解决企业AI应用实际痛点的初创公司；而对于上市公司，资本市场的估值逻辑正在从传统的市盈率等指标，转向更加看重其AI业务带来的直接收入贡献以及在“AI用于安全”和“保护AI自身”两个领域的综合布局。
在郭涛看来，AI安全产业的规模化爆发，至少60%依赖于强制标准的落地。“以2018年生效的欧盟的《通用数据保护条例》为例，其罚款力度迫使企业将合规支出计入固定成本；同理，若中国出台《人工智能法》，明确数据标注、模型审计、事故追责等硬性要求，将直接创造千亿级刚需市场。相较之下，自发性的企业自律仅覆盖头部玩家，中小机构仍需外部推力。因此，立法节奏将成为市场扩容的核心变量。”