[智能应用]发展大模型的前提是安全可控 [3P] [复制链接]

5月10日，以“数智无界 安全共生”为主题的2025中国数谷·西湖论剑大会在杭州高新区（滨江）开幕。本次大会汇聚政、产、学、研、用各界精英，聚焦数据要素市场化配置改革与人工智能深度融合等核心议题，分享前瞻洞见，发布多项重磅成果，启动系列重要合作，为数字经济高质量发展注入强劲新动能。
上午，在大会主论坛上，安恒信息技术股份有限公司董事长范渊发表了题为《AI×数据要素：拥抱智能体时代》的主题报告，范渊表示，AI智能体发展有条件自主、高度自主和完全自主三重境界，安恒信息通过智能体赋能安全运营、安全监管，重构威胁情报共享和协同防御体系，在实战中实现从传统的被动响应转向主动防御，同时通过智能体生态共创，结合各自专业领域的业务知识，共创出兼具创新与实用的智能体，在技术、业务、成果上实现共赢。
范渊强调，在数据要素化发展新阶段，数据安全要从静态安全向动态安全迭代升级，需要对数据、业务和行为意图进行更为深入的理解，安全智能体是解题的关键核心。在可信数据空间领域，AI原生可信数据空间可实现可信数据空间与 AI 的双向赋能。同时，我们既要看到“人工智能带来前所未有发展机遇”，也要看到它“带来前所未遇风险挑战”，必须将大模型风险评估检测列为关键任务，让大模型在安全可控的前提下，才能实现敢用、可用、好用。
中国计算机学会原理事长、CFF计算机博物馆馆长梅宏作了《数据要素化面临的挑战》的主题报告。梅宏认为，当前我国数字化转型处于起步阶段，数据资产相关法律还未明确，资产地位没有确立，权属确权没有形成共识，流通交易也缺少规则，利益分配相应机制不够充分，还要面对安全隐私带来的系列问题。数字化转型就是需要构建以数据为中心的组织体系和运行模式，没有数据就不可能有智能，就像燃料和火箭的关系一样。而这一轮AI革命的三要素：算法、数据、算力，实际上数据是关键。
大会集中发布了“中国数谷”在数据要素市场化配置改革、关键技术创新攻关、产业生态培育以及行业深度应用等方面取得的一系列标志性成果。近年来，杭州锚定“中国数谷”，加速推进数据要素产业集聚发展，为浙江建设国家数字经济创新发展试验区探路打样。杭州高新区（滨江）紧抓“中国数谷”建设机遇，以政策赋能、以改革破题，推动人工智能和数据产业高质量发展。本次大会发布了海洋经济行业可信数据空间阶段性建设成果、《安全智能体魔方：成熟度模型评价研究报告》《数商企业评定标准（试行）》以及“三数一链”——国家数据基础设施杭州先行先试阶段性成果，彰显了杭州高新区（滨江）在数字经济领域的引领力与创新力。
本次圆桌会议则以“人工智能新纪元”为主题，浙江大学求是特聘教授，教育部长江学者，浙江大学国际联合学院副院长吴健担任主持人，上海人工智能研究院首席科学家闫维新、宇树科技副总经理王启舟、华为政务一网通军团研发副总裁王鹏、安恒信息CTO刘博、粤港澳大湾区数字经济研究院高级研究员江旭晖、高新科创集团科创合伙人王磊等嘉宾就核心算法、治理框架、产业融合等维度进行交流，围绕高质量数据对AI发展的关键作用、数据基础设施演进方向、AI应用责任伦理界定、中美技术格局比较等前沿课题分享洞见，碰撞思想，为行业把握技术变革机遇提供战略参考。
会议期间，安恒信息CTO刘博，安恒信息高级副总裁、研究院院长王欣接受了媒体采访。
谈及隐私保护计算商业化进程，刘博认为，技术标准的缺失是当前产业落地的主要瓶颈之一。“现阶段隐私保护计算技术路线多元，但跨行业互操作的统一标准仍在形成过程中，国家数据局的正在加速推动技术规范、接口协议和评测体系的顶层设计，这是激活市场规模化应用的关键驱动力。”他同时提及杭州中国数谷“三数一链”的实践探索，通过将隐私保护计算技术嵌入数据基础设施，正在构建跨域数据流通的安全可信环境，为解决数据“可用不可见”提供落地范例。
对于近期备受关注的AI一体机，刘博认为其价值在于提供“开箱即用”的轻量化部署方案：“一体机通过硬件集成与软件预配置，帮助客户跳过复杂的基础设施搭建环节，快速实现私有化部署，尤其适合中小规模业务初期上线。”但他同时指出技术演进的必然路径：“随着业务规模扩大和应用场景复杂化，分布式架构将成为刚需——系统需要支持弹性扩容、多节点协同和异构资源调度，届时一体机模式会向分布式集群架构平滑迁移。这种从单体到分布式的演进，本质上是技术适配业务增长的自然过程。”该观点清晰界定了AI一体机的阶段性定位与长期架构演进逻辑，为行业技术选型提供了参考坐标。王欣重点介绍了最新发布的恒脑安全大模型3.0，其核心特点是泛连接、高交互、多模态。该版本在与安全防御体系的融合中取得了很好的效果，在漏洞复现场景中，恒脑3.0已实现智能体替代人工验证漏洞的能力，解决了传统扫描器长期存在的需要人进一步核实漏洞有效性的难题，获客户高度认可。针对MCP协议可能引发的安全问题，王欣指出两大风险：一是客户端下载安装后存在本地设备被远程控制的可能性；二是大模型与MCP结合时若配置不当，可能通过对话突破“价值观对齐”防线，使正常模型被恶意操控。对此，安恒信息提出“虚拟补丁”防御思路，通过边界类智能网关设备（如web应用防火墙）进行防御，即使存在漏洞，黑客也不能攻击成功。
王欣认为，智能体时代的风险防控分为内防和外防，大模型厂商一定要解决的安全问题涉及模型、算法、语料治理过程，安全厂商在外防的角度进行防御。大模型厂商和安全公司未来是一种协同互补的关系，单独靠大模型厂商在源头上解决问题是无法根治的。
在数据流通领域，王欣提到，“一方面我们作为安全公司，通过AI保证数据在流通过程中的安全可信。另外，我们通过AI让数据变成知识和能力，我们联合了一些数商，共同基于AI原生的可信数据空间做基于大模型的数据开发共创。通过这种方式让数据更加安全有效流通，促进数据要素流通的发展，也同时促进人工智能的发展。”
王欣指出，“2023年是AI的技术年，2024年其实是产品和应用年，今年走向了客户场景。”王欣提到，相关业务收入从2025年年初开始有较大幅度上升趋势，相对商机也有大幅上升。“尤其我们观察到客户去年没有预算，因为做了测试验证之后，积极做了预算调整或者预算补报，专门申报AI相关的服务内容。”
当天下午，观察者网参加了数据安全流通专题会议，其中该专题会议的数据论“建”对话环节由北京交通大学信息管理理论与技术国际研究中心特聘教授张向宏主持，北京市政务服务和数据管理局、重庆市大数据应用发展管理局、杭州市数据资源管理局、西安市数据局、青岛市大数据发展管理局、大连市数据局、苏州市数据局、赣州市数字产业集团各代表共同参与。各地方总结了在数据基础设施建设方面取得的成绩，就各方发展路线与特点进行了交流。
张向宏提到，安全可信与高效流通，是检验国家数据基础设施建设成功与否的两个标志。随着 DeepSeek 的崛起，算力平权与算法平权得以实现；而数据基础设施建设成功之后，非常可能实现数据平权。
我国首先选择六条基础路线进行试点试验，到2028年的时候会融合成一条，经过验证、实施，在2029年的时候向全国大规模推广、建设，最后形成“横向连通、纵向贯通、协调有力”的全国一张网。
同时，张向宏也提到，除了国内，数据跨境也是重要考虑内容之一，“虽然逆全球化在泛滥，但是对中国来说，坚持经济全球化，坚持世界各个国家平等发展是我们一贯坚持的主张。对于数据的跨境，在不同国家数据的畅通流通也是我们一直坚持的方向。”张向宏表示，目前，对数据跨境有单独的解决方案，例如深圳（前海）国际数据产业园的建设，同时其他部门自贸区数据白名单也取得一定成效。

2025中国数谷·西湖论剑大会聚焦了数据要素市场化配置改革与人工智能深度融合等核心议题，并取得了一系列标志性成果。以下是大会的一些关键信息和成果：

1. 大会主题和议题：
   - 大会主题为“数智无界 安全共生”，汇聚各界精英，探讨数据要素市场化配置改革与人工智能深度融合等议题。

2. 安恒信息技术股份有限公司董事长范渊的主题报告：
   - 范渊强调AI智能体发展的三重境界，并提出通过智能体赋能安全运营、安全监管，实现从被动响应到主动防御的转变。
   - 他强调数据安全要从静态安全向动态安全迭代升级，安全智能体是解题的关键核心。

3. 中国计算机学会原理事长梅宏的主题报告：
   - 梅宏认为数字化转型需要构建以数据为中心的组织体系和运行模式，数据是AI革命的关键要素。

4. 大会发布的成果：
   - 发布了海洋经济行业可信数据空间阶段性建设成果、《安全智能体魔方：成熟度模型评价研究报告》、《数商企业评定标准（试行）》以及“三数一链”国家数据基础设施杭州先行先试阶段性成果。

5. 圆桌会议讨论：
   - 以“人工智能新纪元”为主题，围绕核心算法、治理框架、产业融合等维度进行交流，分享洞见，碰撞思想。

6. 安恒信息CTO刘博和高级副总裁王欣的观点：
   - 刘博认为隐私保护计算技术标准的缺失是产业落地的主要瓶颈之一，杭州中国数谷“三数一链”的实践探索正在构建跨域数据流通的安全可信环境。
   - 王欣介绍了恒脑安全大模型3.0的特点，并强调大模型厂商和安全公司未来是一种协同互补的关系。

7. 数据安全流通专题会议：
   - 各地方总结了在数据基础设施建设方面取得的成绩，并就各方发展路线与特点进行了交流。
   - 张向宏提到安全可信与高效流通是国家数据基础设施建设成功与否的两个标志，并提到我国选择六条基础路线进行试点试验，到2029年向全国大规模推广、建设。

通过这些信息可以看出，2025中国数谷·西湖论剑大会不仅展示了杭州在数字经济领域的引领力与创新力，还为行业把握技术变革机遇提供了战略参考。大会聚焦的核心议题和发布的成果，将进一步推动数据要素市场化配置改革与人工智能深度融合，为数字经济高质量发展注入新动能。

发展大模型的前提是安全可控
大模型发展安全可控的必要性
面临的风险与挑战
大模型在带来前所未有的发展机遇的同时，也带来了前所未遇的风险挑战。在模型自身方面，存在易受欺骗、违背主流价值观等问题，如ChatGPT曾出现“奶奶漏洞”，有知名模型回答违背主流价值观的内容，若应用于儿童产品，影响严重。在发展落地方面，还存在新的滥用风险，例如AIGC合成内容用于造谣、诈骗，包括合成假的地震小孩视频、某地着火视频误导公众，以及利用AI生成虚假人物视频进行诈骗等。

特定领域的高要求
在金融、医疗等关键领域，对数据隐私保护、模型行为可控性及伦理合规提出了更高的要求。这些领域的数据涉及个人隐私和重大利益，一旦模型出现安全问题，可能导致严重的后果，因此大模型在这些领域应用时，安全可控是产业落地的先决条件。

实现安全可控的举措
建立量化评价体系
中国网络空间安全协会理事长赵泽良表示，在网络安全领域要建立可度量、可比较、可考核的量化评价体系。不仅要用人工智能解决安全问题，更要以人工智能引领科研范式变革，敢于突破现有理论体系，探索新的方法框架，最终实现网络安全与科技创新的深度融合，推动行业高质量发展。

数据安全升级
在数据要素化发展新阶段，数据安全要从静态安全向动态安全迭代升级，需要对数据、业务和行为意图进行更为深入的理解，安全智能体是解题的关键核心。在可信数据空间领域，AI原生可信数据空间可实现可信数据空间与AI的双向赋能。

遵循相关原则与理念
360智脑总裁张向征指出，大模型的发展要遵循“安全、向善、可信、可控”四大原则。360集团还提出“以模制模”的理念，用专业知识训练的大模型做大模型的安全识别、评估和管控。具体通过大模型生态链安全检测系统确保模型环境安全，利用AISE人工智能系统安全检测平台进行多种安全风险测评并提供加固方案，智脑风控引擎保障大模型内容安全等。同时，引入微调和强化学习技术提升大模型回复安全，基于幻觉检测Agent提升大模型输出可信度。该方案支持多种部署或交付方式，满足企业不同需求。

从系统层面提升可控性
可以从系统层面利用像Agent这样的技术，提升模型的可控性和安全性。例如瑞莱智慧通过开展长期实践，有一系列的平台和产品落地，针对提升AI自身可靠性，有AI安全与应用平台、AI安全与支撑平台以及上层更安全可控的垂类大模型；围绕防范AI滥用，推出先进的AIGC检测平台；针对AGI安全发展，开展前沿研究，如搭建超级对齐平台、探索用AI监管AI，以实现安全的超级智能。

进行风险评估检测
必须将大模型风险评估检测列为关键任务，让大模型在安全可控的前提下，才能实现敢用、可用、好用。

相关研究与报告推动
在2025中国数谷·西湖论剑大会上发布了《安全智能体魔方：成熟度模型评价研究报告》，该报告创新性地构建了安全智能体的多维度成熟度评估框架，通过剖析高价值场景案例，前瞻性研判安全大模型及智能体的发展趋势与挑战，推动AI应用向“可信可控”升级，为数字经济发展筑牢智能化安全根基