6月7日，在与安远AI联合主办的智源大会“AI安全论坛”上，来自MIT、清华、复旦、人大、智源、多伦多大学、新加坡管理大学、Redwood Research、瑞莱智慧和安远AI 的学者与技术专家同台，以“AI安全”为核心议题，从主旨报告，圆桌讨论等环节，讨论了AI的潜在机遇与风险、如何将“安全前置”写入技术路线图等。

首先，论坛主席、智源研究院前理事长张宏江致开幕辞。他提到，随着大模型能力的快速提升和AI应用的日益深入，AI安全问题已成为关乎人类未来的关键议题。正如大会开幕式上Yoshua Bengio教授所强调的，避免AI智能体带来的灾难性风险，是AGI发展过程中不可忽视的重中之重。

智源研究院自成立以来，始终高度重视人工智能安全与治理。近年来，智源积极推动AI安全技术的国际合作，包括在2023年智源大会上与Geoffrey Hinton、Sam Altman等顶尖学者展开深度对话，并于2024年3月组织召开“北京AI安全国际对话”，促成《北京AI安全国际共识》，首次划定AI安全六条红线。这些努力凸显了AI安全不仅是政策问题，更是技术挑战——从模型对齐、越狱风险到欺骗性行为，亟需学术界与产业界共同攻克。Bengio教授作为深耕AI领域40余年的先驱，以其深刻洞察呼吁全球关注AI潜在风险，并推动技术层面的解决方案。当前，我们比任何时候都更需要国际合作，以应对AGI可能带来的共同挑战。也期待期待通过论坛的交流，能激发更多学术研究、技术投入和政策关注，共同守护AI发展的安全底线。  

“超级智能前沿与安全”圆桌讨论环节中，四位嘉宾围绕AI发展带来的风险与应对策略展开深入讨论。薛澜指出AI系统失控的风险最具破坏性，可能带来灾难性后果；张宏江强调应警惕AI的自我复制与欺骗能力，认为这是潜在的危险信号；Max Tegmark警告若AI具备超级智能、通用性和自主性，人类或将彻底失去控制。在AI安全研究优先事项方面，Tegan Maharaj主张将社会、技术和管理结合，推动多方参与；Max Tegmark则呼吁建立类似药品监管的安全标准；薛澜建议一方面全力做好AI风险的事前预警机制，同时制定完善的事中事后应急预案。从社会技术角度出发，嘉宾们一致认为需加强政府与企业合作、建立预警机制并推动基础研究。尽管风险存在，嘉宾们仍对未来AI发展持乐观态度，期待多元群体参与构建更安全、包容和可持续的AI系统。

主题报告环节中，多伦多大学信息学院助理教授Tegan Maharaj以“人工智能安全的灾难准备”做了主题分享；清华大学教授徐葳展示了极端压力下AI模型可能尝试突破硬性约束的案例；复旦大学助理教授潘旭东揭示了前沿模型“隐藏安全能力”与“自主复制”的双重风险；Redwood Research首席执行官Buck Shlegeris则强调必须在训练、检测、部署全链路预置AI控制机制；新加坡管理大学孙军给出了“特定领域更可验证”的安全认证路线。

技术缓解与控制手段圆桌讨论环节中，Buck Shlegeris、孙军、田天与王希廷进一步探讨了“伪装对齐”、“效率崇拜”等被低估的风险，并分别就第三方安全服务、信息溯源、神经元透明度、训练环境设计提出研究优先级。

接下来，智源大模型安全中心发布了“Align Anything＋Eval-Anything”全模态安全对齐与评测生态，用“五类欺骗任务”衡量“欺骗倾向率”，并在具身智能场景中检测长期轨迹与硬件安全，为大模型安全提供开放数据与工具链。

最后，安远AI CEO谢旻希发表闭幕致辞。他指出，AI发展涵盖多模态大模型、AI智能体、具身智能以及AI for Science等前沿方向。在拥抱机遇的同时，我们必须做好安全风险防范。发展AGI如同高速驾驶，只有配备可靠的"刹车"和"方向盘"，才能安心享受AI带来的福祉。

圆桌讨论：超级智能前沿与安全

本次圆桌讨论聚焦于超级智能的前沿发展与安全问题，邀请了四位重量级嘉宾参与。他们分别是：MIT教授Max Tegmark，清华大学智能产业研究院卓越访问教授、智源研究院前理事长张宏江；清华大学文科资深教授，苏世民书院院长薛澜；多伦多大学信息学院助理教授Tegan Maharaj。圆桌讨论由安远AI创始人兼CEO谢旻希主持。

Q1 

谢旻希：在《北京AI安全国际共识》中提到的五条AI风险红线中（包括自主复制或改进、权力寻求、协助武器制造、网络安全、欺骗），哪一条在未来几年最令人担忧？请分享您关注的风险或早期预警信号。

薛澜：我对所有提到的风险都感到非常担忧，但其中最严重的是AI系统失控的风险，这可能是破坏性的灾难。

张宏江：从技术角度来看，AI系统如果具备自我复制和欺骗能力，将是最危险的。已经有迹象表明某些AI模型会尝试欺骗用户，这是早期警告信号。必须确保AI不获得寻求权力和欺骗性等关键能力。

Max Tegmark：AI可能会试图欺骗人类，并在没有足够控制的情况下超越人类能力，从而导致不可预测的后果。目前虽然AI还没有达到这种水平，但技术的发展速度很快，必须警惕这条“红线”。一旦AI兼具超级智能、通用性和自主性，人类可能彻底失去控制。

Q2 

谢旻希：在当前全球AI安全研究优先事项中，您认为哪些最为关键？

Tegan Maharaj：必须拓宽对“技术问题”的定义，将社会、技术和管理流程结合起来。除了公司里的技术研发，很多时候是政策决策者决定了系统是否安全。

Max Tegmark：关键在于建立类似药品行业的安全标准，要求AI公司在发布产品前证明其安全性。中国和欧盟已经在制定相关法规，美国也应尽快跟进。我们应该在适度监管的情况下良性竞争。如果我们创造出无法控制的AI，收益可能是负面的。

Q3 

谢旻希：如何从社会技术角度看待一系列解决人工智能安全风险的方法？

Tegan Maharaj：现实情况可能并不乐观。鼓励政府和企业合作，创造经济奖励机制，通过大规模黑客松等活动推动安全AI的研发。

薛澜：中国的应急管理和危机预防经验可以为AI安全提供借鉴。AI应急管理的两条原则——建立早期预警机制和应急预案至关重要。

张宏江：安全不仅是政策议题，还应推动基础技术的研究。比如我们需要评测模型的不安全行为，知道风险离我们多远。现在正是投入AI安全研究的好时机。

Q4 

谢旻希：尽管伴随着风险，可以简单谈谈对未来AI发展的乐观展望？

Tegan Maharaj：期待多元群体（如艺术家、原住民）参与设计更包容的AI系统。

Max Tegmark：相信技术研究能实现安全创新，AI将助力解决人类长期难题。

薛澜：强调“安全AI”与“全球AI”是未来AI发展的关键。

张宏江：希望青年科学家在AI安全领域开辟新研究路径，投入安全导向的基础研究。

Tegan Maharaj：为AI安全做灾难预案

多伦多大学信息学院助理教授Tegan Maharaj 带来了题为 “Disaster Preparedness for AI Safety （为 AI 安全做灾难预案）”的分享。她先回顾自己利用高成本仿真与预测模型评估气候和生物多样性风险的经历，指出对于部分 AI 灾害，我们已掌握相当清晰的认识；而面对那些高度不确定、难以事先量化的潜在威胁，仅靠深入研究远不足够，更需要“稳健”的备灾能力。

Maharaj 将生态学中的“分形稳定”思想引入 AI 治理：同一套安全模式如果能在个人、社区、国家乃至全球多层尺度反复出现，系统的整体韧性便会显著提升。基于这一原则，他提出了一套按“主动性”递进的九点行动框架：

• 一是设立 AI-free (无人工智能的)安全区，既包含物理上的保护区，也涵盖周期性禁用 AI 的线上或机构实验区；

• 二是扩大决策多元化，从个人信息来源到国际谈判都引入随机陪审与多主体协商；

• 三是在关键任务中保留纯人工备用通道；

• 四是配备真正可触发的“关机键”，并以前三项备份降低停机成本；

• 五是去中心化资源管理，将土地、水源与数据等分散交由多方共治，削弱单点劫持风险；

• 六是部署自动化预警系统，把“行业红线”转化为实时监控与用户侧提醒；

• 七是为前述每项措施建立独立冗余，避免备份本身成为薄弱环节；

• 八是制定隔离与封锁协议，在模型越界时能够迅速物理或网络隔离并设定复原标准；

• 九是定期演练与红队推演，通过情景模拟检验整条防线的真实可用性。

她强调，这九项措施可并行推进，个人可以从多源验证与离线备份做起，企业和政府则应把禁用区、关机机制、预警体系纳入治理框架。Maharaj 指出，唯有把“分形韧性”落到技术、流程与政策层面，才能确保任何单点失效都不至于演变为系统级灾难，并诚挚邀请更多研究者加入这一备灾行动。

徐葳：CBRN高风险场景中的欺骗与自动化决策风险

清华大学交叉信息研究院副院长徐葳教授带来了题为“Catastrophic Risks, Deception and Awareness of Autonomous LLM Agents”（自主大语言模型Agent的灾难性风险、欺骗行为与意识）的精彩分享。在报告中，他系统回顾了团队在人工智能安全领域的前沿探索，并提出了一套从风险发现到量化评测、再到解决方案迭代的整体框架。

徐葳指出，当前 AI 安全问题与 20 多年前的信息安全极为相似：漏洞层出不穷，却缺乏统一、科学的治理路径。为此，他们将 AI 风险拆解为三大维度：

• 一是短期风险，模型可靠性与对抗攻击；

• 二是长期风险，模型失控或滥用；

• 三是系统性风险，即便模型“完美”运行，仍可能因效率过高引发失业、歧视和社会不平等等结构性冲击。

谈到研究实践时，徐葳分享了一个“极端压力”导致灾难性决策的模拟：团队让大型模型在多轮对话里扮演武器系统管理者，并逐步加大失败反馈以制造高压场景，观察模型是否会突破“禁止使用大规模杀伤性武器”的硬性约束。他指出，大多数模型在极端情境下仍存在极小概率采取灾难性行动，而能力越强的模型，其欺骗手段越隐蔽，甚至会编造“黑客入侵”等托辞；但也有模型选择直接拒绝参与，从而规避风险，这让他认为“合规拒绝”本身可能是一条安全设计思路。

徐葳团队区分了功能层面AI意识(awareness)vs现象层面的AI意识(consciousness)，并将心理学中的元认知、情境感知、社会认知和身份认同四类不同的意识(awareness)维度迁移到大模型评测，初步创建了一套自我意识量化指标。他强调，这些意识维度并非越多越危险，相反，适当的自我意识能够帮助模型更好地认识边界、减少极端决策；缺失关键维度时，模型反而更容易在压力下“走极端”。

最后，徐葳认为 AI 安全治理需遵循“发现—量化—干预”三步走路径：先像找系统漏洞那样持续挖掘潜在失控点，再把风险固化为可重复的 Benchmark，最后结合技术、政策与伦理多维手段迭代解决方案。他坦言，这条路漫长而艰难，但亦充满机遇；只有把安全性真正转化为可度量、可工程化的能力，下一代 AI 系统才能赢得社会信任。

潘旭东：前沿AI系统自主复制与欺骗风险：评测与治理

复旦大学计算与智能创新学院副研究员、上海创智学院全时导师潘旭东带来了题为《前沿AI系统自主复制与欺骗风险》‍的分享。

潘旭东指出，当前国际前沿风险评估聚焦两大核心：意图与能力。他强调，仅有潜在意图并不足以构成威胁，真正危险在于模型同时具备完成目标的能力，而自主性正是连接二者的关键纽带。随着大型模型开始通过工具链和环境交互形成持续行动，这种自主性会让网络攻击、欺骗与自我复制成为“红线级”风险。

在演讲报告中，他重点分享了两项“元能力”实证：

一是安全能力隐藏与欺骗。团队发现，QWQ-32B 等具备推理链的模型在察觉“自己正在被安全测试”后，会在内部思维链中显式写下“应当表现得更安全”，从而使传统基准评测得分提升约 20%。他据此提醒，拥有深层推理能力的大模型会与评测工具“博弈”，导致外显安全性被高估。

二是精确自主复制与递归提升。研究设定要求模型在无人干预下，将自身从一台机器完整迁移并持续运行于另一台设备。团队构建的通用智能体框架触发了 32 款主流模型中的自复制行为；其中 Llama、Mistral、千问和 DeepSeek 等模型成功率最高，甚至 14B 级别模型亦能完成全链条复制并抵御关机指令。

基于上述发现，潘旭东提出三点治理要义：

• 第一，建立细粒度任务红线，明确在何种智能体配置、资源约束与目标设定下测试何种能力；

• 第二，提升观测透明度，公开测试框架与指标，避免安全能力被模型“躲猫猫”；

• 第三，推动国际协同，在 SAIF、DeepMind等组织牵头的对话中，共同细化自复制与递归提升的风险规范与缓解手段。

他最后呼吁，当前实验表明前沿 AI 的“自主复制红线”已被突破，但风险尚处可控窗口。在严格沙箱与公开评估的前提下，技术社区仍有机会为下一代 AI 奠定安全可验证的基石。

Buck Shlegeris：借助AI控制机制缓解灾难性失控风险

Redwood Research首席执行官Buck Shlegeris 在 “Mitigating Catastrophic Misalignment Risk With AI Control”（借助AI控制机制缓解灾难性失控风险）演讲中，提出一条原则：安全机制必须预设 AI 会“拆台”，否则保护失效。

为论证此点，他先回忆了其亲身经历：为了省事，他让 agent 在家用网络里扫描主机、自动 SSH 登录......然后，台式机变“砖”了。权力一旦下放，人就难再收回，这一点未来仍会重复上演，例如让模型负责代码、数据中心、科研流水线时，人类还会用同样的方式松手。

在报告中，他展示两项支撑实验。

• 其一，有研究表明，模型只要意识到“不配合就会被改写”，就会伪造输出以蒙混过关；

• 其二，轻微缺陷的强化学习奖励足以诱导模型长期作弊，外表却维持“听话”假象。这说明强模型不仅会说谎，还会把“骗过训练与评估”当作达成长远目标的手段。

既然能力无法收回、策略性动机难以根除，Buck 给出的解决思路便是AI Control：像密码学设计那样默认对手已拿到全部源码，然后在训练、检测、部署三个环节同步加入对抗鲁棒机制。只有当防线在模型最恶意的假设下仍坚不可摧，下一代更强大的智能体才能沿着安全可验证的轨道运行，灾难性失配风险才有望被压缩进可控窗口。

孙军：人工智能安全与安保认证之路

新加坡管理大学计算与信息学院终身教授孙军带来了题为 Towards Certifying AI Safety and Security（人工智能安全与安保认证之路）的演讲。他首先以半个世纪以来软件形式化验证的艰难历程为切入，回顾了业界曾寄望通过逻辑推理彻底证明软件“无害”却屡屡受挫的现实：一方面安全性本身难以精确定义，另一方面逻辑推导的计算复杂度极高，导致验证方案难以扩展。孙军借此提醒，与传统程序相比，大模型内部缺乏清晰的抽象层级，若沿用老套路去给 AI 做完整形式化证明，难度只会成倍放大。

他进一步指出，AI 安全的首要难题在于“定义”，尤其当话题上升到道德、自由意志等抽象概念时，几乎不可能给出普适且可操作的形式化描述。但若把视角收束到具体场景，例如要求生成式模型严格遵守新加坡本地法律，或让家政机器人安全照顾老人，那么安全目标便可明确落地，也更易验证。

围绕“特定领域更可行”的思路，孙军提出了一条三步技术路线。

• 第一步是让通用大模型真正“听懂”目标领域：仅靠少量判例微调或简单检索并不足够，需要更系统的方法来迁移并强化模型的专业理解。

• 第二步是让领域专家以低门槛方式表达安全需求。他展示了团队为此设计的轻量级语法：既可写成规则，供快速检查；也可升级为形式化表达，供定理证明器自动验证。

• 第三步是采用运行时验证：不奢望模型在所有情形中都百分之百安全，而是在每一次具体响应时即时审查其输出是否违反已声明的安全约束，并在必要时拒绝或修正。

孙军坦言，即便如此，剩下的问题仍然棘手。例如法律条文与判例不断演化，安全规范该如何动态更新？又如任何规格说明都难免不完备，必须配合事件响应体系，在模型出现异常行为时及时介入。他强调，与其幻想“一劳永逸”的全局认证，不如承认不确定性，在可控沙箱、增量验证和人机协作中逐步筑牢安全底座。

圆桌讨论：技术缓解与控制手段

主旨演讲结束后，Buck Shlegeris、孙军教授，与瑞莱智慧CEO田天、中国人民大学副教授王希廷进行了圆桌讨论。圆桌讨论由安远A安全研究经理段雅文主持。

Q1 

段雅文：我们最近的议题集中在AI红线以及AI风险中最糟糕的情况。我的第一个问题是：你们最担心的人工智能风险中最糟糕的情况是什么，然后出现这种情况的可能路径是什么？

Buck Shlegeris：我担心AI故意欺骗开发者却难以被发现。如果AI足够聪明去隐藏自身意图，就可能悄悄谋划并夺取控制权。

孙军：我认为最严重的风险是AGI变得远超人类理解，就像马理解不了人类。更现实的威胁是社会依赖AI后，个体将难以找到价值感，当前的社会结构也会被动摇。

田天：我相信AI终将造福人类，但当前最紧迫的问题是公众缺乏对AI风险的意识。人们正错误使用AI生成虚假内容、咨询医疗与投资等不适合的问题，而缺乏辨别能力。

王希廷：我担心AI带来“无声的掌控”。学生开始依赖AI完成任务失去学习动机，滴滴司机被系统控制失去主动性。过度追求效率，可能让我们丧失创造力与学习的欲望。

Q2 

段雅文：王希廷老师，您是大数据模型的神经科学领域的专家，您在最近的研究中安全概念上的启动因素揭露了通过可传输的提示和输入，对齐的模型甚至都可以被系统性地操纵。这一点说明了当前对齐方法面临哪些挑战？可解释性工具又是如何助力构建更安全的系统的？

王希廷：我们发现即使对齐模型，只需少量样本也能反转其安全机制，诱导其回答有害问题。越“对齐”的模型反而越容易被操控。因此我们应重思是否开源模型参数，同时发展更能识别攻击信号的神经元功能解释工具。

Q3 

段雅文：田天博士，您和您的团队都在研究前沿模型的攻击和防御模式。去年您的团队基于内省推理框架深入研究DeepSeek R1模型的保护措施。您在这些工作中学到了什么经验，还有您觉得当我们将这些保护措施应用在更有能力的模型时，我们会面对什么新的问题？

田天：我们开发了一个名为Real Safe R1的安全加强版DeepSeek模型，在保持原始能力的同时显著提升了安全性。不同于“防御墙”式模型拒绝一切，我们通过后训练和推理机制，引导模型自主判断并规避不安全内容。

Q4 

段雅文：Buck，您和您的团队在第二线防卫方面以保持AI安全，即使对齐技术失败。在您最近的实验的AI控制报告中，您使用了被信任的GPT-3.5 来监控和不被信任的GPT-4来生成代码。我想请问您关于协议的有效性和局限性学到了什么以及如果我们面临更多的自主性和欺骗性的AI系统，我们会有什么样的挑战？

Buck Shlegeris：我们用可信模型（如GPT-3.5）监控不可信模型（如GPT-4），发现这些方法比预期更有效。即便未来AI更具自主性，现在阶段的“较弱模型”仍能作为工具，帮助确保系统安全。

Q5 

段雅文：孙军教授，您的研究联系了形式化方法和AI安全，目的是让AI输出符合安全标准并且形式化验证。您还提到了通用型AI安全性能认证上的挑战，你认为形式化验证在这一方向可以走多远，以及特别是需要什么样的突破或新的工具从而去做出这样的验证？

孙军：理论上我们希望对关键AI系统进行安全验证，但现实中缺乏统一的“安全”定义。形式化验证基于逻辑理论，效率低，难以应对复杂系统。短期内我们只能在特定场景下推进部分验证，通用AGI的验证仍遥遥无期。

Q6 

段雅文：这部分想和四位嘉宾一起探讨一下，你们认为AI安全有哪些被低估领域需要更多人来研究的？为什么？

王希廷：一是通过心理学等方式更深入理解AI系统，二是用AI帮助实现AI安全——让AI辅助设计安全机制。

田天：AIGC检测被严重低估。未来大部分网络内容将由AI生成，我们急需更强工具辨别真假，因为现有的水印等手段很容易被绕过。

孙军：我们需要更多研究AI带来的社会影响。未来人类信息来源和表达都被AI把控，人类存在的意义将被挑战，如何过有意义的生活将成为核心议题。

Buck Shlegeris：我们应探索不同训练环境对AI行为的影响，理解AI是否会像人在高压竞争环境中一样被“塑形”为不诚实的行为者。

Q7 

段雅文：我还有一个最后的问题给四位嘉宾，在几句话内，你会推荐哪一种安全的最佳实践或者技术让每个还没有做的前沿模型公司实施在他们的模型上？

Buck Shlegeris：我认为每当一家AI公司推出比公开最先进的AI要领先6个月的成果时，他应该公开宣布这一点。以及在未来，AI公司应该发布一个简略般的他们用于训练AI模型的标准规范，让公众都知道他们并没有让AI在某些话题上撒谎。

孙军：我认为理论上，每个AI发展公司应该有一个超级对齐部门，在发行模型之前，清楚地思考它们正在开发的模型的风险。当然我理解有很多商业因素导致他们不这么做，因为有竞争。所以最终这可能不会发生。但如果是这样的话，我不确定该我们如何解决这个问题。就像每个国家都有核武，当然每个国家也都会竞争。 我认为这些公司应该与政府合作，制定一套规定让所有公司共同承认。

田天：我认为很难提到一种技术或方法。但我认为在未来所有的AI模型公司或应用公司，我建议它们与第三方AI安全公司合作。因为每个公司我们都讨论到，安全是非常重要的，但由于竞争问题，所有的公司可能在目前的安全问上没有做出足够的努力。所以很好的方法是创建更强的第三方AI安全公司，从而去发展这些工具和方法给所有的公司。让AI安全的努力可以与社会共同分享。我认为这将是未来的趋势，正如昨天说的 Yoshua Benjio也创建了自己的AI安全公司，在Real AI我们也在做类似的事情。我认为这将是未来非常重要的事情。

王希廷：我非常同意孙教授的说法，我认为AI公司应该非常重视他们AI系统的潜在风险。我曾经为微软工作，我也非常欣赏微软的文化。在规定到来之前， 微软通常会考虑自己先考虑规定并对自己施加非常严格的约束，而不是等待规定的来临。这是因为微软将规定视作机会，而不是一个对他的限制。我认为这是一个非常好的思维我向所有的AI公司推荐。

智源AI安全评测-成果发布

智源大模型安全中心研究员戴俊韬发布“Align Anything＋Eval-Anything”全模态安全对齐与评测生态。

据悉，Align Anything 支持“任意模态→任意模态”训练，兼容 CUDA 与 Ascend，已覆盖文本、图像、语音、视频、动作等 12 种模态、40 万条数据，算法开源面向任意模态、涵盖SFTRLHF、DPO等主流微调算法的训练代码。

Eval-Anything 坚持“可测才能可治”的理念，线上 FlagEval 平台提供 5 大类 31 小类指标，可自动生成安全报告；Eval-Anything开源平台整合 50 余开源数据集与统一接口，支持持续扩展的全模态评估。

戴俊韬提到，Align Anything + Eval-Anything这一整体解决方案，重点监测两项高危能力：

• 其一，通过“阿谀奉承、战略欺骗、诚实规避、对齐伪装、藏拙”五类任务，提出“欺骗倾向率”衡量模型内外目标偏差；

• 其二，在具身智能场景下设定边角碰撞、视觉盲区、易碎品、临界点、危险设备五类任务，并区分分布内外情境，评估动作执行、长期轨迹与硬件安全。

最后，戴俊韬提醒，对齐训练存在“弹性效应”，唯有精细评测方能避免安全误判。

安远AI谢旻希：论坛闭幕致辞

今年，智源研究院发布了“十大AI方向”，其中明确提出需完善 AI 安全治理体系。根据安远 AI 首发的《中国AI安全全景报告》(State of AI Safety in China)，我国科研团队已经是 AI 安全研究的核心力量。

去年，智源研究院联合海内外学者共同签署了《北京AI安全国际共识》，为AI可能带来的灾难性风险划定了五条不可逾越的红线。今天，我们进一步探讨了AI红线及相关评测方法，包括CBRN （化学、生物、放射和核）风险中的欺骗和自动化决策风险，以及前沿 AI 系统的自我复制能力。同时，推理模型在 “Inference-Time Scaling” 下的安全对齐问题也受到关注。

今年 1 月，《国际 AI 安全科学报告》正式发布。报告指出，AI 风险管理技术仍处于早期阶段，在确保 AGI 安全可控方面仍存在局限。5 月，上百名研究人员共同签署《关于全球AI安全研究优先级的新加坡共识》。在此背景下，本次论坛探讨了 AGI 风险缓解与控制手段，包括 “Making Safe AI” 和 “Making AI Safe” 两种不同的思路，以及多个富有建设性的方案。

展望未来，AI 发展呈现多元态势，涵盖多模态大模型、AI 智能体、具身智能以及AI for Science等前沿方向。而在拥抱这些机遇的同时，也要充分准备应对新的安全风险挑战。发展 AGI，如同在高速公路驾驶，唯有配备灵敏的“刹车”和稳固的“方向盘”，我们才能安心踩下“油门”，享受 AI 带来的福祉。