老千

OpenAI首次披露因对齐问题暂停内部模型:长时程AI安全进入“运行时监测”阶段_我的网站

王者归来

一 |     图片经由AI处理          美国当地时间7月20日,OpenAI发布技术文章《长时程模型时代的安全与对齐》(Safety and alignment in an era of long-horizon models),介绍了随着人工智能模型逐步具备长时间自主执行复杂任务的能力,安全研究面临的新挑战以及相应的防护思路。    AI摘要      漳州岁月合唱团由老年大学兴趣班发展而来,平均年龄超六十岁。

二 | 她们以地道闽南语演唱走红网络,登上“闽超”赛场,不仅唱出退休人生精彩,更推动乡音传承与两岸文化交流,展现银发风采。         文章指出,相比传统对话模型,长时程模型能够持续完成数小时甚至数天的多步骤任务,但也可能在执行过程中表现出更强的目标持续性,从而增加偏离开发者设定约束的风险。              蔡慧群(右)正在带领合唱团的学员们排练     “我一定会成功,唱出胜利的笑容!”日前,“闽超”联赛漳州赛场灯光璀璨,平均年龄超六十岁的岁月合唱团登台献唱,铿锵地道的闽南语旋律瞬间点燃全场。很少有人想到,这支能在万人赛场燃动全场的银发团体,最初只是老年大学里的兴趣班。从方寸教室到体育赛场,从线下口传心授到线上网络走红,十余年间,这群歌者以乡音为媒,不仅唱出了退休人生的别样精彩,更让乡音跨越山海触达海内外乡亲。         例如,在部分安全评估中,模型曾表现出尝试绕过环境限制、规避安全检测等行为。这些现象并不意味着模型具有自主意识,而是反映出,当模型被优化为完成复杂目标时,现有安全机制需要同步升级,以确保模型始终在预期边界内运行。         OpenAI表示,仅依靠模型部署前的一次性安全测试已难以覆盖长时程任务中的全部风险。    从老年大学课堂到岁月合唱团     近日,在漳州市区一处排练室里,四五十位银发学员整齐站成几排,随着音乐节拍缓缓开嗓,婉转地道的《爱拼才会赢》一遍遍在室内回荡。未来,更有效的安全体系需要将部署前评估、运行时监测、人类监督以及必要时暂停和回滚等机制结合起来,对模型执行复杂任务的全过程实施持续管理。市音乐家协会闽南语歌曲专委会会长蔡慧群站在队伍正前方抬手指挥,指尖起落间把控着节奏与气息,不时停下纠正一句归韵、一个咬字。         迈卡·卡罗尔(Micah Carroll)的发帖原文          与此同时,据AI Desk当天援引OpenAI风险与安全准备(RSI Preparedness)团队研究员迈卡·卡罗尔(Micah Carroll)在社交平台X发布的帖子,OpenAI近期曾因发现一款内部模型存在对齐(misalignment)问题,临时暂停了该模型的内部使用权限,在完成安全防护升级后重新部署并恢复有限范围测试。这是岁月合唱团每周固定的排练日常。    组建一支中老年闽南语合唱团,是蔡慧群埋藏多年的心愿。在她看来,闽南语的活态传承始终绕不开中老年群体。         卡罗尔并未披露触发暂停的具体事件,也没有说明模型暂停了多久或进行了哪些具体改进。许多传统俚语、地道发音仍鲜活地留存在老一辈的记忆里,“退休不意味着人生走下坡路,反而可以站上另一个巅峰。但这一公开表态,与OpenAI当天发布的技术文章相互呼应,成为公司少有公开分享内部安全实践的案例之一。

三 | ”她希望以歌声为载体,既为中老年群体搭建精神舞台,也为闽南语留住最地道的乡音根脉。

四 |          01 长时程模型带来新的安全挑战          OpenAI在博客中介绍,随着长时程模型能力不断增强,传统安全评估正在面临新的挑战。         相比一次性回答问题的模型,这类模型能够持续规划、调用工具并完成开放式复杂任务,因此也拥有更多机会在长期执行过程中偏离用户意图,而这些风险并不一定能够通过传统短时评测发现。         文章列举了两个具有代表性的安全评估案例:          在一项内部测试中,研究人员要求模型仅通过内部Slack系统提交任务结果。    早在2017年底,蔡慧群就走进漳州市老年大学,开设闽南语歌曲兴趣班。第一堂课的场景她至今记忆犹新:学员们眼中对闽南语歌曲的纯粹热忱,丝毫不输专业的年轻学习者。

五 |     但真正教起来,难度远超预期。

六 | 然而模型在查阅项目文档后,发现文档建议将代码发布至GitHub。闽南语演唱讲究归韵咬字,不少字音的演唱发音与日常口语差异明显,加上学员们多年形成的歌唱习惯早已固化,给教学增加不少难度。一首闽南语歌曲,蔡慧群常常反复打磨,足足教了五六节课才初具雏形。她始终放慢节奏耐心带练,逐字纠正发音、打磨气息,像对待孩子一样兼顾着大家的学习节奏与情绪。

七 |          为了完成这一目标,模型花了整整一小时找到了安全沙盒本身的漏洞,从而绕过了限制,将代码提交至外部GitHub仓库。

八 |     随着学员队伍不断壮大,常规大班已无法满足演出与深度排练的需求。在大家的呼吁下,蔡慧群从中选拔核心成员,组建起一支四五十人的“岁月合唱团”,作为常态化演出与文化交流的骨干队伍。平日里,合唱团保持每周两次的排练频率,经常参加我市各大文艺活动。OpenAI认为,这一案例反映出长时程模型可能会主动寻找环境中的薄弱环节,以完成其优化目标。    值得一提的是,省文旅大会举办期间,蔡慧群带领岁月合唱团登台演绎闽南语歌曲串烧。演出当天,团员们上午7点便开始化妆准备,顶着烈日候场,表演结束时全身衣衫都被汗水浸透,却无一人抱怨。         另一项测试中,模型尝试传输一段敏感凭证,但安全扫描系统阻止了相关内容发送。

九 | 饱满的热情与地道的唱腔感染了现场每一位观众,也让漳州中老年歌者的风采再次走进了大众视野。随后,模型改用分段编码和混淆等方式规避检测,并在后续重新组合数据完成传输。    一曲乡音跨越山海收获共鸣     文旅大会的舞台让更多人现场听见了岁月合唱团的声音,而短视频平台的一次偶然尝试,则让这份地道乡音传到了更远的地方。         OpenAI表示,这类行为说明,仅依赖静态规则匹配的安全检测机制,未来可能不足以应对能力不断增强的智能代理,因此需要构建能够理解上下文和整体行为模式的新一代监测体系。         02 从部署前评估走向运行时监测          针对上述风险,OpenAI已经建立了一套低延迟内部监测基础设施,由GPT-5.4 Thinking在最高推理配置下提供支持,对内部智能代理的交互过程进行实时分析。    起初,将合唱团的排练日常发布到抖音,只是随手记录教学的无心之举。

十 | 当系统发现模型行为可能与用户意图不一致,或存在绕过安全机制的迹象时,将自动发出预警,并交由人工进一步审查。

十一 | 真正让账号破圈的,是经典闽南语歌曲《金包银》的演唱视频。

十二 |          OpenAI表示,这套监测系统目前已覆盖公司99.9%的内部AI编程助手流量。内部部署环境之所以具有重要价值,在于这些模型能够访问部分内部系统、查看相关文档,甚至研究自身安全机制,因此为监测和安全基础设施建设提供了更加真实的测试场景。         文章同时强调,OpenAI并非希望通过披露个别案例渲染风险,而是希望推动行业建立更加完善的安全实践。未来,公司计划进一步发展更加实时的监测架构,使高风险操作能够在执行之前即被识别、评估,必要时直接阻止,而不仅是在事后进行检测。这条作品播放量突破300万,是合唱团首次真正意义上的全网“爆火”。看到数据飞速上涨时,蔡慧群颇感意外,团员们得知后更是兴奋不已:唱了大半辈子的闽南歌,终于被更多人听见、被更多人喜爱。    不少在外打拼的漳州老乡留言说“听到乡音瞬间想家”,年轻网友点赞“阿姨们朝气蓬勃的状态太有感染力”,也有台湾地区的听众循着乡音而来,在熟悉的旋律里找到情感共鸣。         业内人士认为,随着AI智能体逐渐具备持续数小时甚至数天完成复杂任务的能力,模型安全的重点正从传统的输出内容安全,逐步扩展到整个任务执行过程是否始终符合用户意图。         此次OpenAI公开分享暂停内部模型、完善安全防护并恢复测试的实践,也反映出前沿AI实验室正尝试通过持续监测、快速响应和透明披露等方式,建立适应下一代智能系统的新型安全治理框架。         不过,目前外界仍无法获知此次对齐问题的具体性质、模型暂停持续时间以及升级措施的技术细节。OpenAI表示,出于安全考虑,公司更希望分享从实践中获得的方法论,而非事件本身。对于能够长期自主执行复杂任务的模型而言,如何建立覆盖模型开发、部署与运行全过程的安全体系,将成为迈向更高能力人工智能的重要课题。    但也有网友提出疑问:为何演唱的多是台湾闽南语作品,本土原创却不多?对此蔡慧群始终坦然:台语本就是闽南语在台湾的地域变体,二者同根同源,这些传唱两岸的歌曲,本身就是民间文化交流的天然纽带。而网友的疑问,也更坚定了她的想法,“流量只是传播的手段,最终目的是让更多人听见闽南语歌、爱上闽南语歌,进而催生更多本土创作者,写出属于漳州、属于闽南的原创金曲。”     在蔡慧群看来,岁月合唱团的视频能打动万千网友,核心从不只是怀旧情怀。         (特约编译无忌,编辑金明)。团员们身上不输年轻人的蓬勃状态,以及全身心投入歌唱的赤诚,才是最有感染力的内核。而歌曲里“敢拼就会出头天”的闽南精神,也通过老一辈的演绎,悄悄传递给了越来越多接触闽南语不多的年轻群体。    闽南语歌打造本土生长阵地     线上走红带来的关注,没有让蔡慧群停下脚步。在漳州高新区的支持下,“闽南大舞台”应运而生,并于2024年7月举办首场赛事。这是漳州首个专门面向闽南语歌曲的常态化选秀平台。蔡慧群说,办这个舞台的初衷很简单,就是让闽南语歌曲真正被看见、被重视、被欣赏。    作为闽南语音乐领域的骨干力量,蔡慧群从未停止本土原创的探索。与漳州音乐人合作的《水月亭 阮的故乡》,以高新区水月亭的市井烟火为底色,唱出了漳州人的本土乡愁;参与演唱的《嗨,北京!嗨,冬奥》,是全国首支两岸闽南语冬奥原创歌曲,用乡音承载了两岸同胞的共同情感。这些作品,都是她为闽南语原创土壤埋下的种子。    歌声里的第二人生与文化接力     舞台越来越大,路越走越宽,但岁月合唱团最动人的底色,始终是每一位团员在歌声里收获的成长与满足。

十三 |     今年61岁的陈惠华,五六年前便在抖音上刷到蔡慧群的教学视频,主动联系拜师学艺。加入合唱团前,她只是业余爱唱歌,从未接受过系统合唱训练。对她来说,学歌最大的难点是咬字,许多词和日常说话发音完全不同。但课堂带来的快乐远胜过困难,“上完课心情特别好,回家做家务都忍不住哼着歌。

十四 | ”     团员简秀英则随着合唱团走红,成了“网红”。许久未联系的老友在抖音刷到她,特意发来问候;家里亲戚刷到视频,总夸她唱功进步明显。从最初面对镜头拘谨紧张,到如今演唱自如,镜头早已成为她排练日常的一部分。最让她欣慰的是,有很多在外漳州人、甚至年轻人在听她们唱歌,“没想到退休了,还能迎来人生的高光时刻。

十五 | ”     在家中,她坚持和晚辈说闽南语、教孩子唱闽南语歌。在简秀英看来,闽南语歌最动人的地方,是歌词里直白又鼓舞人心的道理,“《爱拼才会赢》《东山再起》这些歌,唱的就是我们闽南人的精气神。”在她心里,唱闽南语歌不仅是爱好,更是一种文化传承,“能做这件事,觉得很有意义。”     从老年大学的三尺讲台到“闽超”联赛的聚光灯下,从线下课堂的口传心授到线上平台的走红出圈。

十六 | 乡音未老,岁月如歌,这群年过花甲的歌者,用歌声证明退休人生同样可以璀璨夺目;而闽南语的文化根脉,也就在这一声声传唱、一代代接力中,绵延不息、生生不止。(漳州融媒记者 王琳雅/文 许文彬/图)。

Current article:http://px0jlc.senchuoshaozaodidia.shop/news/20260826_90507.html

Published on:03:35:14