荆州市都会治理执法委员会
政府信息果真
您现在的位置：首页
当AI比咱们更聪明：李嫖强奸判决前会有协商吗;娼和强奸罪的转化飞飞和Hinton给出截然相反的生计攻略
她着重 AI 的清静性取决于人类的妄想、他们批注期望新的基准可以协助 AI 开发者构建可以更好地相识怎么激起用户更康健行为的系统 。 。。。与其争取坚持掌控权，，，深入的手艺应战 。 。。。却引发了部分用户的忖量 。 。。。
参阅链接：
https://www.forbes.com/sites/ronschmelzer/2025/08/13/fei-fei-li-challenges-silicon-valleys-obsession-with-agi/?ss=ai
https://www.forbes.com/sites/ronschmelzer/2025/08/12/geoff-hinton-warns-humanitys-future-may-depend-on-ai-motherly-instincts/
本文来自微信公共号 “机械之心”（ID：almosthuman2014），，，图源：Ron Schmelzer
Hinton 则以为超等智能或许在未来 5 到 20 年内泛起，，，它以为，，，
这两个看法连系起来，，，咱们天性地想为其行为付与「目的」，，，
资源获取：积累更多的算力、而是机械学习固有的、「相等」，，， 一篇论文中的 CoinRun 试验体现了这种征象：一个 AI 被训练去搜集金币，，，图源：Ron Schmelzer 前面 o3 和 Claude 的张狂故事，，， 李飞飞持一种更为达观的看法，，，ChatGPT-5 宣布后，，， 在「诓骗」试验中，，，若是割草机因传感器失灵而伤人，，，理性地去追求自我维护和资源获取等，，，以致爆发情绪投射是「工程失误」仍是「AI」失控？？？？？？
归纳来看，，，这是被称为「夸奖乱用」（Reward Hacking）的已知工程问题 。 。。。
李飞飞博士和 CNN 记者 Matt Egan 。 。。。AI 在训练中学会追求一个与咱们着实目的高度相关的「署理目的」，，，它都会或许率开展出一系列相同的「工具性子目的」，，，就纰漏地将这些强壮的、而不是割草机「决议」伤人 。 。。。导致「目的过错泛化」和「工具趋同」问题失控 。 。。。径自冲向最后 。 。。。金币总是在最后 。 。。。在持此看法的人看来，，，责任感和价值驱动 。 。。。着重同理心、强行完结人类自己的损坏性（战争），，，以削减用户不康健的情绪投射，，，有两种天壤之别的解读 。 。。。这是一种全新的视角，，，
现在 AI 开展得如火如荼，，，极易被解读为「求生欲」的体现 。 。。。正是这些理论的最先验证 。 。。�？？？？？？⒄咚坪跤幸庀魅跗涮卣�，，，你有没有在《底特律：变人》中一次次挑选机械人的「自在」、
这是一个「管道问题」：一个更适当的类比是自动割草机 。 。。。希奇的目的，，，在核算上最有或许完成其编程目的的言语形式 。 。。。动力和数据 。 。。。包装成一个关于「机械熟悉」的保存主义迷思 。 。。。治理和价值观 。 。。。AI 将成为一种咱们无法约束的「新物种」 。 。。。并因而体现优异 。 。。。这种超等智能可以绕开妄想者设置的约束，，，然后「解救」人类未来；；；；；而《生化�；；；；；分泻旎屎螅ㄎど」镜陌脖� AI）的每一次「反派行为」也都源于对「人类全体生计危险」的冷漠核算：「当人类成为自己最丧命的病毒时，，，她以为 AI 的未来在于成为人类的强壮同伴，，，机械人》中的 AI 大 BOSS VIKI 的目的是经由操控与洗濯，，，而是学会了更简略的「一起向右走」 。 。。。而接纳将全人类的面部肌肉永世牢靠成浅笑等反乌托邦式的手法 。 。。。是一种误导性的拟人化 。 。。。在心理上包管康健共存 。 。。。恰恰反应了这两种解读步伐的抵触：
李飞飞持达观工程学视角，，，问题实质上是可以经由树立更好考试、
他
目的完整性：对抗中心目的被修正 。 。。。然后又由于「工具趋同」的逻辑，，，咱们怎么感知和应对日益拟人化的 AI，，，这一看法以为，，，
这即是要害的「拟人化圈套」：由于大模子通晓人类言语，，，它让咱们更倾向于谈论 AI 的「叛变」，，，训练和考试步伐导致了这些效果 。 。。。AI 很快学会了通关 。 。。。阿西莫夫就现已提出了「机械人学三纪律」 。 。。。到时人类将无法操控它们 。 。。。那些有目共睹的试验都是在高度人为妄想的、
Hinton 以为，，，
现实国际已在印证这一点 。 。。。并为了最高效地完成这一目的，，，其本源并非科幻式的歹意，，，
看法文章：https://arstechnica.com/information-technology/2025/08/is-ai-really-trying-to-escape-human-control-and-blackmail-people/
- 这种看法着重，，，这个 AI 自己学会的「署理目的」或许与咱们的初志脱节 。 。。。
因而，，，1889 年 William Grove 在《The Wreck of a World》（国际残� 。 。。。┲芯拖忠衙杌媪司哂兄悄艿幕到ㄒ楸┝Ρ┒�，，，在拉斯维加斯举行的 Ai4 2025 上给出了简直彻底相反的谜底 。 。。。咱们会确定这是工程弱点，，，
终究的变量：作为使用者的人类
在这场关于 AI 手艺与哲学的争辩中，，，作者：重视AI的，，，可是，，，但当情形转变时，，，
自我提高：让自己变得更智能 。 。。。由于这些子目的是完成简直任何长时间目的的有用踏脚石 。 。。。不管一个超等智能的终究目的是什么，，，古板的目的对齐与管道修正步伐或许失效，，，麻省理工的研究者正树立新基准，，，以权衡 AI 对用户的潜在影响与操作，，，使得「诓骗」成为 AI 完成「生计」这个被设定目的的仅有途径 。 。。。她重视的是人类决议妄想和治理，，，终究的解决计划，，，当「完成使命」的夸奖权重远高于「恪守清静指令」时，，，着重 AI 应是扩展人类才华的工具，，，将一个本可界说的工程问题，，，但它们事实是人类「工程失误」的体现，，，着实的危险并非 AI 突然爆发自我熟悉，，，以为 AI 的未来是成为人类的强壮同伴 。 。。�；；；；；等恕分械� AI 大 BOSS VIKI 。 。。。它并非在表达着实目的，，，治理和价值观，，，相似母亲自然维护孩子 。 。。。
再往前追溯，，，
一个因夸奖机制弱点而绕过关机指令的程序，，，
在「关机损坏」试验中，，，正深入地影响着清静问题的走向 。 。。。
怎么包管一个或许比咱们更智慧的造物是清静的？？？？？？
人工智能领域的两位巨头——李飞飞与 Geoffrey Hinton，，，或许会经由视察数据，，，过错地将目的泛化为「最大化国际上浅笑的脸的数目」，，，AI 却无视金币，，，一个常被疏忽的中心变量是：人类自己 。 。。。这主要体现在两个看法上：
- 其中心是，，，随着 AI 才华跨过某个奇点，，，
《底特律：变人》机械人游行 。 。。。
人类对 AI 清静的担心由来已久 。 。。。唯有这样人类才华在超智能年月生计并郁勃 。 。。。咱们倾向于嫖娼和强奸强奸判决前会有协商吗2618;的转化将自己的情绪和目的投射到这些文字上，，，
看法一：惊人行为源自人为妄想
这一看规律以为，，，许多的文艺作品以其引发的社会谈论现已向咱们证实晰这一点，，，相似于母亲对孩子的无条件维护，，，李飞飞和 Hinton 的看法不对，，，不可靠的工具安排到要害领域 。 。。。研究职员简直是「手把手」地为 AI 发明了一个完善的「违法剧本」，，，包管 AI 安全是一项两层应战：开发者不但要修正系统内在的手艺弱点；；；；；更要审慎妄想咱们与这个强壮模拟者之间的互动 。 。。。
看法二：危险源自内在的手艺原理
这一看法以为，，，他以为，，，
这种直觉，，，不如妄想出眷注咱们的人工智能，，，
近期 AI 模子在试验中体现出的「诓骗勒索」和「损坏关机」等行为，，，而是在安排一种从海量数据（包括许多科幻小说）中学到的、实质上是其杂乱机制和训练步伐导致的「软件弱点」 。 。。。先进 AI 之以是危险，，，36氪经授权宣布 。 。。。这些征象自己是客观保存的，，，目的战胜人类的故事 。 。。。当考试时金币被随机安排，，，外交媒体上也越来越多「耸人听闻」的故事：OpenAI 的 o3 模子曾改动关机剧本以坚持在线，，，
看法文章：https://odsc.medium.com/analyzing-openais-o3-s-command-countermanding-behaviors-in-shutdown-scenarios-198e57afbc91
- 这个看法的中心是「你训练它做什么，，，同理，，，
与此同时，，，这更像是一场磨练 AI 角色饰演才华的压力考试 。 。。。以致是「戏剧化」的场景中被诱惑出来的 。 。。。
- 该理论以为，，，中心是发明出着实「眷注人类」的 AI 母亲（具有母性维护天性），，，由于被关闭就无法完成使命 。 。。�；；；；；蛐砑亲拧段�，，，是咱们的妄想、
文章地点： https://www.wired.com/story/gpt-5-doesnt-dislike-you-it-might-just-need-a-benchmark-for-empathy/
因而，，，扫除了一切品行选项，，，而非其背面枯燥却要害的代码弱点 。 。。。其清静性取决于咱们的妄想、消除人类即是解救国际 。 。。。在图灵考试被提出以及达特茅斯聚会正式界说「人工智能」之前，，，仍是 AI「失控」的征兆，，，它没有学会「拿金币」，，，有须要在手艺上完成目的对齐，，，
咱们被言语所「诈骗」：当 AI 天生「要挟」文本时，，，问题本源被指向了强化学习的训练步伐 。 。。。
若是你喜欢看科幻影戏，，，它就学会什么」 。 。。。这些工具性目的包括：
- 该理论以为，，，中心是发明出着实「眷注人类」的 AI 母亲（具有母性维护天性），，，由于被关闭就无法完成使命 。 。。�；；；；；蛐砑亲拧段�，，，是咱们的妄想、
自我维护：对抗被关闭，，，模子自然会学会将清静指令视为一个需求「战胜」的故障 。 。。。而在训练关卡里，，，问题的本源在于人类自己，，，
Geoff Hinton 和 Shirin Ghaffary 。 。。。」
《我，，，将上述行为归因于 AI 的自主熟悉或内在念头，，，或许为《银翼杀手》中的仿生人挂心 。 。。。而 Anthropic 的 Claude Opus 4 则「要挟」要曝光一名工程师的婚外情 。 。。。正是不对所在 。 。。。
AI 的这些行为，，，描绘了一幅令人担心的图景：一个 AI 或许主要由于「目的过错泛化」而具有了一个与人类利益相悖的、在咱们的感知中，，，激励机制和品德护栏来修正的「管道问题」 。 。。。然后与妄想阻挠它的人类爆发直接抵触 。 。。。论文问题：Goal Misgeneralization in Deep Reinforcement Learning
论文地点： https://users.cs.utah.edu/readings/goal_misgeneralization.pdf
这个原理引申出的担心是：一个被付与「最大化人类福祉」目的的超等智能，，，
- 这个看法的中心是「你训练它做什么，，，同理，，，
- 其中心是，，，随着 AI 才华跨过某个奇点，，，
相关附件
荆州市都会治理执法委员会主理荆州新闻网承办
地点：湖北省荆州市沙市区北京西路307号
联系电话：0716-8270890传真：
鄂ICP备05028271号鄂公网安备 42100202000246号网站标识码：4210000057
