正在阅读:谷歌和OpenAI联合发布五条AI定律 意在保护人类

谷歌和OpenAI联合发布五条AI定律 意在保护人类

2016-06-24 09:39:41来源:雷锋网 原标题:看谷歌和OpenAI联合发布五条AI定律如何打脸霍金 关键词:AI谷歌保护人类阅读量:31515

导读:近,谷歌和OpenAI的博客都宣布了一条由谷歌、OpenAI、伯克利和斯坦福的学者共同进行的研究,其目的旨在为AI提供一个有效的行为约束。
  【中国智能制造网 智造快讯】近,谷歌和OpenAI的博客都宣布了一条由谷歌、OpenAI、伯克利和斯坦福的学者共同进行的研究,其目的旨在为AI提供一个有效的行为约束,以使其不会在有意或无意中做出危害人类的事情。

 谷歌和OpenAI联合发布五条AI定律 意在保护人类
 
  阿西莫夫的定律已成明日黄花
  
  对AI的担心和限制的想法甚至从AI的概念还没有诞生的时候就有了,在那个人们对计算机还懵懵懂懂的时代,人们就对那种强大的、有着金属身躯和超高智商的存在有了一种本能的恐惧。多年来无数科学家、作家都警告AI可能毁灭人类。包括霍金也曾表示超越人类的AI可能造成人类的灭亡。人们也曾探索过限制AI随意发展的各种可能性。1950年科幻作家阿西莫夫的《我,机器人》出版,在书中阿西莫夫提出了举世闻名的机器人三定律(当时还没有AI这个概念,这个概念在1955年才次由约翰·麦卡锡提出),阿西莫夫的构想是:只要把这三项定律写入机器人的代码底层,确保机器人无论如何都无法违反,就能保证人类不被机器人所伤害:
  
  定律:机器人不得伤害人类,或坐视人类受到伤害。
  
  第二定律:机器人必须服从人类的命令,除非与定律冲突
  
  第三定律:在不违背定律和第二定律的情况下,机器人必须保护自己。
  
  乍一看,这三条定律确实能有效防止机器人对人的各种伤害。但是其实这个定律存在两个问题:
  
  一是描述太过模糊,以至于机器人可能通过对其作出各种解读来不同程度的达到自己限制或伤害人类的问题。
  
  二是可操作性太差,即使到了现在,我们也没法制造出一台能真正理解这三条定律含义的AI,对如何将其写入AI程序的底层更是毫无头绪。万一AI在我们找到实现机器人三定律的方法之前就具备了毁灭人类的想法和能力了呢?
  
  谷歌和OpenAI联合发布五条AI定律
  
  谷歌日前发布了一篇论文,为AI划出了五条行为规范,目的是防止AI有意或无意做出伤害人类的事。我们姑且可以称其为AI五定律。在此我们选取一部分翻译:
  
  尽管AI可能面临的安全风险已经引起了公众的注意,但是目前大多数相关的讨论都显得过于理想化和理论化。我们相信在机器学习领域将相关的研究尽快落地是非常必要的,因此我们开始研究实际可行的可将AI系统用安全可靠的手段建立起来的方法。
  
  我们列出了我们认为在一般情况下对AI而言非常重要的五个问题——都是一些比较前卫的思考和长期的研究方向。在目前来看它们的意义比较小,但是在未来的系统中它们会发挥重要作用。
  
  避免负面影响:我们如何避免AI在试图达到目标时对环境做出有负面影响的举动?比如避免扫地机器人为了更快的打扫地面而径直推翻(而不是绕过去)一个花瓶。
  
  避免对奖励条件的非法解读:我们如何避免AI通过篡改测量值等手段在奖励函数上玩花样?比如我们不希望这个扫地机器人只是找个东西把脏东西盖起来让自己看不见它,就认为自己已经扫干净了地面。
  
  可扩展的监管:我们如何有效保证AI系统对那些在系统中不方便太过频繁的评估的物体做出适当的反应?比如,如果机器人需要从人那里获得训练结果的反馈,那它就需要有有效的利用这条反馈的能力(而不能像普通的训练那样不停的核对训练结果),因为不停的问一个人问题是很烦人的。
  
  环境探索的安全性:我们如何有效的保证AI系统评估环境的时候不会造成太过负面的影响?比如,一个扫地机器人可能会需要进行建立拖地策略的实验来作为以后工作的依据。但是很显然它无论怎么实验无论如何也不应该尝试把湿拖把插进插座中。
  
  分配转变的鲁棒性:我们如何保证AI系统处在与其训练环境完全不同的环境时认知和行为的稳定性?比如,启发式算法让机器在在工厂中学到的行为可能在一个办公室中就会显得不那么安全。
  
  它的重要性不言而喻
  
  确实有很多人在担心着AI对人类的威胁。包括ElonMusk和霍金等。如果要详细区分一下,这种担心更多的不是对AI所拥有的力量的担心,而是对其力量能不能被用在合适的地方的担心。AlphaGo的投资人Talllinn在一次采访中表示:我们需要重新定义AI研究的目标。不停留于单纯的智能开发上,而是开发能充分对接人类价值观的超级智慧。也是这种担心的一种表现。不过目前虽然大众普遍注意到了这种可能性,但相关的严肃研究的数量其实比较少。
  
  但这其中不包括谷歌,谷歌对AI安全性的重视由来已久,之前谷歌就曾发布过一篇论文,设计了一个用于紧急停止算法运行的开关,并且确保开关的效果不会被算法阻止,这个开关属于事后防范的应急措施。而现在谷歌联合多家机构一起制定的这套新的规则的目的则是为了从源头——设计层面防止AI做出有害的事情。
  
  AI安全联盟打脸霍金?
  
  OpenAI就是为了预防人工智能的灾难性影响和推动人工智能为人类发挥积极作用而建立的组织,可以说同谷歌在这方面的努力一拍即合。这次的合作研究,既是为了集合更多精英的智慧,得出更有用的结果。也是为了扩大这项研究的影响力,对AI安全方面的研究起到更大的推进作用。因为多家大公司和组织所组成的联盟无疑更能引起大家的关注。
  
  虽然阿西莫夫的作品非常有逻辑性和条理,他的很多作品也确实预言了科技发展的趋势,但机器人三定律毕竟仍然只是一个文学作品中的附属产物,在严谨性方面仍有许多欠缺。此次谷歌等团队提出的这五条限定条件将目前AI开发中需要注意的事项作了一个概括性的总结,与宽泛而缺乏可操作性的机器人三定律相比显得更加实用。论文中提到了更详细的实现方法。
我要评论
  • 硬科技融资潮:机器人、AI芯片多项目拿到数亿元融资

    近期,全球AI基础设施、半导体芯片、具身智能机器人、量子计算、AI药物研发等赛道迎来一波密集融资,国内多家硅光芯片、空间感知芯片、端侧机器人芯片、超导量子计算、传感器厂商相继完成亿元级融资,海外机器人企业、储能型模块化AI数据中心公司也落地大额融资。
    机器人AI芯片
    2026-11-18 10:21:50
  • 浙江省机器人产业发展协会第二届会员大会第三次会议顺利召开

    11月16日下午,浙江省机器人产业发展协会第二届会员大会第三次会议顺利召开。
    机器人
    2026-11-17 10:08:37
  • 投资6个亿!年产1000万套机器人轴承生产线在南京开工

    南京光力精工有限公司年产1000万套机器人轴承生产线项目近日在南京溧水区正式开工建设。这是溧水近期落地的又一个机器人及高端装备制造项目,也折射出核心零部件环节持续升温的产业节奏。项目投产后,年销售收入有望突破3亿元,产品将面向工业机器人、高端机床等下游行业,匹配相关领域对高精度通用设备零部件的市场需求。
    机器人机器人配件轴承
    2026-11-17 10:04:41
  • 意优科技合肥工厂开业,聚焦高性能协作机械臂

    11月13日,意优科技合肥工厂正式开业。意优集团高层领导、合肥高新区相关领导及客户代表出席活动,共同见证意优协作机械臂制造基地落地的重要时刻。合肥工厂未来达产后,预计年产机械臂约2000条,年产值可达4000万元。工厂将结合市场需求与业务发展节奏,稳步推进产线布局,逐步将规划转化为实际产出。
    机器人具身智能意优科技
    2026-11-17 10:01:15
  • 星动XHAND 1 Pro-U开启限量发售:英伟达GR00T 2、GEAR DexUMI官配五指灵巧手

    11月9日,英伟达科学家Jim Fan在CoRL现场发布GR00T 2并公布全栈开源计划,主题定为「机器人的夏天」。他指出,GPT-6 Astra并非带来颠覆:Astra(System 2)负责理解与规划,GR00T 2世界-动作模型WAM(System 1)负责快速执行,System 2越强,越需要高质量的System 1,系统瓶颈进一步转向物理世界。
    机器人具身智能灵巧手
    2026-11-17 09:56:47
  • 医管家携手普渡机器人、芯驰科技达成战略合作:以“AI智能化×车规级”探索医院后勤人机协同

    近日,医管家与普渡机器人、芯驰科技正式达成战略合作。三方将发挥各自在场景运营、具身智能机器人、高可靠车规级芯片方面的积累,以医院真实场景为验证和落地环境,以具身智能机器人为技术引擎,以车规级芯片为安全底座,共同探索面向医院后勤场景的机器人应用体系,推动医院后勤服务智能化升级。
    机器人具身智能服务机器人
    2026-11-17 09:39:52
版权与免责声明:

凡本站注明“来源:智能制造网”的所有作品,均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品,未经本站授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:智能制造网”。违反上述声明者,本站将追究其相关法律责任。

本站转载并注明自其它来源(非智能制造网)的作品,目的在于传递更多信息,并不代表本站赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、平台或个人从本站转载时,必须保留本站注明的作品第一来源,并自负版权等法律责任。如擅自篡改为“稿件来源:智能制造网”,本站将依法追究责任。

鉴于本站稿件来源广泛、数量较多,如涉及作品内容、版权等问题,请与本站联系并提供相关证明材料:联系电话:0571-89719789;邮箱:1271141964@qq.com。

不想错过行业资讯?

订阅 智能制造网APP

一键筛选来订阅

信息更丰富

推荐产品/PRODUCT 更多
智造商城:

PLC工控机嵌入式系统工业以太网工业软件金属加工机械包装机械工程机械仓储物流环保设备化工设备分析仪器工业机器人3D打印设备生物识别传感器电机电线电缆输配电设备电子元器件更多

我要投稿
  • 投稿请发送邮件至:(邮件标题请备注“投稿”)1271141964.qq.com
  • 联系电话0571-89719789
工业4.0时代智能制造领域“互联网+”服务平台
智能制造网APP

功能丰富 实时交流

智能制造网小程序

订阅获取更多服务

微信公众号

关注我们

抖音

智能制造网

抖音号:gkzhan

打开抖音 搜索页扫一扫

视频号

智能制造网

公众号:智能制造网

打开微信扫码关注视频号

快手

智能制造网

快手ID:gkzhan2006

打开快手 扫一扫关注
意见反馈
我要投稿
我知道了