AI新趋势:打造无监督式通用神经网络人工智能
尤尔根·施米德休伯教授是瑞士人工智能实验室IDSIA的科学事务主管,同时任教于卢加诺大学和瑞士南部应用科学与艺术学院。他于1987年和1991年在慕尼黑工业大学先后获得计算机科学的学士和博士学位。
自1987年以来,他一直着自我改进式通用问题求解程序的研究。从1991年开始,他成为深度学习神经网络领域的开拓者。他在IDSIA和慕尼黑工业大学的研究团队开发了一种递归神经网络,并在正式的性比赛中获胜。这些技术革新了连续手写识别、语音识别、机器翻译和图片注释,现在被谷歌、微软、IBM、百度和其他很多公司应用。DeepMind深受他以前博士学生的影响。
从2009年起,施米德休伯教授成为了欧洲科学与艺术学院的院士。他获得过很多奖项,包括2013年神经网络协会的亥姆霍兹奖,以及2016年电气与电子工程师协会的神经网络先锋奖。2014年,他参与创办了人工智能公司NNAISENSE,旨在打造个有实用价值的通用人工智能。
深度学习是装载新瓶子里的旧酒
什么是深度学习?它有着怎样的历史?
施米德休伯:它是装在新瓶子里的旧酒。它主要是关于拥有多个后续处理层的深度神经网络。利用如今速度更快的计算机,这样的网络已经彻底改变了模式识别和机器学习。“深度学习”这一术语由德克特在1986年首度引入机器学习领域,然后由艾森伯格等人在2000年引入人工神经网络领域。
深度学习之父是乌克兰的数学家伊凡卡内科。1965年,他和拉帕共同编写了个用于监督式前馈多层感知的通用可行学习算法。1971年,他已经描述了一个八层的网络(即使按照当前的标准,仍然称得上有深度),并使用一种在新千年仍然流行的方法对它进行训练。他远远于自己的时代——当时,计算机的运算速度比现在慢10亿倍。
你对《科学》杂志上那篇关于人类层次概念学习的论文有何看法,它通过贝叶斯程序学习框架实现了“一次性学习”。施米德休伯:那篇论文很有趣。不过,我们也能通过标准的迁移学习来实现快速的一次性学习。方法就是,首先,基于众多不同的视觉训练集“慢慢地”训练一个深度神经网络,使得网络的前10层变成一个相当通用的视觉预处理器;
然后,冻结这10层,以高学习速率在新图像上仅对第11层进行重新训练。多年来,这种方法一直运转良好。
贝叶斯方法和深度学习方法有何异同?哪一种方法更可行?为什么?
施米德休伯:机器学习的优化版贝叶斯法在马库斯·胡特2002年提出的AIXI模型中得到了体现。他曾是我的博士后学生,现在是一名教授。任何计算问题都可以被表述为一个回报函数的大化问题。
AIXI模型基于所罗门诺夫的通用归纳模型M,其中包含了所有可计算的概率分布。如果世界对一些强化学习智能体行为的反应概率是可计算的(没有证据可以反驳这一点),那么该智能体就可能用M(而不是其他准确却未知的分布)来预测自己未来的感官输入和回报,它就可以通过选择使M预测回报大化的行为序列来实现行动的优化。
这或许可以被称为人工智能的统计学方法——它展示了可能性的数学极限。然而,AIXI的优化概念忽略了时间的计算,这就是我们为什么仍然在使用通用性较差但更可行的方法,比如基于局限性更强的本地搜索技术(如梯度下降法)的深度学习。
《科学》杂志上的那篇论文称,其结果“通过了视觉图灵测试”。图灵测试这种在半个多世纪以前提出的测试方法,至今仍然有效吗?
施米德休伯:跟我聊天的对象在我看来像是人类吗?如果像,那么它就通过了我个人的图灵测试。这种测试的主要问题在于,它的主观性太强,正如维森鲍姆几十年前所证明的那样。有一些人总比其他人更容易上当。
与DeepMind不解之缘
你对《自然》杂志上谷歌DeepMind关于AlphaGo的论文有何看法,它是一款击败了职业围棋选手的程序。AlphaGo算是这个领域的重大突破吗?是什么帮助AlphaGo取得了这样的成就?
施米德休伯:我对谷歌DeepMind的成功感到高兴,这也是因为该公司深受我以前学生的影响:在DeepMind初的四名成员中,有两人来自IDSIA,一位是联合创始人,另一位是DeepMind的首名员工,他们也是该公司早的人工智能学博士;后来,我的另外几位博士生也加入了DeepMind,其中一位曾在2010年与我联合发表了一篇关于“吃子棋”的论文。
在围棋这种棋盘游戏中,“马尔科夫假设”是成立的:原则上,当前的输入(即棋盘状态)包含了确定下一步佳行动所需的全部信息,不需要考虑之前的状态。
也就是说,该游戏可以通过传统的强化学习来处理。这有点像20年前的情形,当时IBM的特索罗利用强化学习从头学起,打造出一个可与人类世界匹敌的双陆棋程序。
然而,到了如今,我们从一个事实中受益良多:每单位成本计算机的速度至少比以前快1万倍。过去几年中,自动化的围棋程序已经得到极大的改进。为了学习成为一位的围棋选手,DeepMind的系统结合使用了多种传统方法,比如监督式学习(即向人类专家学习)以及基于蒙特卡洛树搜索的强化学习。
然而很可惜,“马尔科夫假设”的条件在现实世界的场景中并不成立。这就是为什么现实世界的游戏(比如足球)要比象棋或围棋更难,也正因为此,生活在部分可观测环境中的强化学习机器人的强人工智能,才需要更复杂的学习算法,比如针对递归神经网络的强化学习。
近,谷歌DeepMind宣布进军医疗市场,你对此有什么看法?施米德休伯:我们对深度学习在医疗领域的应用非常感兴趣。事实上,2012年时,IDSIA的团队就开发出了赢得医疗成像大赛的深度学习程序。
看到很多公司现在都将深度学习用于医疗成像和类似领域,我很高兴。全世界每年在医疗保健上的花费占到GDP总量的10%以上(每年超过7万亿美元),其中大部分是用于医疗诊断。
实现这个过程的部分自动化不仅可以省下数十亿美元的资金,还可以让很多目前无力负担费用的人享受到专家级的医疗诊断。在这种语境下,医院宝贵的资产也许是它们的数据——这就是为什么IBM会在一家收集此类数据的公司身上花费10亿美元。
你怎样看待IBM的新沃森物联网平台?人工智能在物联网领域有何潜力?对人工智能来说,“人工智能即服务”会成为一种有前景的趋势吗?
施米德休伯:物联网的规模会比人联网大得多,因为机器的数量远远多于人类。而且,很多机器的确会向其他机器提供“人工智能服务”。广告让人联网具有了商业化能力,但物联网的商业模式似乎没有那么明显。
机器还不能像人一样学习,但是快了
有人说,未来属于无监督式学习,你认同吗?施米德休伯:我会说,过去也属于无监督式学习,也就是在没有老师监督的情况下,检测所观察现象中的规律性,这本质上就是适应性的数据压缩,比如通过预测编码。我在25年前发表了这方面的篇论文——实际上,这篇论文在1991年催生出个可以运行的“极深学习程序”,它可以处理数百个后续计算层。机器可以像人类那样学习吗?
施米德休伯:目前还不能,但可能快了。

智能制造网APP
智能制造网手机站
智能制造网小程序
智能制造网官微
智能制造网服务号











智能控制
机器人
仪器仪表
物联网
3D打印
工业软件

预告

回放
回放



浙公网安备 33010602000006号
智能制造网APP
智能制造网小程序
微信公众号


