广东会登陆页面>澳门广东会贵宾厅app>大宝lg游戏中心_AI大佬“互怼”:Bengio和Gary Marcus隔空对谈深度学习发展现状

大宝lg游戏中心_AI大佬“互怼”:Bengio和Gary Marcus隔空对谈深度学习发展现状

2020-01-09 10:50:03

大宝lg游戏中心_AI大佬“互怼”:Bengio和Gary Marcus隔空对谈深度学习发展现状

大宝lg游戏中心,编译 | ai科技大本营编辑部

出品 | ai科技大本营(id:rgznai100)

去年以来,由于纽约大学教授 gary marcus 对深度学习批评,导致他在社交媒体上与许多知名的 ai 研究人员如 facebook 首席 ai 科学家 yann lecun 进行了一场论战。

不止 lecun ,他还对另一深度学习大牛 yoshua bengio 的相关观点进行了反驳。近期,由于bengio 对外强调深度学习的下一步研究方向时(见文章《图灵奖得主bengio再次警示:可解释因果关系是深度学习发展的当务之急》),gary marcus 同样表达了不同的观点。

10 月 11日,yoshua bengio 在 facebook 予以回应,两人就 ai 和深度学习的发展现状进行了一来一回的“互怼”。

gary marcus喜欢在我谈论我目前的研究计划时引用我的观点,该计划谈到了研究深度学习系统的弱点, 以便在更高水平认知和更大组合(和系统)泛化中建立更强的系统, 包括处理因果关系和推理。他不同意yann lecun, geofrey hinton和我说过的观点,即神经网络确实可以成为计算机中整合更多认知能力的一个"通用溶剂(universal solvent)"。

他更喜欢把深度学习局限于感知, 并需要与符号处理相结合,我有点不同意这种观点。我同意gofai的目标是重要的(就像有能力执行系统2认知的顺序推理特征) ,但我相信, 他们可以在保持深度学习框架的同时完成这些目标,尽管该框架大量使用了注意力机制(我的“意识先验”研究计划)以及新架构(例如模块化)和训练框架(例如元学习)。

我敢打赌的是, 将深度网络的输出离散化然后传递到gofai符号处理系统的简单结合将不会奏效。为什么? 有很多原因:(1)你需要在系统2和系统1中进行学习, (2)你还需要在其中表示不确定性,(3)蛮力搜索(符号处理系统的主要推理工具)无法scale, 而是人类使用无意识(系统1)进行处理, 以指导涉及推理的搜索, 所以系统1和系统2非常紧密地集合在一起, (4)你的大脑一直是一个神经网络。

10 月 13 日,gary marcus 在 medium 上发布了给 bengio 的公开信长文,他从观点一致(agreements)、分歧(disagreements)、鸿沟(gaps)、争论(bones to pick)四个方面表达了他的观点。他表示,他们俩人观点相同多于观点相左俩人,但无论观点一致还是存有分歧,他希望他们的争论能够对 ai 领域发展带来启发。

以下为公开信全文,ai科技大本营(id:rgznai100)编译:

亲爱的yoshua:

感谢你在 facebook 上做出的回应,我在这份信中引用了那段文字,并表达我自己对它的想法。感谢你抽出宝贵时间关注这些问题。

我认为,你与我的观点相同多于观点相左,并且和你一样,我也希望我们的意见和分歧能够让这个领域受益。

你似乎认为我在提倡一种“简单混合的方法,将深度学习网络的输出结果离散化然后传递给 gofai符号处理系统”,但我从未提出过类似的观点。我全力支持混合方式,但我认为我们需要一些更精妙的东西,我也从不认为处理的核心是 gofai 的观点。相反,davis 和我最近在书“常识与认知”章节中也对此提出了质疑,我们提出了一种超越现有 gofai 和深度学习的简单组合的混合方法。我同意我们需要比 gofai 更丰富的、不确定性的概念,同时也和你一样认为需要将更多的学习纳入 system 2,但我个人不认为深度学习适合于此。

也就是说,我认为符号处理技术是至关重要的,我想你低估了它的价值。

首先,世界上的很多知识都是通过符号表达的,(如整个互联网上的非结构化文本),当前基于深度学习的系统并没有充分利用知识。我可以告诉孩子“斑马是一种有条纹的马”,他们可以在一次试验中就获得这一知识,并把它与他们的感知系统结合起来。而现在的系统无法做到。

如果没有某种符号系统,我不知道有什么好方法做自然语言理解,因为这似乎忽略了认知科学(语言学)的整个领域。虽然深度学习在机器翻译领域中取得了长足进展,但在智能对话领域做的并不够好。

老实说,我看不出有什么原则性的理由将符号系统排除在通用人工智能的工具之外;你当然也没这样说。但市面上的软件绝大部分仍然由符号代码组成,为什么你会希望将如此明显有价值的工具排除在实现通用人工智能的方法之外?

我认为你高估了一站式购物的概念。当然,如果能有一个单一的架构可以实现所有的认知是很好的,但是我认为这种期望是不现实的。认知/通用智能是由许多不同挑战组成的多维事物。现成的深度学习非常擅长感知分类,这是任何智能生物都可以做的一件事,但不太适合(目前构成的)其他性质迥异的问题。将一组实体映射到一组预先确定的类别上(正如深度学习所做的那样)并不等同于从无限数量的句子中生成新的解释,也不等同于制定一个跨越多个时间尺度的计划。我们没有特别的理由认为深度学习可以很好地解决后两类问题,也不必认为每个问题都是相同的。

在生物学中,像人类这样复杂的生物,我们会发现许多不同的大脑区域,有着微妙不同的基因表达模式;大多数解决问题的方法都依赖于神经体系结构的不同子集,这些子集非常适合这些问题的性质。在具有不同计算强度的系统之间选通似乎是人类智能的本质;在我看来,期望复制完整的体系结构似乎是不切实际的。

在你的此前回应结尾处,你似乎暗示着由于大脑是一个神经网络,我们可以推断出它不是一个符号操纵系统。但是,我们不知道大脑是哪种神经网络,并且我们从各种证据中知道神经网络可以(例如)直接实现(符号操纵)图灵机。我们也知道,人类可以被训练成为符号操纵者。每当受过训练的人员进行逻辑、代数或物理学等工作时,很明显,人脑(未知结构的神经网络)可以进行一些符号操作。真正的问题是,它有多重要?它如何在大脑中实现?

你对“神经网络”和“深度学习”有些含糊其辞。我不认为两者是相同的概念,我认为深度学习只是构建和训练神经网络的一种方式,但并不是唯一一种。它和人类大脑的工作方式相关,与未来合称神经网络的工作方式相关。fodor and pylyshyn在实现连接主义(主张使用神经网络构建图灵机器)和消除连接主义(eliminative connectionist,旨在构建不仅使用符号操作系统构建神经网络)两者间做了明确的区分。我不怀疑任何对人工智能的方式都可以在神经网络中实现,问题的关键是“神经网络的本质是什么”。这30年来,我一直坚称,一个可以成功获取一般智力的神经网络需要包括对变量的操作,就像最近一些可微编程所做的一些工作,而并非是一个简单多层感知机所做的事情。

我觉得你关注的因果关系太狭隘了。对一个因素对另一因素的影响程度进行定量估计是重要的,但也要有能得出因果推论的机制。例如,如何理解奶酪切丝器的哪一部分负责刨丝,刨丝器上孔的形状如何与奶酪屑之间有何关系?仅仅指出孔洞和磨碎的奶酪间的某关联程度是不够的。这里可能需要结合某种更丰富的符号处理系统,比如函数和你现在所从事的工作,用来表示抽象的概念。

鸿沟

你实际上并没有说出你对建立先验知识想法的看法。对我来说,这个问题绝对是核心问题,但它在最新的深度学习研究中被忽略了。 我对你的先天(innateness)知识的看法以及你是否认为向深度学习加入更多的先验知识成为向前发展的重要组成部分感到好奇。

争论

有时你误解了我,我认为如果你能对我的实际立场做出回应,对话将会得到改善,这好过于误解。举个例子,你似乎没有意识到 rebooting ai 需要做很多你做过的事情。你这样说:

一个简单的混合,其中的输出是离散的深度网络,然后传递到一个gofai符号处理系统将不会有效果。为什么?有很多原因:1、你需要在系统2和系统1进行学习,(2)你还需要表现出不确定性……”

实际上,ernie davis 和我有同样的观点:

“……手动编码机器需要知道的所有东西可能是不现实的。机器将需要自己学习很多东西。我们可能想要“手动编码”锋利的硬刀片来切割柔软的材料,但人工智能应该能够基于这一知识,学习刀、割草机和搅拌机的工作原理,但不需要对这些机器进行手动编码。”

关于第二点,我们也强调了不确定性和gofai的弱点:

“我们一直在讨论的那种逻辑只有一件事做得很好:它允许我们获取我们确定的知识,并使用总是有效的规则来演绎我们也确信的新知识。如果我们完全确定 ida 拥有一部 iphone,而且我们确定苹果生产 iphone,那么我们就可以确定ida拥有苹果生产的产品。但生活中有什么是绝对确定的呢?

正如罗素所说:“人类所有的知识都是不确定的、不精确的、片面的。”然而,我们人类总有办法做到。当机器最终能做同样的事情,想人类那样流畅、灵活、有力地表示和推理不确定、不准确、不完整的知识,广义的人工智能将最终出现。”

我真诚地感谢你在facebook上的回应;有时我真希望你能引用我的研究,而它能清晰预示你自己的研究。举个例子,在最近的一篇arxiv论文中,在没有引用的情况下,通过关注这个问题来开启你的论文:

“当前的机器学习方法在需要在训练分布之外泛化时显得很弱……从与训练数据相同的分布中采样的测试集上获得良好的泛化能力是不够的”。

这个挑战正是我在1998年所写的:

当前流行的消除连接主义(eliminative connectionist)模型无法将共性扩展到训练空间之外。

这是2001年《代数思维》第三章的中心内容:

多层感知机不能将[某类通用量化的函数]推广到训练空间之外。在某些情况下,人类似乎可以自由地从受限制的数据中进行归纳,(在这些情况下)通过反向传播训练的某一类多层感知机是不合适的。

我曾多次在公开场合和私下里试图提醒你注意这一预想,但你从未回应或引用过这一工作,即使我试图提醒你要注意的观点已日益成为你的研究框架的核心。

尽管存在这些分歧,我仍然是你的粉丝,这既因为你一贯的、卓越的研究品质,也是因为你诚实且正直地承认了近年来深度学习的局限性。我也很欣赏你将人工智能应用于更伟大的人类福祉的方式,并真诚地希望更多的人将你作为榜样。

如果你能把因果关系,比如人类表达因果关系的丰富形式引入到深度学习中,那将是对一般人工智能真正持久的贡献。我期待着你下一步的研究工作,并希望当我下次在蒙特利尔时有机会拜访你。

祝好,

gary marcus

https://medium.com/@garymarcus/the-current-state-of-ai-and-deep-learning-a-reply-to-yoshua-bengio-77952ead7970

https://medium.com/@garymarcus/bengio-v-marcus-and-the-past-present-and-future-of-neural-network-models-of-language-b4f795ff352b

(*本文为 ai科技大本营编译文章,转载请微信联系 1092722531)

2019 中国大数据技术大会(bdtc)再度来袭!豪华主席阵容及百位技术专家齐聚,15 场精选专题技术和行业论坛,超强干货+技术剖析+行业实践立体解读,深入解析热门技术在行业中的实践落地。

中国一分彩

随机新闻
  • 买房时要避开哪些小区周边配套?你知道吗

    以上就是关于买房时要避开哪些小区周边配套的相关内容,购房者买房后可能会在房屋立面居住好几十年,因此在选择小区环境的时候一定要擦亮眼睛,小区周边配套设施对于购房者来说也是很重要的,而学会分辨小区周边配套的好坏,对于每一个将要买房的人来说都是至关重要的。

    2019-12-30 11:33:49

  • 广州开发区:先行先试助力“中小企业办大事”

    “中小企业能办大事”已成为践行绿色发展理念的标杆。黄埔区、广州开发区成为培育“隐形冠军”的创新工场。黄埔区、广州开发区成为广州市民营及中小企业上市挂牌企业最集中、资本运作最活跃的地区。作为全国唯一经国务院批准设立的知识产权运用和保护综合改革试验区,黄埔区、广州开发区设立知识产权质押融资风险补偿资金池,探索设立知识产权银行,推出全国首支纯专利权知识产权证券化产品,为企业提供“全链条”服务。

    2019-12-25 13:50:48

  • 淳安9岁女孩被租客带走 260多人参与海陆搜救

    淳安9岁女孩被住了五天的租客带走两租客事后在宁波跳湖自杀,孩子至今下落不明他们为什么要带走女孩现场几百人搜救女孩,昨晚8点半因为天色已晚和潮水上涨,搜救暂停。孩子父亲章先生从电话中得知租客要带走女儿,表示不同意。两名租客的自杀令人震惊和不安。在一处凉亭发现孩子的市民卡260多人参与海陆搜救章子欣最后出现的监控画面,就在象山。

    2019-12-25 09:14:18

  • 温州女孩远嫁天津遇害 男方亲属回应称相信警方

    8月9日,乐清女子嫁到天津后遇害案件引发社会关注。女子何佩霜2018年10月在天津遇害后被焚尸。女方家属发帖称在审理阶段才得知凶手系男方员工的丈夫。记者实地探访男方此前经营的店铺,附近店铺老板称凶手妻子在案发当日还在工作。男方父亲郑先生回应记者称其目前无法解释亲家的疑问,相信警察和法律会最终给出答案。

    2019-12-23 16:39:19

  • 人民日报:虚假落实现象仍然屡见不鲜、屡禁不止

    但从前一段中央纪委公开曝光的案例看,“照搬照抄上级文件下发工作方案”“对解决群众反映强烈问题不担当不作为、消极应付”“对工作不抓落实、只当‘二传手’”等等,这类虚假落实现象仍然屡见不鲜、屡禁不止。而从一些公开的违纪违法案件看,一些问题之所以久拖不决、久落不实,一个重要原因还在于其中关涉利益,甚至存在腐败问题。天下事,以实则治,以文则不治。事业要的是实实在在的成果,群众要的是真真切切的获得感。

    2019-12-25 12:20:36

Copyright 2018-2019 jtmakeupart.com 广东会登陆页面 Inc. All Rights Reserved.