本篇文章4883字,读完约12分钟
本文由本智能实验室(公众号smartman163 )制造。 聚焦ai,阅读下一个大时代!
【本智能信1月12日消息】年后,深层神经互联网和机器学习将在更大的人工智能( ai )行业如何快速发展? 我们能在日常生活中开发越来越多的复杂机器来帮助人类吗? 这些都是普渡大学机器学习硬件教授尤金尼奥·克鲁赛罗( eugenio culurciello )关注的问题。 请注意,本文的重点不是对ai的预测,而是对行业快速发展的轨迹、趋势和技术诉求的详细分析,有助于创造更有用的ai。 当然,并不是所有的机器学习都和ai形成对比,还有其他容易实现的目标,所以仔细看看吧。
目标
ai行业的目标是通过机器实现人类和超人的能力,以便在日常生活中帮助我们。 自动驾驶车、智能家居、智能助手、安全摄像头是嵌入ai技术的最初目标,家常菜和扫地机器人、无人侦察机和机器人是第二次目标。 其他目标是移动设备上的助理,全职陪护助理(可以问问我们的生活经验)。 ai行业的终极目标是建立完全自主的合成实体,能够在日常工作中以相当于人的水平或超过人的水平行动。
软件
这里,将软件定义为在由优化算法训练过的神经因特网框架中处理特定的任务。 今天,神经互联网是处理问题的实际工具,其中包括基于大数据集的分类学习。 但是,这并不是所有的ai,在现实世界中,往往要求无监督学习和吸取以前从未见过的经验,将以前学到的知识结合起来应对现在的课题。
如何将现在的神经互联网发展为ai?
神经网络体系结构:几年前,神经网络体系结构迅速发展的时候,人们经常认为从数据中自动学习算法的参数具有很大的特点,比手工制作的算法更强大。 但是,我们忘记了“处理特定任务的训练基础”——神经互联网体系结构没有从数据中学习的小细节。 实际上,还是开发者的手动设计。 因此,现在已成为ai行业的首要限制之一。
但是,神经网络体系结构是学习算法的基本核心。 即使我们的学习算法能够掌握新的技能,如果神经互联网不正确,也不会得到正确的结果。 从数据中学习的神经互联网架构目前存在着用一个大数据集进行多架构实验消耗时间过长的问题。 必须从一开始就培训多个体系结构,以确保其最有效。 这就是我们今天采用的,非常耗时的试错过程! 我们应该克服这个限制,多思考这个重要问题。
无监督学习:我们不能总是介入神经网络,诱惑它们的全部体验。 不能在每个实例中进行修改或提供性能反馈。 我们的生活也将继续! 但是,这是我们今天利用被监控的神经互联网进行的。 我们将向每个实例提供帮助,确保它们正确执行。 相反,人类只有从少数例子中学习,才能通过连续的方法自我校正和学习更多复杂的数据。
神经网络预测:当前神经网络的首要限制之一是缺乏预测能力,这是人脑最重要的特征之一。 关于人脑是如何工作的首要理论之一是它有不断预测的,即预测代码。 仔细想想就知道我们每天都采用它。 你举起了自己认为轻的物体,但结果却很重。 如果你靠近,预测它会如何影响你和你的身体,或者整体环境,你会很惊讶。
预测不仅能让我们了解世界,还能知道我们什么时候应该了解它,什么时候应该学习。 事实上,为了避免下次再犯同样的错误,我们不知道也留下了震惊我们的事件新闻认识能力绝对与我们大脑的观察力机制有明显的关系:我们天生放弃99.9%的感觉输入,对我们的生存至关重要。 或者,在现代世界,我们匆忙离开家的时候,我的手机掉在哪里了? ? 建立预测神经互联网是我们与现实世界互动的核心,在许多复杂的环境中发挥作用。 因此,这是加强学习的核心互联网。
当前神经网络的局限性:不可预测、无法解释理由、暂时的不稳定性。 因为我们需要新的神经互联网。 神经互联网封装( neural network capsules )是处理目前神经互联网局限性的一种方法,但我认为它需要一些额外的优点。
1 )视频帧操作:这很简单。 因为需要在胶囊路由中显示最近的多个数据点。 这相当于在最近的重要数据点上构建相关存储器。 请注意,这些不是最近帧的最新表现,而是最新的不同表现。 通过只保留与预定义值不同的表示形式,可以得到不同副本的不同表示形式。 这个重要细节只允许保留最近历史上的相关情况,而不是一系列无用的相关数据点。
2 )预测神经网络的能力:这已经是动态路由的一部分,让各层预测下一层的表现。 这是一个非常强大的自我学习的极好方法,对我们来说,它胜过我们在社区迅速发展的所有其他非监督表现学习。 胶囊目前需要能够预测长时间的时空关系,但目前还没有实现。
持续学习:这非常重要。 因为神经互联网需要不断学习新的数据点来维持生存。 目前,神经互联网无法学习新的数据,每次都需要重新开始训练。 神经网络需要切实知道接受再培训的必要性和特定事件的事实。 这也需要在现实生活和强化学习任务中表现出来。 我们想让机器不要忘记旧任务,完成新任务。
迁移学习:就像学习如何烹饪新事物一样,教我们如何通过看视频来自学这些算法。 这是一种能力,上述所有要素都是必要的,对于加强学习也是非常重要的。 现在,你可以举个例子训练你的机器,做你想让它做的案子。 就像我们人类一样。
强化学习:这是一个深奥的神经网络研究的“圣杯”,教机器如何在真实的世界环境中学习! 这需要自学、持续学习和预测能力,还有很多我们不知道的事情。 虽然在强化学习行业需要了解很多事情,但是对我们来说只触及到了问题的表面。
强化学习一般被称为“蛋糕樱桃”,意思是塑料合成的大脑只是微不足道的训练。 但是,我们怎样才能得到“共同”的大脑,轻松处理所有的问题呢? 这是“先鸡还是先蛋”的问题! 今天,为了逐一处理强化学习的问题,需要采用标准的神经互联网。 接收大量数据输入(如视频和音频),然后压缩和显示。 是学习rnn等神经互联网,理解任务的序列。
这两个部分都是问题明显的解决方案,现在很明显是错误的,但这是现在可以使用的构造块,所以谁都采用。 这样的结果令人印象深刻。 我们可以从头学习电子游戏,掌握国际象棋、围棋等完全可以注意的游戏,当然,比起在许多复杂的世界里处理问题,这些都是小事。 请想象一下。 ai比人类更能玩“horizon zero dawn”。 我期待着这个。
但这是我们想看到的,是像我们人类一样运动的机器。 我们对强化学习的建议是使用可以连续操作的预测神经网络和联想存储器来记忆最近的经验。
越来越多的递归神经互联网( rnn ) :它们在并行化方面特别差,所以即使是特殊的定制机器也很慢。 因为内存带宽采用率高,内存带宽有限。 基于观察力的神经互联网可以更高效地进行培训和部署,在培训和部署方面的可扩展性很小。 在神经互联网上,观察力有可能真正改变多个体系结构,但它没有被认可。 联想与观察力的结合是下一个神经互联网快速发展的核心。 我们认识到,基于观察力的神经网络将取代基于rnn的语音识别,而在强化学习框架和通用人工智能中找到它们的方法。
新闻在分类神经互联网中的定位:实际上这已经是一个处理过的问题,将被纳入未来的神经互联网架构中。
硬件
深入学习硬件是进步的核心。 忘记2008-年深度学习的迅速扩大吧。 近年来的进步依赖于硬件。 在社会交流媒体的帮助下,所有手机廉价的图像传感器都能收集到巨大的数据集,但它只是次要的重要程度。 gpu可以加速深层神经互联网的训练。 过去两年,机器学习硬件发展迅速,特别是与深度神经互联网的硬件相比较。
几家公司分别是:英伟达、英特尔、纳米、视频、比特主、结构开、核心、深海、谷歌、地球、毛球、arm 重要的是提供最低功耗和最高的可测量性能,计算最近有用的神经互联网操作,而不是一秒钟的原始理论操作。 但是,在这个行业中,很少有人知道硬件是如何真正改变机器学习、神经网络和ai的,很少有人知道微芯片的重要性和开发方法。
培训或推理:多家公司制造提供神经互联网培训的微芯片。 这是为了得到英伟达市场的一部分,到目前为止的实际训练硬件。 但是,这种训练只占深层神经互联网应用的一小部分。 在每个培训步骤中,实际的应用程序有数百万个部署。 例如,云可以采用的目标是通过检测神经互联网,经过一次培训,现在可以在许多图像中采用。 但是,经过培训后,数百万计算机将可以用于数十亿的数据。
我在这里想说的是,与你采用的次数相比,培训硬件的重要性微乎其微,制作培训芯片组需要额外的硬件和额外的精彩方法。 这样,由于不是当前部署的最佳状态,因此同样的性能会消耗更高的电力。 虽然训练硬件非常重要,但是编写推理硬件很容易,但并不像许多人认为的那样重要。
应用程序:能够以更快、更低的功耗提供培训的硬件在该行业非常重要,因为它能够更快地创建和测试新的模型和应用程序。 但真正重要的一步是应用所需的硬件,首先是推理硬件。 今天,许多应用程序不能采用的原因不是软件而是硬件。 例如,我们的手机可以是基于语音的助手。 他现在是第二优秀的。 因为不能一直运转。 连我们的家庭助手都不能切断电源。 除非我们在周围安装越来越多的麦克风和设备,否则不能跟着我们。 但是,最大的应用可能是将手机画面从我们的生活中删除,并将其嵌入我们的视觉系统中。 如果没有非常高效的硬件,所有这一切和越来越多的应用都将成为可能。
胜者和败者:在硬件方面胜者是能够以最低功耗发挥更高性能、迅速将设备推向市场的企业。 想象用手机代替soc。 这种情况每年都发生。 现在,想象一下将神经网络加速器嵌入内存中。 这有可能更快地征服市场,并迅速渗透。 这就是我们所说的赢家。
应用程序
在上面的“目标”部分中,我们简要介绍了应用程序,但需要详细说明。 ai和神经互联网如何进入我们的日常生活? 这是我们的名单。
分类图像和视频:已存在于多个云服务中。 第一步是在智能照相机行业做同样的事,今天这里也有多家供应商。 神经网络硬件的赢家是删除云、本地解决更多数据、保护隐私和互联网带宽。
语音助手:它已经成为我们生活的一部分,可以用我们的智能设备播放音乐和控制基本设备。 但是,对话是基本的人类活动,我们经常认为这是理所当然的。 你能对话的小设备是正在发生的革命。 语音助手越来越好,可以提供更好的服务。 但是,他们还连接着电网,我们想要的真正的助理应该随时在我们身边。
手机怎么样?硬件在这里再次获胜。 因为这使上述期望成为可能。 alexa,cortana,siri一直陪伴着你。 手机很快就会成为你的智能家居设备。 这是高端智能手机的另一个胜利。 但是,我们希望它在我们的车里,和我们一起搬到城市里。 我们需要在当地解决语音,减少对云的支持。 隐私和带宽的价格日益增加。 硬件预计在1~2年内提供。
真正的智能助手:语音助手很棒,但我们真正想要的是能看到我们看到的东西的助手。 我们走的时候,它能分解我们的环境。 神经网络硬件将再次满足你的愿望。 分解视频非常昂贵,因为现在理论上限制了现在的硅硬件。 换句话说,要做的事件比做语音助手要难得多。 但是,这并非不可能。 虽然多个智能初创企业(如aipoly )已经拥有类似的软件,但是缺乏执行这些软件的强大硬件。 也要注意用可穿戴的玻璃设备代替手机屏幕真的会让助手成为我们的一部分。
烹饪机器人:下一个最大的设备是烹饪和清洁机器人。 这里可能马上就有硬件了,但很明显软件不足。 我们需要转移学习,不断学习和加强。 一切都像魔法一样。 因为每个菜谱都不一样,每个料理成分看起来都不一样。 我们不能把这些选项都硬编码。 我们真的需要一个可以学习和宣传这个的合成实体。 我们还很远,但不能很远。 如果以现在的速度前进,也许几年就能实现。 就像我这几年做的一样,我觉得这些都可以实现。
(选择: towardsdatascience作者: eugenio culurciello编译:本智能参与:小原文链接: Towardsdatascience/Artificial-Inteligence-ai-)
来源:安莎通讯社
标题:“2018年以后的人工智能软硬件和应用将怎么快速发展?”
地址:http://www.a0bm.com/new/19752.html