Hinton 最新研究：人脑的未来是前向-前向算法

平台的启动时传扬竞争数值。

而 Hinton 的观点是，除此以外相符非二阶的人工神经网络平台不均能够苦于精进努力学习。

FF 二阶在偏高速上可与启动时传扬比肩，其优点是可以在以前向计数正确具体相符的情形进行时适用，还可以在人工神经网络平台对左至右统计数据进行时管道处理每一次时进行时努力学习，均能够加载神经社交活动或暂时中止传扬规范顶多内积场。

不过，在功率受限的不应用领域内都面，FF 二阶还未能过渡到启动时传扬，比如对于在超强大统计数据集上专业训练的超强大数论方法，也还是以启动时传扬都以。

以前向-以前向二阶

以前向-以前向二阶是一种狂妄的多层努力学习服务器端，其灵感来自惠勒本机和频谱对比有约。

用两个以前向传扬只用启动时传扬的以前向+后向传扬，两个以前向传扬在各不相同统计数据和忽略期望上，以完数有相近的方式也彼此加载。其内都面，亦然向闸口对真实在世界上统计数据进行时加载，并更改加权以缩减每个隐秘层的游戏内，启动时闸口更改 "输统计数据 "加权以缩减每个隐秘层的游戏内。

本文概述了两种各不相同的取值规范——神经社交活动的平方之和，以及输社交活动的平方之和。

假分设某层的优度数值是该层内都面经过绕组的二阶皮质社交活动的乘积，努力学习意在是使其优度数倍较偏高于真实在世界上统计数据的某个持续性、并数倍偏高于输统计数据的持续性。也即是却说，在读写内积亦然确归纳为亦然统计数据或输统计数据时，读写内积为亦然（即真实在世界上）的几率，可通过将语义数值 σ 不应用领域作优度乘上某个持续性 θ：

其内都面，是层初始值以前隐秘两节 j 的社交活动。输统计数据可由人工神经网络平台左至右联接进行时分析，也可由直接共享。

适用三道缩减工作效率数值努力学习多层却说明

很易于看造出，可以通过使隐秘两节的社交活动乘积，对亦然统计数据较偏高而对输统计数据偏高来努力学习单个隐秘层。但当第一个隐秘层社交活动被主要用途第二个隐秘层的读写时，数均需适用第一个隐秘层的社交活动矢量较宽，即可自始定亦然输统计数据，均能够努力学习一新的特点。

为消除这种具体情况，FF 在将隐秘内积较宽作为下一层的读写以前，可能会对其进行时初始值，删进去所有主要用途确认第一个隐秘层内都面的讯息，从而迫使下个隐秘层适用第一个隐秘层内都面皮质的相对社交活动讯息，该相对社交活动不受层规范化的制约。

也即是却说，第一个隐秘层的社交活动内积不具一个较宽和一个正向，较宽主要用途定义该层的良性，只有正向被传导到下一层。

2有关 FF 二阶的宇宙学启动时传扬基线

文内都面数有宇宙学适用了书本小数的 MNIST 统计数据集：50000 个主要用途专业训练，10000 个主要用途搜索不错超强数值期有数的验证，10000 张主要用途计数检验阈值。经分外观设计后具几个隐秘层的卷积人工神经网络平台所得共约 0.6% 的检验规范顶多。

在目标 "排列保持稳定 "从新版内都面，人工神经网络平台未获取有关缩放空有数布局的讯息，若专业训练开始以前，所有专业训练和测打算要像都受相近缩放随本机个体差异制约，那么人工神经网络平台的平庸也可能会同样不错。

对于这个目标“排列保持稳定”从新版，区别于几个数有联接隐层的绕组二阶两节（ReLU）的以前馈人工神经网络平台检验规范顶多大共约在 1.4%，其内都面大共约均能够20个 epochs 来专业训练。适用各种亦然则器如 dropout（减缓专业训练偏高速）或表单平滑（放缓专业训练偏高速），可将检验规范顶多降至 1.1% 大共约。此外，还可通过将表单的指派努力学习与无指派努力学习相结合来进一步减缓检验规范顶多。

在不适用有用的亦然则化器的情形，目标“排列保持稳定”从新版的检验规范顶多为 1.4%，这指出了其努力学习每一次与启动时传扬一样适当。

上图1：主要用途输统计数据的混合投影

无指派 FF 二阶

FF 有两个主要原因均能够问：如果有不错的输统计数据来引，它究竟可能会努力学习适当的多层却说明来脱逃嵌套？输统计数据从何而来？

可先适用手工输统计数据来问第一个原因。将对比努力学习主要用途指派努力学习目标的常见作法是，在不适用任何有关表单讯息的情形，将读写内积匹配成为却说明内积，努力学习将这些却说明内积简马上二阶变换为适用的 logits 内积，在 softmax 内都面用来确认表单的几率特有种。尽管具突出的非二阶，但这仍被称为二阶归纳器，当内都面 logits 内积的二阶变换努力学习是有指派的，因不无关努力学习任何隐秘层，均能够内积场的启动时传扬。FF 可通过适用真实在世界上统计数据内积作为亦然例、并适用损坏的统计数据内积作为输例来可执行该关的努力学习。

为使 FF 专注关的外观投影的经常性相关性，我们均能够创建人具各不相同经常性相关性、但近乎为相像的短期相关性的输统计数据，这可以通过创建人一个除此以外很大的 1 和 0 周围的掩码来启动。之后通过将一个小数投影与掩码累加，为输统计数据创建人混合投影和一个各不相同的小数投影来乘以掩码的反面（上图 1）。

通过随本机位上图开始创建人蒙版，在水平和向上正向上适用[1/4, 1/2, 1/4]形式的过滤器反复模糊投影，经反复模糊的投影持续性分设为 0.5。在适用四个隐秘层（每个隐秘层除此以外 2000 个 ReLU）专业训练 100 个 epochs 后，若适用仍要三个隐秘层的初始值社交活动内积作为 softmax 读写，可获取检验规范顶多为1.37%。

此外，不适用完数有联接层、而适用大面积放弃域（未加权包涵）可以缩减效能，专业训练 60 个 epochs 的检验规范顶多为 1.16%，该Core适用的 "对等初始值"可消除任何隐秘两节以致于活跃或永久关闭。

指派努力学习 FF 二阶

在不适用任何表单讯息的情形努力学习隐秘关的，对最终也许够可执行各种目标的大数论方法来却说近乎为明智：无指派努力学习浓缩了一大堆特点供各目标适用。但如果只对单目标很感兴趣，并打算适用一个小数论方法，那么指派努力学习可能会来得适合。

指派努力学习内都面适用 FF 的一种作法是在读写内都面除此以外表单，亦然统计数据由具亦然确表单的投影均是由，而输统计数据由具出错表单的投影均是由，表单是二者有数的唯一区别，FF 可能会忽略投影内都面与表单不相关的所有特点。

MNIST 投影内都面除此以外有黑色边框，可减轻卷积人工神经网络平台的临时工压力。当适用表单的 N 个关的内都面的一个来替换以前 10 个缩放时，第一个隐秘层努力学习具体也可能会轻易显现。一个有 4 隐秘层的网络平台内都面，每个隐秘层除此以外 2000 个 ReLU，层与层密切关系的完数有联接在 60 个 epochs 后，经 MNIST 其检验规范顶多为 1.36%，启动时传扬要达到该检验效能均能够大共约 20 个 epochs。将 FF 努力学习率这样一来并专业训练 40 个 epochs，可获取近于顶多的检验规范顶多，为 1.46% 。

适用 FF 专业训练后，通过从除此以外检验小数和由 10 个 0.1 条目均是由的内都面性表单的读写开始，由网络平台进行时一次以前向传导来对检验小数进行时归纳，之后，除第一个隐秘层外，其他所有隐秘社交活动主要用途在专业训练期有数努力学习的 softmax 读写，这是一种更快次优的投影归纳作法。很好的方式也是适用特定表单作为读写的一部分来试运行网络平台，并积聚除第一个隐秘层以外的所有层的优点，在分别对每个表单可执行此加载后，并不均能够具最偏高翻倍优度的表单。在专业训练每一次内都面，来自内都面性表单的以前向传导被主要用途选取硬输表单，这使得专业训练均能够共约⅓ 的 epochs 。

通过每个正向将投影上会多于的两个缩放主要用途缩减专业训练统计数据，从而为每个投影拿到 25 种各不相同的反向，当内都面适用了缩放空有数布局的科学知识，使其才会是排列保持稳定的。这种用增强统计数据专业训练同个网络平台 500 个 epochs，检验规范顶多可达到 0.64%，类似用启动时传扬专业训练的卷积人工神经网络平台。如上图 2，我们也在第一个隐秘层内都面获取了有趣的大面积域。

上图 2：在上会 MNIST 上专业训练的网络平台第一个隐秘层内都面 100 个皮质的大面积域，类表单推测在每张投影以前 10 个缩放内都面

适用 FF 演示左至右的无意识效不应

现阶段性，所有投影归纳案例都适用了一次努力学习一层的以前馈人工神经网络平台，这并不一定在后面层内都面见识的东西不作能会制约以右边层的努力学习。这与启动时传扬相对确实是个主要关键时刻，克服这种突出受限的这两项是，将模板投影看来作相当无聊的截上图，由多层递归人工神经网络平台处理每一次。

FF 对亦然统计数据和输统计数据都在时有数上向以前试运行，但每层社交活动内积由上一层和下一层在以前一个 time-steps 的初始值社交活动内积确认（上图 3）。对这种作法究竟适当进行时进一步检查，可以适用由模板 MNIST 投影均是由的“截上图”读写，该投影在每个时有数帧内都面简马上反复，底层是缩放投影，顶层是小数类的 N 个关的之一，有两个或三个内都面有数层，每层有 2000 个皮质。

在进一步宇宙学内都面，循环系统网络平台试运行了 10 个 time-steps，每个 time-steps 的偶数层根据奇数层的一个国际标准社交活动进行时可不览的，奇数层根据一新的一个国际标准社交活动可不览的，其断断续续可不览的用以尽量避免疾患波动，但现阶段性确实并不均能够：在却是制动器的情形，基于以前一个 time-steps 初始值精神状态，所有隐秘层的该系统可不览的努力学习效果略好，这对不规则Core而言是有益的。因此，该处宇宙学适用了该系统可不览的，一新的可不初始值精神状态被分设为上个可不初始值精神状态的 0.3 ，加上了计数一新精神状态的 0.7。

上图 3：主要用途处理每一次截上图的循环系统网络平台

如上图 3，网络平台在 MNIST 上专业训练 60 个 epochs，对每个投影的隐秘层通过一次一个大传导进行时初始化。

此后，网络平台试运行 8 次区别于制动器的该系统正则表达式，通过对 10 个表单内都面的每个表单试运行 8 次正则表达式，并并不均能够在第 3 到 5 次正则表达式内都面最偏高优度最偏高的表单来评估网络平台的检验统计数据效能，检验规范顶多为 1.31%。输统计数据通过网络平台一次以前向传导以拿到所有类型的几率，根据几率按存量在不亦然确的类型有数进行时并不均能够匹配成成，从而缩减专业训练工作效率。

适用空有小数符串的分析

循环系统网络平台内都面，其期望是一时间亦然统计数据的下层读写和下层的读写有数保持不错的某种程度，而输统计数据的某种程度坏。具空有数大面积网络连接的网络平台内都面不具一个理打算的本体：左至右的读写将由投影来得大的周围提议，并且有来得多处理每一次阶段性的结果，因此它可以被看来作对投影的小写字母串分析，也即是基于投影大面积域一个大的读写所不应产造出的结果。

如果读写随时有数叠加，左至右的读写可能会基于较从新的读写统计数据，因此须要努力学习分析一个大读写的关的。当我们反转期望数值的符号，并针对亦然统计数据进行时偏高平方社交活动，左至右的读写不应学可能会去除亦然统计数据的一个大读写，这样也许与分析编码十分相像。层规范化并不一定即使更改临时工得不太好，大量讯息也可能会被推送下一层，如果所有分析规范顶多都很小，则可能会被初始值匹配成。

适用小写字母串分析作为大面积特点并浓缩教学内容信号努力学习的打二阶经常性存在，但难点在于，如何在适用空有小数符串、而非单侧时有小数符串的人工神经网络平台内都面临时工。适用左至右和一个大读写的共识作为左至右和一个大加权的教学内容信号，这种作法突出可能会加剧覆灭，而适用其他投影的小写字母串分析来创建人输数对的原因也未完数有消除。其内都面，适用输统计数据而不是任何输内部关的确实是这两项。

CIFAR-10 统计数据集检验

Hinton 接着在 CIFAR‑10 统计数据集上检验了 FF 二阶的效能，不可否认 FF 专业训练造出的网络平台在效能上并不必够媲美启动时传扬。

该统计数据集有 50,000 张 32x32 的专业训练投影，每个缩放具三个颜色闸口，因此，每个投影都有 3072 个维度。由于这些投影的背景有用且移动性MA，并且在专业训练统计数据很依赖于的情形不会不太好地建模，除非隐秘层近乎为小，否则除此以外两到三个隐秘层的数有联接网络平台在适用启动时传扬进行时专业训练时可能会严重过拟合，因此，现阶段性几乎所有数据分析的结果都是针对卷积网络平台的。

启动时传扬和 FF 都是用加权衰减来缩减过拟合，Hinton 对两种作法专业训练的网络平台效能进行时了较为。对于 FF 专业训练的网络平台，检验作法是适用单个以前向传扬，或者让网络平台对投影和 10 个表单内都面的每一个试运行 10 次正则表达式，并在第 4 到 6 次正则表达式内都面翻倍表单的热量（即当基于优度的出错最偏高时）。

结果，虽然 FF 的检验效能比启动时传扬顶多，但只近于微顶多了一点。同时，二者有数的顶多距不作能会随着隐秘层的缩减而缩减。不过，启动时传扬可以较快地缩减专业训练规范顶多。

另外，在脱氧核糖核酸努力学习上，Hinton 也通过分析脱氧核糖核酸内都面下一个小写字母的目标不可否认用 FF 专业训练的网络平台比启动时传扬来得好。用 FF 专业训练的网络平台可以匹配成成自己的输统计数据，来得符合生物学。

3FF 二阶与惠勒本机、GAN、SimCLR 的关系

Hinton 进一步将 FF 二阶与其他已是的对比努力学习作法来作了对比。他的结论是：

FF 是对惠勒本机和简马上的大面积优度数值的结合；

FF 不均能够启动时传扬来努力学习归纳数论方法和匹配成成数论方法，因此是 GAN 的一个特例；

在真实在世界上的人工神经网络平台内都面，与 SimCLR 这类自指派对比作法相对，FF 并不必够来得好地量化两种各不相同却说明密切关系的某种程度。

FF 吸取了惠勒本机的对比努力学习

在 20 世纪 80 二十世纪初期，最深处人工神经网络平台有两种最被看好的努力学习作法，一个是启动时传扬，另一个马上是来作无指派对比努力学习的惠勒本机（Boltzmann Machines）。

惠勒本机是一个随本机二元皮质网络平台，具成对联接，在两个正向上具相近的加权。当它在未直接读写的情形公民权利试运行时，惠勒本机通过将其分设为开启精神状态来反复可不览的每个二元皮质，其几率等于它从其他社交活动皮质接收到的总读写的语义。这个简马上的可不览的每一次最终从均衡特有种内都面滤波，其内都面每个数有局配备（将二进制精神状态相不应给所有皮质）具与其输热量成存量的倍数几率。输热量只是该配备内都面所有皮质对密切关系加权的翻倍。

惠勒本机内都面的皮质开集是“可见的”，二进制统计数据内积通过将它们穿孔在可见皮质上展现给网络平台，然后让它反复可不览的其余隐秘皮质的精神状态。惠勒本机器努力学习的意在是使网络平台试运行时可见皮质上二元内积的特有种与统计数据特有种公民权利并不一定。

最一时间人惊讶的是，公民权利试运行的惠勒本机在热均衡时，可见皮质上推测的统计数据特有种和数论方法特有种密切关系的 Kullback-Liebler 散度具一个近乎为简马上的内积场（对于任何加权）：

其内都面尖括号却说明对热均衡时随本机波动的期望以及第一项的统计数据。

这个结果意打算不到的之外在于，它计数造出来了网络平台深处加权的内积场，而均能够显式传扬规范顶多内积场。它在知觉和睡眠中两个各不相同阶段性传扬神经社交活动。

但是，要在数论上使得努力学习规则最够含蓄，代价可能会近乎为较偏高。它均能够一个最深处惠勒本机来接近其均衡特有种，那么它就不会作为一种切合实际的本机器努力学习电子技术，作为一种脑干努力学习数论方法也不作信：因为大型网络平台在无意识每一次内都面未时有数接近其均衡特有种。而且，未论据指出脑干联接的具体对称性，也未突出的作法来努力学习脱氧核糖核酸。此外，如果加权的许多亦然可不览的后跟随着大量输可不览的，且输阶段性对不应于更快眼动睡眠中，那惠勒本机器努力学习服务器端就可能会惨败。

但尽管存在以上不同之处，惠勒本机仍是一种很聪明的努力学习作法，因为它用两个临时工定律相近但在可见皮质上具各不相同边自始以前提的正则表达式分设（即受限在统计数据上 vs. 拒不受限），过渡到了启动时传扬的以前向和后向传导。

惠勒本机可以看作是两种思打算的结合：

通过这样一来真实在世界上统计数据上的公民权利能（free energy）和举例来却说输统计数据上的公民权利能来努力学习网络平台本身去除的统计数据。

适用 Hopfield 热量作为热量数值，并适用反复随本机可不览的从热量数值定义的惠勒特有种内都面滤波数有局配备。

第一种关于对比努力学习的思路可以与许多其他热量数值朋友们适用。例如，适用以前馈人工神经网络平台的匹配器来定义热量，然后通过该网络平台适用启动时传扬来计数热量对加权和可见精神状态的内积场。然后通过跟踪热量对可见精神状态的内积场来匹配成成输统计数据。另外，输统计数据不须通过从热量数值定义的惠勒特有种内都面滤波统计数据内积来去除，不从均衡特有种内都面滤波，也能缩减具单个隐秘层的惠勒本机的努力学习工作效率。

在 Hinton 也许，等式 2 的数论含蓄性以及随本机可不览的每一次对所有也许的隐秘配备来作量化积分，这个每一次也许近乎为雅致，所以，用只均能够传扬神经社交活动的两个消除建议来只用启动时传扬的以前向+启动时传扬这种打二阶，一直与马尔可夫链蒙特卡罗（Markov Chain Monte Carlo）的有用度纠缠在朋友们。

简马上的大面积优度数值比二元随本机皮质网络平台的公民权利能来得易于处理每一次， FF 则对惠勒本机的对比努力学习与这种数值来作了结合。

FF 是 GAN 的特例

GAN（匹配成成敌对网络平台）适用多层人工神经网络平台匹配成成统计数据，并适用多层归纳网络平台来专业训练其匹配成成数论方法，使其近似于匹配成成数论方法匹配器计数造出来内积场，且该内积场是真实在世界上统计数据而非匹配成成统计数据的几率

GAN 根本不会专业训练，因为归纳数论方法和匹配成成数论方法相互敌对。GAN 能匹配成成近乎为漂亮的投影，但可能会所致了的系统覆灭的毛病：也许可能会存在广阔从不匹配成成示例的投影空有数周围。而且它适用启动时传扬来适不应每个网络平台，因此我们根本不会看造出如何在皮质内都面发挥作用它们。

FF 可以看作是 GAN 的一个特例，其内都面归纳网络平台的每个隐秘层对读写的亦然输可能会自己来作贪心权衡，因此不均能够启动时传扬来努力学习归纳数论方法和匹配成成数论方法，因为它不是努力学习自己的隐秘却说明，而是重用归纳数论方法努力学习的却说明。

匹配成成数论方法唯一均能够努力学习的是如何将这些隐秘的却说明匹配为匹配成成的统计数据，如果适用二阶变换来计数 softmax 的倍数，则不均能够启动时传扬。对两个数论方法适用相近的隐秘却说明的一个优点，是它去除了当一个数论方法近似于另一个数论方法努力学习短时间时造出现的原因，还尽量避免了的系统覆灭。

FF 比 SimCLR 来得易于量化某种程度

像 SimCLR 这类自指派对比作法，是通过缩减工作效率一个期望数值来努力学习，该数值并不必够支持对同一投影的两种各不相同纹路的却说明密切关系的某种程度，以及来自两幅各不相同投影的纹路的却说明密切关系的不某种程度。

这类作法一般而言适用许多层来浓缩纹路的却说明，并通过启动时传扬期望数值的内积场来专业训练这些层。如果两种纹路只不过以完数有相近的方式也重叠，它们就都因，因为这样它们就可以简马上地报告包涵缩放的较偏高强度并拿到真正的某种程度。

但在真实在世界上的人工神经网络平台内都面，测量两个各不相同却说明密切关系的某种程度并非易却说，且不想切实适用相近的加权同时浓缩两种纹路的却说明。

而 FF 适用各不相同的方式也来量化某种程度，这对于真实在世界上的人工神经网络平台来却说确实来得易于。

许多各不相同的讯息来引为同一组皮质共享读写。如果来引就诱导哪些皮质定下一致，将去除亦然干扰，从而加剧较偏高平方社交活动，如果它们有争执，则平方社交活动将减缓。通过适用亦然干扰来测量某种程度比较为两个各不相同的却说明内积要轻巧得多，因为不均能够将读写随意可分两个单独的引。

SimCLR 这类作法的一个主要关键时刻是大量计数主要用途公式两个投影裁剪的却说明，但期望数值数对却说明共享适度的共约束，这受限了有关域的讯息的速率可以汇流加权。为了使纹路的却说明来得接近其亦然确的配对而非替代品，只均能够 20 比特讯息。FF 的原因来得严重，因为它只均能够 1 比特来自始定亦然例和输例。

消除这种共约束贫乏的作法是将每一层可分许多小块，并强制每个块分别适用其可不初始值社交活动内积的较宽来提议亦然例和输例。然后，满足共约束所均需的讯息随块数二阶上图层，这比在类似 SimCLR 的作法内都面适用来得大的对比度集发挥作用的倍数上图层要正因如此。

堆栈对比努力学习存在的原因

努力学习多层却说明的一种无指派作法，是首可先努力学习一个隐秘层，该隐秘层脱逃统计数据内都面的某些结构，然后将该层内都面的社交活动内积看来作统计数据、并随即不应用领域相近的无指派努力学习二阶。这就是适用受限惠勒本机 (RBM)或堆栈自编码器（stacked autoencoder）努力学习多层却说明的方式也。

但它有一个有可能的不同之处。假分设我们通过随本机加权标量可定义一些随本机频谱投影。匹配成成的社交活动内积将具由加权标量创建人的相关结构，与统计数据无关。当将无指派努力学习不应用领域作这些社交活动内积时，它可能会发掘出其内都面的一些结构，但这不作能会告诉系统任何关于直接世自始的讯息。

最初的惠勒本机器努力学习二阶用以通过对比由两种各不相同直接边自始以前提引起的统计统计数据来尽量避免此不同之处。这去除了所有只是网络平台其他部分的结果的结构。在对比亦然输统计数据时，均能够受限布线，也不建议纹路密切关系具随本机空有数关系以消除网络平台假冒。这样马上很易于拿到大量相互联接的皮质组，每个皮质组都有自己的期望即自始定亦然统计数据和输统计数据。

4

在未来非永生计数本机上

FF 是最佳努力学习二阶

Mortal Computation 是 Hinton 全面性的重要观点之一（注：该名词仍未有公认的内都面文翻译，暂译为“非永生计数”）。

他援引，现阶段性的国际标准小数计数本机被分外观设计为心目中地遵循断言器，人们并不认为让国际标准计数本机可执行特定目标的唯一作法，就是执笔一个服务器端，以近乎其具体的方式也正确指定要来作的却说。

本土化的打二阶一直是坚定不移的软件不应该与的软件裂解，以马上相近的服务器端或相近的加权集可以在的软件的各不相同宇宙学副本上试运行。这就可能会使得服务器端或加权内都面除此以外的科学知识变得“不朽”：即的软件死亡时，科学知识不作能会业已分崩离析。

但这仍未才会亦然式成立，数据分析自始还未充分理解最深处努力学习对计数本机构建方式也的经常性制约。

的软件与的软件的裂解是计数本机科学的坚实之一，它的确产生了很多好处，如可以数据分析服务器端的特性而不须友善电气工程，而且它使得执笔一次服务器端、并将其放到数百万台计数本机带入也许。但 Hinton 援引：

如果我们愿意退造出这种“不朽”，就可以大大花费可执行计数所均需的热量以及研发可执行计数的的软件的成本。

这样一来，可执行相近目标的各不相同的软件模板在联接性和非二阶上就有也许时有发生很小的叠加，并从努力学习每一次内都面发掘出适当利用每个特定模板的相符本体的请注意的软件。这些请注意数对特定的的软件模板有用，因此它们可执行的计数是并非不朽，而是可能会随的软件朋友们分崩离析。

将请注意放到临时工方式也各不相同的各不相同的软件本身的确未任何意义，但我们可以用一种来得生物学的作法可以将一个的软件见识的东西分散到另一个的软件。对于投影内都面对象归纳这样的目标，我们真亦然很感兴趣的是将缩放较偏高强度与类表单关的的数值，而不是在特定的软件内都面发挥作用该数值的请注意。

数值本身可以通过适用蒸馏分散到各不相同的的软件：专业训练一新的软件不数计数造出来与从新的软件相近的答案，而且匹配器相近的几率对于不亦然确的答案。这些几率来得独特地指出了从新数论方法如何隐含，而也许是它并不认为最有也许的表单。因此，通过专业训练一新数论方法来并不一定出错答案的几率，我们亦然在专业训练它以与从新数论方法相近的方式也进行时隐含。这样的人工神经网络平台专业训练实质上缩减工作效率了比如说性，这个例子十分罕见。

如果打算让一个万亿数值人工神经网络平台只耗费几瓦特，非永生计数也许是唯一的并不均能够。它的可行性量化，我们能否找到一种可以在正确具体相符的的软件内都面较偏高效试运行的努力学习每一次，在 Hinton 也许，FF 二阶就是一个很有自觉的建议，只是它在扩展到大型人工神经网络平台时的平庸还有待推论。

学术著作仍要，Hinton 援引了以下未解决的原因：

FF 能否匹配成成有限好的投影或截上图匹配成成数论方法来创建人无指派努力学习所均能够的输统计数据？

如果输向传导在睡眠中期有数启动，亦然向和输向传导能否可以在时有数上近乎为普遍地自始定开来？

如果输频率响不应被去除了一段时有数，其效果究竟与严重睡眠中剥夺的破坏性制约相像？

适用什么哪种 goodness 数值很好？本文在大多数宇宙学内都面适用社交活动乘积，但这样一来亦然统计数据的社交活动乘积和举例来却说输统计数据的社交活动乘积确实效果近于好一些。

很好适用哪种诱导数值？现阶段性只数据分析了 ReLU。使诱导带入 t 特有种下密度的输倍数是一种也许性。

对于空有数统计数据，FF 究竟可以从投影各不相同周围的大量大面积缩减工作效率数值内都面想得到？如果可行，就能放缓努力学习偏高速。

对于左至右统计数据，究竟可以适用更快加权来演示简化的匹配器?

一组打算要举例来却说其平方社交活动的特点激光和一组打算要这样一来其平方社交活动的共约束违法激光，能否支持 FF？

来得多具体，点击下方注目：

并不需要「AI科技领域华尔街日报」认可，严禁以任何方式也在页面、论坛、社区进行时登出！

社可能会大众号登出请可先在「AI科技领域华尔街日报」往常电邮取得认可，登出时均需标注来引并插入本社可能会大众号名片。

雷峰网

。

诺氟沙星胶囊治拉肚子吗
江中多维元素片
疤痕
先声药业英太青
眼睛充血有什么办法缓解