深度学习中不起作用的事情
简介：  这可能是深度学习的黄金时代，但通过研究深度神经网络尚不起作用的地方，可以学到很多东西。这可以作为平息炒作的指南。一旦这些障碍消失了，它也可以成为未来机会的路线图。
我们生活在深度学习的黄金时代。从字面上看，这就是技术的诞生，它创造了10
凯利（Kelly）在泛泛地谈论了AI，但在过去的四年中，我们逐渐了解到，实际上有关CNN和RNN / LSTM的商业应用已经准备就绪并正在推动这一发展。
尽管最近两年在新技术和数据科学的技术突破方面一直相当安静，但并没有完全安静。就像用时间卷积网络（TCN）取代语言翻译中的RNN一样，研究也在继续进行，以了解如何将深度学习以及具体的CNN体??系结构推入新的应用程序。
深度学习的障碍
这使我们进入当前的话题，即了解试图将深度学习扩展到新领域的研究中的一些主要障碍。
在提请我们注意“在深度学习中不起作用的事物”时，我们并不是在暗示这些事情永远不会起作用，而是研究人员目前正在确定前进的主要绊脚石。
其值是两倍。首先，它可以帮助我们远离那些表面上看起来像深度学习将起作用的项目，但实际上可能需要一年或几年才能完成。第二，我们应该密切关注这些特殊问题，因为一旦解决了这些特殊问题，它们将代表其他人认为不可能的机会。
这是我们在研究中发现的几个。
那些是一样的还是不同的？
我们的CNN在分类对象方面做得非常好。例如，左边的图像被可靠地识别为长笛。
CNN在像中间的空间关系（SR）图像上也做得很好。在SR中，目标是检测对象之间的几何关系，例如它们沿着一条线掉落，垂直或水平堆叠。
但是，任何孩子都可以识别为同一两个对象的右边的第三张图像，被CNN处理得很差。
有多穷？布朗大学的研究人员Ricci，Kim和Serre发现，在针对23个测试问题中的每一个使用性能最佳的CNN的测试程序中，空间关系样本的表现都非常好，而同一差异的样本表现得很差。
能够检测到不同物体是非常有用的，但是即使是性能最好的样品，其准确度仍然远远低于商业上可接受的水平。
此外，他们发现由于SD问题，在更简单的图像上可以实现更好的准确性。他们的假设是，不管添加了多少节点或层，更复杂的SD问题都压倒了CNN的辨别能力，这也可能表明，在更简单的问题上，CNN只是从训练数据中记忆出来。
有关此内容的更多信息，请参见此处的原始论文，或此处的更易访问的摘要。
问题状态：  未解决。研究仍在继续。
计算机视觉效果不佳
如果您只想在Facebook上标识照片或防止机器人管家洒酒，您可能会对当前的计算机视觉状态感到满意。但是，如果您要将自己或陌生人委托给该自动驾驶汽车，则需要等到其视野变得更好为止。
拥有 计算机视觉和机器学习博士学位的Zeeshan Zia是Microsoft的高级科学家，希望您知道事情并不像大众媒体所相信的那样乐观。
机器人技术的计算机视觉中的问题分为两个主要子集，一个是“对象检测”，另一个是“分类和定位”。两者的集成是SLAM（同步本地化和映射）。
Zeeshan认为 ，这些技术在静态环境中可能会很好地工作，但有证据表明，在动态环境中准确性不存在。为此，每年举行一次竞赛，称为Imagenet大规模视觉识别挑战赛（ILSVRC）。
引用的结果来自2017年，因此希望情况有所好转，但结果令人放心。
对于“对象检测”，大约20个不同的团队提交了47个竞争性意见书，范围从低至0.2067的平均平均精度（图）到高至仅0.7322的平均平均精度。相比之下，2016年的最高分是0.6628，因此该领域正在进步。
视频中的物体检测，可能更像是真正的自动驾驶汽车，范围从低位的0.1958到高位的0.8183（从2016年的0.8083上升到该类别的改进要小得多）。您可以在 此处查看完整结果。
在过去的三到四年中，深度学习的引入实际上比以前更快地改善了这些结果。但是正如Zeeshan观察到的那样，进行这项工作不仅仅意味着阅读几篇论文。他说，
“我只看到SLAM真正起作用的三种商业产品；三个团队都有多位SLAM博士和顶尖教授在为他们工作。这三个是微软的HoloLens，谷歌的Project Tango和戴森的360 Eye机器人。许多其他商业团队在构建可工作的SLAM管道方面遇到了困难。”
问题状态：  对于机器人应用而言，到达那里的速度很慢，但肯定还没有到达那里。
深度强化学习还行不通
强化学习（RL）可以说是当今AI最热门的研究领域，因为它看起来RL可以适应具有明确奖励功能的任何问题。这包括游戏，机器人技术，自动驾驶汽车以及坦率地说，机器学习中的其他内容。
在RL中，最热门的研究领域是Deep RL，这意味着在训练中使用深度神经网络作为“代理”。深度RL被认为是RL的形式，最有可能在最大数量的案例中推广，也许是我们迄今为止最接近的AGI（人工通用情报）。
重要的是，Deep RL也是Alpha Go获胜的技术，引起了极大的关注。
根据Google Brain Robotics团队的研究人员Alex Irpan的说法，问题出在大约70％的时间他们根本不工作。
亚历克斯（Alex）写了一篇非常全面的文章，对Deep RL的当前状态进行了评论，Deep RL是他每天从事的领域。他提出了一系列问题，我们选择了重点研究这三个问题，并用他的工作记录最清楚地说明了问题的当前状态。
如果您只关心性能，那么还有其他RL技术比Deep RL更好。
例如，在著名的MuJoCo机器人训练场景中，通过在线轨迹优化可以实现非常好的性能。正确的动作是近乎实时地在线计算的，无需离线培训
Atari是另一个著名的演示问题，您可以通过现成的Monte Carlo Tree Search胜过Deep RL。
还有波士顿动力公司那些出色的机器人？不是Deep RL。根据他们发表的论文，您可以找到大多数经典的机器人技术的参考，例如时变LQR，QP求解器和凸优化。
亚历克斯说：“经验法则是，除极少数情况外，特定领域的算法比[深度]强化学习更快，更好。如果您出于深度RL的目的而进行深度RL，这不是问题，但是当我将RL的性能与其他任何功能进行比较时，我个人都感到沮丧。
Deep RL的样本效率极低。
深度神经网络需要大量的训练数据并不是什么新闻。但是，由于RL的主要优势之一是应该创建自己的训练数据，因此有趣的是，这仍然是一个障碍。
亚历克斯列举了几个例子，但Atari的例子仍然坚持。在Atari宇宙中大约57种游戏中，有40种确实超过了Deep RL中的几种变体技术。但是他们花了很长时间训练。
Atari以每秒60帧的速度运行，每帧都是一个学习实例。2017年，最快的训练记录为7000万帧。今年，最佳技术将其减少到1800万帧。但是，这仍然相当于大约83个小时的游戏时间，人类可以在短短几个小时内就完成游戏。
更糟糕的是，在Deep RL的大约七个主要版本中，即使在2亿帧之后，它们中的几个仍无法达到人类的性能。
当Deep RL工作时，结果可能不稳定并且难以重现。即使在可行的地方，也可能只是环境中的过拟合模式。
首先要讲的最后一点是，如果您希望Deep RL在Atari这样的封闭环境中工作，那么您真的不在乎它是否合适。只是不要期望它能推广到其他环境。
但是，更广泛地讲，当在监督学习中使用深层神经网络时，超参数就被很好地理解，甚至修改它们也会导致可合理预测的变化。
但是RL通常是无监督学习的定义。在Deep RL中，对超参数的行为完全不甚了解，并且大多是非线性的，因此非常难以预测。Deep RL的研究人员是几年前CNN和RNN的研究人员所在的地方，他们仍在猜测和手动调整其网络。
亚历克斯说，他从训练开始就是尝试从著名的Deep RL论文中复制模型，这不可避免地花了两倍或三倍的时间。这也意味着很多时候，Deep RL模型无法被复制，无法概括或仅仅无法训练。
原因尚不十分清楚，但可能的一个问题是使用随机种子开始训练过程，因此没有两个训练实例真正相同。
因此，我们回到亚历克斯的原始论点。根据当今的最新状态，Deep RL大约有70％的时间会失败。另一方面，Deep RL在Alpha Go中获得了惊人的胜利，这表明未来可能是光明的。
1