神经网络的快速历史
神经网络现在无处不在。组织在硬件和人才上投入了大量资金，以确保他们可以构建最复杂的神经网络并提供最佳的深度学习解决方案。
尽管深度学习是机器学习的相当老的子集，但直到2010年代初，它才得到应有的认可。如今，它已席卷全球，并以极少数算法能够完成的方式引起了公众的关注。
在本文中，我想对神经网络采取一种略有不同的方法，并了解它们的产生方式。这就是神经网络起源的故事！
神经网络的起源
据报道，最早的神经网络领域的工作始于1940年代，沃伦·麦卡洛克（Warren McCulloch）和沃尔特·皮茨（Walter Pitts）尝试了一种具有电路的简单神经网络。
下图显示了MCP神经元。如果您学习了高中物理，您将认识到这看起来与简单的或非门非常相似。
该论文借助信号展示了基本思想，以及如何通过转换提供的输入来制定决策。
神经网络
                                                                McCulloch-Pitts神经元
McCulloch和Pitts的论文提供了一种用抽象的术语描述大脑功能的方法，并表明神经网络中连接的简单元素可以具有巨大的计算能力。
尽管有开创性的意义，但直到大约6年后，当Donald Hebb（下图）发表了一篇论文，该论文强调了神经通路在每次使用时都会增强时，才引起人们的注意。
神经网络
                                                                  Donald Hebb（神经心理学之父）
                                                                              图片来源：researchgate.net
请记住，那时计算机仍处于起步阶段，IBM于1981年推出了第一台PC（IBM 5150）。
神经网络
快进到90年代，关于人工神经网络的许多研究已经发表。罗森布拉特（Rosenblatt）在1950年代创造了第一个感知器。反向传播算法由Yann LeCun于1989年在贝尔实验室成功实现。到1990年代，美国邮政局已经部署了LeCun的模型来读取信封上的邮政编码。
我们今天所知的LSTM（长期短期记忆）是1997年创造的。
如果90年代已经奠定了如此多的基础，为什么要到2012年才将神经网络用于深度学习任务？
硬件与互联网的兴起
深度学习研究遇到的主要挑战是缺乏可重复的研究。迄今为止，由于可靠数据的可用性极低且硬件资源有限，因此这些进步是理论驱动的。
在过去的二十年中，硬件和互联网领域取得了长足的进步。在1990年代，IBM PC的RAM为16KB。在2010年代，PC的平均RAM过去约为4GB！
如今，我们可以在计算机上训练一个小型模型，这在90年代是无法想象的。
游戏市场在这场革命中也发挥了重要作用，NVIDIA和AMD等公司在超级计算上投入了大量资金，以提供高端虚拟体验。
随着互联网的发展，为机器学习任务创建和分配数据集变得更加容易。
从Google收集图像或从Wikipedia挖掘文本来训练和构建深度学习模型已经变得相当容易。
2010年：我们的深度学习时代
ImageNet： 2009年，现代深度学习时代的开始，斯坦福大学的李飞飞创建了ImageNet，这是一个大型视觉数据集，被誉为是引发世界AI革命的项目。
早在2006年，李先生是伊利诺伊大学厄巴纳－香槟分校的新教授。她的同事们将不断谈论提出可以做出更好决策的新算法。但是，她看到了他们计划中的缺陷。
如果最好的算法是在能反映真实世界的数据集上进行训练的，则效果将不佳。ImageNet由20
公开比赛： 2009年，Netflix举办了名为Netflix Prize的公开比赛，以预测电影的用户收视率。2009年9月21日，BellKor的Pragmatic Chaos团队获得了100万美元的奖金，该团队以10.06％的优势击败了Netflix自己的算法。
从2010年开始，Kaggle是一个平台，可举办面向全球所有人的机器学习竞赛。它使研究人员，工程师和本地编码人员可以为解决复杂的数据任务而努力。
在AI Boom出现之前，对人工智能的投资约为2000万美元。到2014年，这项投资增长了20倍，谷歌，Facebook和亚马逊等市场领导者将资金分配给对未来AI产品的进一步研究。这种新的投资浪潮导致深度学习方面的招聘人数从几百增加到几万。
题库