人工智能和神经元

文/陈奕廷

现在许多人体器官都能被取代，例如叶克膜、人造声带和义肢等。科幻小说中，来自不同尸体的器官被拼凑成科学怪人，如今我们几乎能用人工器官达成了。但是要达到「人造人」，仅仅将人造器官拼凑起来是不够的。除了机械性的器官功能，神经元将资讯从各个器官汇整到中枢，形成俗称的意识。

图一、(A) 神经元的生物构造。(B)人工神经元的模型。(C)一些神经网络不同键结方式的例子^[1]

人造意识还未成熟，但千里之行始于足下，认识最基本的神经元是一个开端。如图一A，神经元突触分为轴突和树突。一般认为树突负责接收，轴突负责输出资讯。根据对神经元的了解，科学家建立最基本的人工神经元(图一B)，尝试解释简单的神经元如何产生高层次的功能。这方面的研究大致可以分成两大类。在第一类，科学家赋予神经元几条基本的规则，然后研究一群神经元互相沟通产生的记忆和学习等集体现象，通常被称为计算神经科学。另一类则是单纯把神经网络的架构应用在各种现实问题中，例如影像辨识、自动驾驶和玩游戏。先要求在应用问题中表现最好，再回头归纳出基本的规则。人工神经网络和深度学习通常属于这一类，本文也和此相关。

深度学习！减少变数！

神经网络有许多不同的键结方式(图一C)。要「在应用问题中表现最好」，必须从所有可能的神经元键结方式中挑出一个最好的。如果一个网络有N个神经元，它们之间共有约N平方个键结。以一张256*256像素的影像为例(想像每一个像素都是一个视神经元)，共有超过6万个神经元和40亿个键结。要从超过40亿个变数中挑出一个表现最好的组合是一个困难的问题。

一种简化的方式是限制神经元的键结。科学家把神经元分成10层，层层排列。单层内的神经元没有键结，只有相邻层有键结。如此一来总共只剩下约1/10的变数，计算速度提升10倍！这样的神经网络架构通常被称为「深度学习(Deep Learning)」。「深度」代表神经元被分成很多层，越深代表层数越多。而「学习」指的是从众多变数挑出一个最佳解的数学过程。

在电脑视觉中增加深度- 卷积神经网络

深度学习通常越深效果越好。图二A是一个深度学习的神经网络，每一条线都是一个神经元间的键结，它决定资讯从一个神经元流到另一个神经元的强度，是一个变数。在电脑视觉中，人工智慧从影像中辨识出物体。以图二B为例，猫的在影像中任何位置人工智慧都要能辨识出来。因此神经元连结方式不应该随空间变化，也就是说两张影像中的橘色框框附近的神经元连结方式应该要相同，而不是独立的变数。利用这种空间关联性把层与层之间的变数减少，就能在总变数数目不增加太多的情况下增加深度，使神经网络效果变得更好。因为它的数学细节，这种架构叫做「卷积神经网络(Convolutional Neural Network, CNN)」。一个知名的例子是英国牛津大学的视觉几何团队(Visual Geometry Group, VGG)，用深度为16层的卷积神经网络赢得2014年的影像辨识大赛ImageNet竞赛项目^[2]。

持续加深神经网络之后，效果并没有像理论预测一样持续增加。可能的原因是资讯在输入层和输出层之间的层层网络中流失了。为了解决这个问题，科学家解放「神经元只和相邻层键结」这个限制。如图三A，除了相邻的神经层之间的键结，神经网络层1也跨越两层网络层，和网络层4键结(图三A红色箭头)。这样的架构叫做「深度残差网络(Deep Residual

Network)」，深度可以达到150层以上，效果比牛津大学的VGG团队更好，赢得了2015年ImageNet竞赛项目^[3]。不久之后，深度网络被更进一步地解放。如图三B，神经网络层不仅仅是跨越两层相连，而是连续五层每一层都相连。这样的架构叫做「深度紧密网络(Densely Connected Network)」，效果更好^[4]。这个方法在2017年获得顶尖电脑视觉会议CVPR的最佳论文奖。人工神经网络是当今最热门的人工智慧领域，今后还会持续出现各式各样、表现更好的神经网络。

参考资料：
[1] The Asimov Institute, The neural network zoo (2016) 
[2] Karen Simonyan et al., Very deep convolutional networks for large-scale image recognition, arXiv:1409.1556 (2015) 
[3] Kaiming He et al., Deep Residual Learning for Image Recognition, arXiv:1512.03385 (2015) 
[4] Gao Huang et al., Densely Connected Convolutional Networks, CVPR (2017)

说明：鉴于使用习惯，本文将原文中的”网路”改成了”网络”。