集智专栏
资源加载中,请稍后...
集智专栏

9行Python代码搭建神经网络

Kaiser

原文:How to build a simple neural network in 9 lines of Python code

作者:Milo Spencer-Harper

翻译:Kaiser(王司图


前言

上一篇文章中,Milo给自己定下了两个小目标:

  1. 学习层次隐式马尔可夫模型

  2. 用Python搭建神经网络

本文讲的就是他如何实现第二个目标。当然,这里的“用Python”指的就是不用那些现成的神经网络库比如Keras、Tensorflow等,否则连9行都不用了。


正文

程序说明
9行代码的神经网络
示例代码
from numpy import exp, array, random, dot training_set_inputs = array([[0, 0, 1], [1, 1, 1], [1, 0, 1], [0, 1, 1]]) training_set_outputs = array([[0, 1, 1, 0]]).T random.seed(1) synaptic_weights = 2 * random.random((3, 1)) - 1 for iteration in xrange(10000): output = 1 / (1 + exp(-(dot(training_set_inputs, synaptic_weights)))) synaptic_weights += dot(training_set_inputs.T, (training_set_outputs - output) * output * (1 - output)) print 1 / (1 + exp(-(dot(array([1, 0, 0]), synaptic_weights))))
程序验证过程
solu = 1 / (1 + exp(-(dot(array([1, 0, 0]), synaptic_weights)))) solu[0] > 0.99

本文我会解释这个神经网络是怎样炼成的,所以你也可以搭建你自己的神经网络。也会提供一个加长版、但是也更漂亮的源代码。

不过首先,什么是神经网络?人脑总共有超过千亿个神经元细胞,通过神经突触相互连接。如果一个神经元被足够强的输入所激活,那么它也会激活其他神经元,这个过程就叫“思考”。

我们可以在计算机上创建神经网络,来对这个过程进行建模,且并不需要模拟分子级的生物复杂性,只要观其大略即可。为了简化起见,我们只模拟一个神经元,含有三个输入和一个输出。

我们将训练这个神经元来解决下面这个问题,前四个样本叫作“训练集”,你能求解出模式吗??处应该是0还是1呢?

或许已经发现了,输出总是与第一列的输入相等,所以?应该是1

训练过程

问题虽然很简单,但是如何教会神经元来正确的回答这个问题呢?我们要给每个输入赋予一个权重,权重可能为正也可能为负。权重的绝对值,代表了输入对输出的决定权。在开始之前,我们先把权重设为随机数,再开始训练过程:

  1. 从训练集样本读取输入,根据权重进行调整,再代入某个特殊的方程计算神经元的输出。

  2. 计算误差,也就是神经元的实际输出和训练样本的期望输出之差。

  3. 根据误差的方向,微调权重。

  4. 重复10000次。

最终神经元的权重会达到训练集的最优值。如果我们让神经元去思考一个新的形势,遵循相同过程,应该会得到一个不错的预测。

计算神经元输出的方程

你可能会好奇,计算神经元输出的人“特殊方程”是什么?首先我们取神经元输入的加权总和:

$$\sum weight_i \cdot input_i = weight_1 \cdot input_1 + weight_2 \cdot input_2 + weight_3 \cdot input_3$$

接下来我们进行正规化,将结果限制在0和1之间。这里用到一个很方便的函数,叫Sigmoid函数:

$$\frac{1}{1+e^{-x}}$$

如果绘出图像,Sigmoid函数是S形的曲线:

将第一个公式代入第二个,即得最终的神经元输出方程:

$$Output of neuron = \frac{1}{1 + e^{-(\sum weight_i \cdot input_i)}}$$

调整权重的方程

在训练进程中,我们需要调整权重,但是具体如何调整呢?就要用到“误差加权导数”方程:

$$Adjust weights by = error \cdot input \cdot SigmoidCurveGradient(output)$$

为什么是这个方程?首先我们希望调整量与误差量成正比,然后再乘以输入(0-1)。如果输入为0,那么权重就不会被调整。最后乘以Sigmoid曲线的梯度,为便于理解,请考虑:

  1. 我们使用Sigmoid曲线计算神经元输出。

  2. 如果输出绝对值很大,这就表示该神经元是很确定的(有正反两种可能)。

  3. Sigmoid曲线在绝对值较大处的梯度较小。

  4. 如果神经元确信当前权重值是正确的,那么就不需要太大调整。乘以Sigmoid曲线的梯度可以实现。

Sigmoid曲线的梯度可由导数获得:

$$SigmoidCurveGradient(output) = output \cdot (1 - output)$$

代入公式可得最终的权重调整方程:

$$Adjust weights by = error \cdot input \cdot output \cdot (1 - output)$$

实际上也有其他让神经元学习更快的方程,这里主要是取其相对简单的优势。

构建Python代码

尽管我们不直接用神经网络库,但还是要从Python数学库Numpy中导入4种方法:

  • exp: 自然对常数

  • array: 创建矩阵

  • dot:矩阵乘法

  • random: 随机数

比如我们用array()方法代表训练集:

示例代码
training_set_inputs = array([[0, 0, 1], [1, 1, 1], [1, 0, 1], [0, 1, 1]]) training_set_outputs = array([[0, 1, 1, 0]]).T

.T函数就是矩阵转置。我想现在可以来看看美化版的源代码了,最后我还会提出自己的终极思考。源代码中已经添加了注释逐行解释。注意每次迭代我们都一并处理了整个训练集,以下为完整的Python示例:

程序说明
完整版神经网络
示例代码
from numpy import exp, array, random, dot class NeuralNetwork(): def __init__(self): # 随机数发生器种子,以保证每次获得相同结果 random.seed(1) # 对单个神经元建模,含有3个输入连接和一个输出连接 # 对一个3 x 1的矩阵赋予随机权重值。范围-1~1,平均值为0 self.synaptic_weights = 2 * random.random((3, 1)) - 1 # Sigmoid函数,S形曲线 # 用这个函数对输入的加权总和做正规化,使其范围在0~1 def __sigmoid(self, x): return 1 / (1 + exp(-x)) # Sigmoid函数的导数 # Sigmoid曲线的梯度 # 表示我们对当前权重的置信程度 def __sigmoid_derivative(self, x): return x * (1 - x) # 通过试错过程训练神经网络 # 每次都调整突触权重 def train(self, training_set_inputs, training_set_outputs, number_of_training_iterations): for iteration in xrange(number_of_training_iterations): # 将训练集导入神经网络 output = self.think(training_set_inputs) # 计算误差(实际值与期望值之差) error = training_set_outputs - output # 将误差、输入和S曲线梯度相乘 # 对于置信程度低的权重,调整程度也大 # 为0的输入值不会影响权重 adjustment = dot(training_set_inputs.T, error * self.__sigmoid_derivative(output)) # 调整权重 self.synaptic_weights += adjustment # 神经网络一思考 def think(self, inputs): # 把输入传递给神经网络 return self.__sigmoid(dot(inputs, self.synaptic_weights)) if __name__ == "__main__": # 初始化神经网络 neural_network = NeuralNetwork() print "随机的初始突触权重:" print neural_network.synaptic_weights # 训练集。四个样本,每个有3个输入和1个输出 training_set_inputs = array([[0, 0, 1], [1, 1, 1], [1, 0, 1], [0, 1, 1]]) training_set_outputs = array([[0, 1, 1, 0]]).T # 用训练集训练神经网络 # 重复一万次,每次做微小的调整 neural_network.train(training_set_inputs, training_set_outputs, 10000) print "训练后的突触权重:" print neural_network.synaptic_weights # 用新数据测试神经网络 print "考虑新的形势 [1, 0, 0] -> ?: " print neural_network.think(array([1, 0, 0]))
程序验证过程
solu = neural_network.think(array([1, 0, 0])) solu[0] > 0.9

终极思考

(Kaiser:原文讲的是将代码写入本地main.py文件,再在终端中运行python main.py,这里只需点击运行即可。)

我们用Python打造了一个简单的神经网络。

首先神经网络给自己赋予随机的权重值,然后用训练集训练自己,最后去思考新的形势[1 0 0]并预测了0.99993704,这与正确答案非常接近。

传统的计算机程序无法学习,神经网络的最大魅力就在于学习能力,可以自主适应新形势,就像人的心智一样。当然,仅仅一个神经元只能完成特别简单的任务,但如果我们把上百万个如此的神经元连接起来呢?能否有朝一日制造出具有自我意识的东西?

下一篇文章中,我将继续加入第二层神经元,来拓展神经网络。


QQ群:557373801

投稿或加入微信群:请联系客服,微信ID: jizhi_im

您也许喜欢这些文章

集智专栏

玩儿懂深度学习Part 5:文字的识别与定位

发表至系列教程
这是《玩儿懂深度学习》系列文章的第五篇,以车牌识别(是真的车牌)和简单OCR为例,谈了谈如何进行字母、数字的识别以及定位。
集智专栏

人人生而平等,AI让社会更平等

发表至业界新闻
AI已经深入到人类社会的众多领域,并已开始对社会事务中做出决策。但AI算法中总会产生某些偏差,这些偏差或许会导致社会不平等现象加剧,对人类发展可能造成不良影响。本文讨论了可对该情况加以改善的措施,以期帮助AI更好地发展并服务于人类。
集智专栏

用OpenCV和Python识别二维码和条形码

发表至趣味项目
本文会教你怎样用OpenCV和Zbar读取条形码和二维码,还会展示怎样将制作的这个条形码&二维码扫描仪部署到树莓派上。

文章评论(20)

Patrick 发表于 1月前回复
加了一个小姐姐在文章里边,害得我下边那个公式推导根本没法专心看,思考了半天2333333333
Kaiser集智 站长 发表于 6月前回复
回复SCP-173:噫,好看的小姐姐
美滋滋~
回复Kaiser:微博关注yurisa_chan就有了
噫,好看的小姐姐
Kaiser集智 站长 发表于 6月前回复
回复SCP-173:这个图有合集么?
微博关注yurisa_chan就有了
这个图有合集么?
新用户741 发表于 1年前回复
Mark一下,找不到收藏夹在哪里。
Kaiser集智 站长 发表于 1年前回复
回复新用户:注释里有一个错别字,在59行,神经网络-神经昂络
谢谢指正!已经修改
myuan 发表于 1年前回复
注释里有一个错别字,在59行,神经网络-神经昂络
天无邪 发表于 1年前回复
回复Kaiser:我可以从后台帮你删除,真的要删除吗?
哦,后来发现一开始是对的,那就不删了吧,多谢了。以后我多查验一下再po出来:)
天无邪 发表于 1年前回复
回复天无邪:忽然又变成原作上面直接加bias就能很好的实现了。刚才那个反而不行。刚才像是幻觉。。。请问能不能加上自己可以删除自己的评论的功能,至少限时之内可以删。。。
原来是自己误改了里面的代码,加号改成了减号。。。