威伦特

最近学习神经网络的时候，发现大多介绍神经网络的文章都是先大篇幅的描述概念，然后莫名其妙就丢出很多晦涩难懂的数学公式，就结束了，让人看得一头雾水。
直到最近看了一篇文章，它通过实例和概念相结合的方式介绍神经网络，对初学者十分友好，于是我将其与其他文章整合，加上自己的理解，写出这篇文章。

什么是神经网络

简单介绍一下神经网络，

以房价预测的来说明，把房屋的面积作为神经网络的输入（我们称之为𝑥），通过一个节点（一个小圆圈），最终输出了价格（我们用𝑦表示），那么这个节点就是神经元，而无数个神经元就组成了神经网络

神经网络的一般结构是由输入层、隐藏层(神经元)、输出层构成的。隐藏层可以是1层或者多层叠加，层与层之间是相互连接的，如下图所示。

一般说到神经网络的层数是这样计算的，输入层不算，从隐藏层开始一直到输出层，一共有几层就代表着这是一个几层的神经网络，例如上图就是一个三层结构的神经网络。

已经知道了神经网络的概念，接下来开始尝试一下通过代码来理解和实现一个神经网络吧！

构建神经元

“千里之行，始于足下”，我们先从一个神经元开始构建。

神经元接受输入，做一些数学运算，然后产生一个输出。下图是一个2输入神经元

神经元中，输入的数据总共经历了三步数学运算。

首先将输入乘上权重：

weight=[0,1]\
bias=4

(w⋅x)+b\=((x_1w_1)+(x_2w_2))+b\
=02+13+4\
=7\
Then\ put\ in \ activation\ function:
\output=f((w⋅x)+b)\ =0.999

如果输入的值为x=[2,3]，那么我们可以计算出神经网络中$\ h_1,h_2,o_1$所代表的值

因此在这个神经网络中，在输入x=[2,3]时，输出为0.7216

神经网络可以有任意数量的层，在这些层中有任意数量的神经元。

但是其基本的思想是一样的:通过网络中的神经元向前输入，最终得到输出。

实现代码

import numpy as np


class Neuron:
    def __init__(self, weights, bias):
        self.weights = weights
        self.bias = bias

    def feedforward(self, inputs):
        return sigmoid(np.dot(self.weights, inputs) + self.bias)
    
    
class OurNeuralNetwork:
  def __init__(self):
    weights = np.array([0, 1])
    bias = 0
    self.h1 = Neuron(weights, bias)
    self.h2 = Neuron(weights, bias)
    self.o1 = Neuron(weights, bias)

  def feedforward(self, x):
    out_h1 = self.h1.feedforward(x)
    out_h2 = self.h2.feedforward(x)
    out_o1 = self.o1.feedforward(np.array([out_h1, out_h2]))
    return out_o1


if __name__ == "__main__":
    network = OurNeuralNetwork()
    x = np.array([2, 3])
    print(network.feedforward(x))

0.7216

训练神经网络

我们有如下数据集：

接下来让我们通过数据集来训练神经网络，使其能通过给定身高体重来预测一个人的性别吧！

第一步

我们首先通过0和1来分别代表女性和男性，同时为了能够方便表示数据，我们将身高和体重分别减去170和60

在训练神经网络之前，我们首先需要有一种能知道神经网络中输出值是否表现得“好”与“坏”的方法，这种方法就称作 “损失函数”

常用的损失函数为MSE（mean squared error），也就是均方差

其中，n代表训练样本的数量，$\ y_{true}$代表训练样本中的真实值，$\ y_{pred}$代表神经网络中输出的预测值

换句话说：

训练神经网络=尝试寻找损失函数最小值

举个例子

接下来，我们探究一下权重和偏移值对损失函数的具体影响：

我们可以把损失函数写成一个多变量函数

如果调整一下$\ w_1$，损失函数是会变大还是变小？我们需要知道偏导数$\ \frac{∂L}{∂w_1}$是正是负才能回答这个问题。

首先，根据链式求导法则

由于$\ L=(1-y_{pred})^2$,因此:

接下来我们要想办法获得$\ y_{pred}$和$\ w_1$的关系，我们已经知道神经元$\ h_1、h_2和o_1$的数学运算规则：

实际上只有神经元$\ h_1$中包含权重$\ w_1$，所以我们再次运用链式求导法则：

同理：