这俩天刚忙完答辩的事情，终于有时间学习了

---

一、3层神经网络实现

1.本节中的符号使用说明。

$w_{12}^{(1)}$表示前一层的第2个神经元$x_2$到后一层的第一个神经元$a_1$的权重。权重右下角按照“后一层的索引号、前一层的索引号”的顺序排列。
第一层的加权和可以表示为$$A^{(1)}=X{W}^{(1)}+B^{(1)}$$
$X$是输入层的神经元，1✖2的矩阵。
$W$是权重，大小为2✖3。
$B$是偏置，大小为1✖3。
Python实现上面公式

def sigmoid(x):return 1/(1+np.exp(-x))
X=np.array([1.0,0.5])
W1=np.array([[0.1,0.3,0.5],[0.2,0.4,0.6]])
B1=np.array([0.1,0.2,0.3])
#输入层到第1层
print(W1.shape)
print(X.shape)
print(B1.shape)
A1=np.dot(X,W1)+B1
Z1=sigmoid(A1)#sigmomid相当于h()
print(A1)
print(Z1)
#第1层到第2层
W2=np.array([[0.1,0.4],[0.2,0.5],[0.3,0.6]])
B2=np.array([0.1,0.2])
A2=np.dot(Z1,W2)+B2
Z2=sigmoid(A2)
print(Z2.shape)
def identity_function(x):return x
W3=np.array([[0.1,0.3],[0.2,0.4]])
B3=np.array([0.1,0.2])
A3=np.dot(Z2,W3)+B3
Y=identity_function(A3)
print(Y)

把代码整理一下，按照神经网络的实现习惯。

def sigmoid(x):return 1/(1+np.exp(-x))
def identity_function(x):return x
def init_network():network = {}network['W1']=np.array([[0.1,0.3,0.5],[0.2,0.4,0.6]])network['b1']=np.array([0.1,0.2,0.3])network['W2']=np.array([[0.1,0.4],[0.2,0.5],[0.3,0.6]])network['b2']=np.array([0.1,0.2])network['W3']=np.array([[0.1,0.3],[0.2,0.4]])network['b3']=np.array([0.1,0.2])return network
def forward(network,x):W1,W2,W3=network['W1'],network['W2'],network['W3']b1,b2,b3=network['b1'],network['b2'],network['b3']a1=np.dot(x,W1)+b1a2=np.dot(a1,W2)+b2z2=sigmoid(a2)a3=np.dot(z2,W3)+b3y=identity_function(a3)return y
network = init_network()
x=np.array([1.0,0.5])
y=forward(network,x)
print(y)

init_network()函数会进行权重和偏置的初始化，并将他们保存在字典变量network中。其保存了每一层所需的参数（权重和偏置）。forward()函数中则封装了将输入信号转换为输出信号的处理过程。

二、输出层设计

一般情况下，回归问题用恒等函数，分类问题用softmax函数。

• 回归：根据某个输入预测一个（连续的）数值的问题。输入人像，预测年龄
• 分类：判断数据属于哪一个类别，西瓜还是苹果

1.恒等函数

将输入原样输出。不加以任何改动

2.softmax

$$y_k=\frac{exp(a_k)}{{\sum }_{i=1}^{n}exp(a_i)}$$
分子是输入信号a_{k}的指数函数，分母是所有输入信号的指数函数的和。
Python实现。

#a是数组
def softmax(a):c=np.max(a)exp_a=np.exp(a-c)#溢出对策sum_exp_a=np.sum(exp_a)y=exp_a/sum_exp_areturn y