DL之DNN:基于神经网络(从1层~50层)DNN算法实现对非线性数据集点进行绘制决策边界
目录
首先查看数据集
- import numpy as np
- from sklearn.datasets import make_moons make_moons数据集可以生成一些非线性数据点
- import matplotlib.pyplot as plt
-
- 手动生成一个随机的平面点分布,并画出来
- np.random.seed(0)
- X, y = make_moons(200, noise=0.20)
- plt.scatter(X[:,0], X[:,1], s=40, c=y, cmap=plt.cm.Spectral)
- plt.title('make_moons generating nonlinear data points')
- plt.show()
- 设计一个简单的人工神经网络:输入两个值,输出0或1,即第一类还是第二类,但DNN其实获得是概率,如属于0的概率是42% 。只包含一层隐藏层,即只对样本点做交集而不做并集
- 激活函数选择tanh函数,采用softmax分类器(LR的多分类),并且用互熵损失作为损失函数。BP计算梯度采用SGD算法
-
- num_examples = len(X) 样本数
- nn_input_dim = 2 输入的维度
- nn_output_dim = 2 输出的类别个数
-
- 梯度下降参数
- epsilon = 0.01 学习率
- reg_lambda = 0.01 正则化参数
-
- 定义损失函数,以便使用梯度下降算法
- def calculate_loss(model):
- W1, b1, W2, b2 = model['W1'], model['b1'], model['W2'], model['b2'] 因为隐藏层有500个神经元,故b1是500维
- 向前推进,前向运算
- z1 = X.dot(W1) + b1
- a1 = np.tanh(z1)
- z2 = a1.dot(W2) + b2
- exp_scores = np.exp(z2)
- probs = exp_scores / np.sum(exp_scores, axis=1, keepdims=True) 计算的属于哪一类的是概率
- 计算损失
- corect_logprobs = -np.log(probs[range(num_examples), y])
- data_loss = np.sum(corect_logprobs)
- 也得加一下L2正则化项
- data_loss += reg_lambda/2 * (np.sum(np.square(W1)) + np.sum(np.square(W2)))
- return 1./num_examples * data_loss
-
-
- 建立3个隐层的神经网络
- model = build_model(3, print_loss=True)
-
- 然后再把决策/判定边界画出来
- plot_decision_boundary(lambda x: predict(model, x))
- plt.title("Decision Boundary for hidden layer size 3") 即是由500个神经元(段直线),去交集得出的曲线
- plt.show()
-
-
- 然后观察不同的隐藏层个数(1, 2, 3, 4, 5, 20, 50)对结果的影响
- plt.figure(figsize=(16, 32))
- hidden_layer_dimensions = [1, 2, 3, 4, 5, 20, 50]
- for i, nn_hdim in enumerate(hidden_layer_dimensions):
- plt.subplot(5, 2, i+1)
- plt.title('Hidden Layer size %d' % nn_hdim)
- model = build_model(nn_hdim)
- plot_decision_boundary(lambda x: predict(model, x))
- plt.show()
相关文章推荐
DL之LoR&DNN:Neural_network_example绘制非线性数据集点的决策边界
网站声明:如果转载,请联系本站管理员。否则一切后果自行承担。
加入交流群
请使用微信扫一扫!