DL之DNN优化技术：神经网络算法简介之数据训练优化【mini-batch技术+etc】

嵌入式 2022-09-19 17:23:28  51365

分类专栏：资讯

1、mini-batch技术

输出结果

实现代码

1、mini-batch技术

输出结果

实现代码


 coding: utf-8
DL之mini-batch：理解深度学习算法中的优化技术【mini-batch技术+etc】
 
import numpy as np
from DIY_module.mnist import load_mnist
 
 
(x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, one_hot_label=True)
设定参数one_hot_label=True，可以得到one-hot 表示（即仅正确解标签为1，其余为0 的数据结构）。
 
print(x_train.shape)  (60000, 784)
print(t_train.shape)  (60000, 10)
 
 
从训练数据中随机抽取10笔数据，只需指定这些随机选出的索引，取出mini-batch，然后使用这个mini-batch 计算损失函数即可！
train_size = x_train.shape[0]
batch_size = 10
batch_mask = np.random.choice(train_size, batch_size)
np.random.choice(60000, 10)会从0 到59999 之间随机选择10 个数字
 
x_batch = x_train[batch_mask]
t_batch = t_train[batch_mask]
 
 
实现mini-batch版交叉熵误差
同时处理单个数据和批量数据（数据作为batch集中输入）两种情况的函数。
def cross_entropy_error(y, t):
    if y.ndim == 1: if判断y的维度为1 时，即求单个数据的交叉熵误差时，需要改变数据的形状
        t = t.reshape(1, t.size)
        y = y.reshape(1, y.size) 当输入为mini-batch 时，要用batch 的个数进行正规化，计算单个数据的平均交叉熵误差。
    batch_size = y.shape[0]
    return -np.sum(t * np.log(y + 1e-7)) / batch_size
 
当监督数据是标签形式（非one-hot 表示，而是像“2”“7”这样的标签）时，交叉熵误差可通过如下代码实现。
(1)、实现的要点是，由于one-hot表示中t为0的元素的交叉熵误差也为0，因此针对这些元素的计算可以忽略。即如果可以获得神经网络在正确解标签处的输出，就可以计算交叉熵误差。
def cross_entropy_error(y, t):
    if y.ndim == 1:
        t = t.reshape(1, t.size)
        y = y.reshape(1, y.size)
    batch_size = y.shape[0]
    return -np.sum(np.log(y[np.arange(batch_size), t] + 1e-7)) / batch_size  微小值1e-7
 
np.log(y[np.arange(batch_size),t]) np.arange(batch_size)会生成一个从0到batch_size-1的数组
y[np.arange(batch_size),t]  会生成NumPy数组[y[0,2], y[1,7], y[2,0],y[3,9], y[4,4]])。

网站声明：如果转载，请联系本站管理员。否则一切后果自行承担。

本文链接：https://www.xckfsq.com/news/show.html?id=3829

赞同 0

评论 0 条

DL之DNN优化技术：神经网络算法简介之数据训练优化【mini-batch技术+etc】

1、mini-batch技术

输出结果

实现代码

相关文章

关注我们