程序员笔记 (九十五)神经网络的优化求解算法


外向笑小鸭子
外向笑小鸭子 2024-01-12 14:31:48 48631 赞同 0 反对 0
分类: 资源 标签: 运维
程序员笔记 (九十五)神经网络的优化求解算法

在神经网络中有几种常用的优化求解算法,在这里主要记录一下各个算法的优势和缺点,对选择提供一些依据。

常用算法

sgd:随机梯度下降法。每次从训练集中随机选择batch_size个样本进行正向传播计算平均loss,再进行反向传播更新权重参数。

Momentum SGD和Nesterov Momentum(下面统称动量法):增加了动量项。

Adagrad:在学习率上做文章。固定的学习率除以每个参数的历史更新累加值。

Adadelta:直接对每次更新的△W进行改进,学习率由一个除法得到,分母是历史的梯度累加,分子是历史的参数更新累加值。

RMSprop:Hinton提出的。固定的学习率除以参数的历史更新累加值。看起来与Adagrad很像,但是RMSprop是按权重累加,解决了Adagrad越加越大的问题。

Adam:同时使用了动量和梯度的平方和加权。

算法优缺点

算法名称 优点 缺点

sgd 每次都能直奔目标点,不走弯路 收敛速度慢,容易陷入局部最优点

动量法 收敛速度比较快,具备跳出局部最优点的能力 由于动量比较大,因此经常容易冲过目标点,然后再往回进行收敛

Adagrad 对不同参数的学习率区别对待,前期收敛速度比较快,不会陷入局部最优点 训练后期学习率过小导致收敛速度变慢

Adadelta 不需要人工给定学习率,收敛速度快,不会陷入局部最优点 容易冲过全局最优点

RMSprop Hinton已经给出学习率,收敛速度快,不会陷入局部最优点 容易冲过全局最优点

     实际使用中,可以选择目前最常用的几个,如RMSprop、Adam等,效果一般不错。不过据说Adam会比同样达到最优的sgd在性能上低1个百分点。

如果您发现该资源为电子书等存在侵权的资源或对该资源描述不正确等,可点击“私信”按钮向作者进行反馈;如作者无回复可进行平台仲裁,我们会在第一时间进行处理!

评价 0 条
外向笑小鸭子L0
粉丝 0 资源 87 + 关注 私信
最近热门资源
银河麒麟桌面操作系统备份用户数据  123
统信桌面专业版【全盘安装UOS系统】介绍  116
银河麒麟桌面操作系统安装佳能打印机驱动方法  108
银河麒麟桌面操作系统 V10-SP1用户密码修改  101
最近下载排行榜
银河麒麟桌面操作系统备份用户数据 0
统信桌面专业版【全盘安装UOS系统】介绍 0
银河麒麟桌面操作系统安装佳能打印机驱动方法 0
银河麒麟桌面操作系统 V10-SP1用户密码修改 0
作者收入月榜
1

prtyaa 收益393.62元

2

zlj141319 收益217.85元

3

1843880570 收益214.2元

4

IT-feng 收益208.98元

5

风晓 收益208.24元

6

777 收益172.71元

7

Fhawking 收益106.6元

8

信创来了 收益105.84元

9

克里斯蒂亚诺诺 收益91.08元

10

技术-小陈 收益79.5元

请使用微信扫码

加入交流群

请使用微信扫一扫!