小樱知识 > 生活常识sgd(通用优化算法有哪些比SGD更好用且有理论依据的)

sgd(通用优化算法有哪些比SGD更好用且有理论依据的)

提问时间:2022-11-15 10:16:55来源:小樱知识网


通用优化算法有哪些比SGD更好用且有理论依据的?

泻药。

其实真正意义上能解任何问题的通用优化算法是不存在的也称做没有免费的午餐定理。

这里说说那些和sgd一样条件(目标函数是凸函数梯度的变化率上有界且不带约束)但是速度更快的算法(adagrad adam都看作是sgd的简单变种不做讨论)常见的有sagastochastic newton method。速率可以更快单实际单次计算成本也会增加所以实际问题中需要权衡考虑

sgd算法和adm算法有什么区别?

sgd算法和adm算法有以下区别:

SGD能够到达全局最优解而且训练的最佳精度也要高于其他优化算法但它对学习率的调节要求非常严格而且容易停在鞍点。

Adm是傻瓜式的优化算法它很容易的跳过鞍点而且不需要人为的干预学习率的调节但是它很容易在局部最小值处震荡存在在特殊的数据集下出现学习率突然上升造成不收敛的情况也就是说它有其他优化算法的所有优点和所有不足。

sgd是什么厂牌?

是苏州的。

SGD的中文名是苏州园林苏州园林是中国的品牌。

江苏服务名牌国内较早成立的园林古建专业公司从事园林景观设计/古典园林营造/景观绿化施工/文物古迹保护修缮等业务的企业

苏州园林发展股份有限公司是一家具备完整产业链的综合性园林企业是江南园林的代表公司及其下属子公司拥有园林古建施工、城市园林绿化、文物保护施工三项一级资质和风景园林设计甲级资质。

以上内容就是为大家推荐的sgd(通用优化算法有哪些比SGD更好用且有理论依据的)最佳回答,如果还想搜索其他问题,请收藏本网站或点击搜索更多问题

内容来源于网络仅供参考
二维码

扫一扫关注我们

版权声明:所有来源标注为小樱知识网www.xiaoyin02.com的内容版权均为本站所有,若您需要引用、转载,只需要注明来源及原文链接即可。

本文标题:sgd(通用优化算法有哪些比SGD更好用且有理论依据的)

本文地址:https://www.xiaoyin02.com/shcs/794337.html

相关文章