当前位置: 首页 > news >正文

哪个网站做外贸零售比较好呢网站播放视频速度优化

哪个网站做外贸零售比较好呢,网站播放视频速度优化,网页制作模板代码hb,临淄做网站在网上查了一些资料,但是这个情况和网上都不太一样。前100epoch能正常训练,loss缓慢下降,精度缓慢增大,但是突然loss就Nan了,我想应该不是样本问题也不是梯度爆炸或者loss中有除0吧,毕竟都训练了100epoch了…

在网上查了一些资料,但是这个情况和网上都不太一样。前100epoch能正常训练,loss缓慢下降,精度缓慢增大,但是突然loss就Nan了,我想应该不是样本问题也不是梯度爆炸或者loss中有除0吧,毕竟都训练了100epoch了
最终发现问题:
之前代码为:

predict = torch.log(torch.softmax(result, dim=-1))

损失函数为:

torch.nn.NLLLOSS

更改后

#predict = torch.log(torch.softmax(result, dim=-1))

直接删去softmax和log而损失函数改为:

criterion= nn.CrossEntropyLoss()

nan消失
网上查阅nn.CrossEntropyLoss()的实现为:

import torch.nn as nnm = nn.LogSoftmax()loss = nn.NLLLoss()# input is of size nBatch x nClasses = 3 x 5input = autograd.Variable(torch.randn(3, 5), requires_grad=True)# each element in target has to have 0 <= value < nclassestarget = autograd.Variable(torch.LongTensor([1, 0, 4]))output = loss(m(input), target)

其实直接使用pytorch中的loss_func=nn.CrossEntropyLoss()计算得到的结果与softmax-log-NLLLoss计算得到的结果是一致的。那原因主要在nn.LogSoftmax()上了。直接使用nn.LogSoftmax()和分开写:torch.log(torch.softmax(result, dim=-1))有什么不一样吗?为什么torch.log(torch.softmax(result, dim=-1))这样写会在训练过程中产生nan呢?

http://www.khdw.cn/news/20181.html

相关文章:

  • 官方网站建设公驻马店网站seo
  • 西宁做网站是什么宁德市区哪里好玩
  • 平面设计包括哪些方面的设计长清区seo网络优化软件
  • 购物网站最近浏览怎么做自动点击器app
  • 烟台 网站建设公关公司排名
  • 龙华营销型网站建设公司常用的关键词优化策略有哪些
  • 有什么兼职做设计的网站好产品营销推广
  • 久久做bilibili官网网站南宁网站建设优化服务
  • 海外直播seo优化培训学校
  • 乐陵网站制作搜索引擎优化结果
  • 盐城做网站网络公司电话?企业营销策略
  • 谷歌浏览器对做网站有什么好处google谷歌搜索主页
  • 做模特的网站seo咨询岳阳
  • 百度网站空间百度一下百度主页官网
  • 做公务员试题比较好的网站好搜搜索引擎
  • 电商网站设计实例google搜索首页
  • 郑州高端网站建设多少钱博客优化网站seo怎么写
  • 武陟外贸英文网站建设搜索软件排行榜前十名
  • 网站开发 入门教程网络营销的推广手段
  • 清远公司网站建设企业邮箱注册
  • 做外贸的有哪些网站有哪些公司网站建设推广
  • 自己做网站 微信给公司做网站的公司
  • 做物流用哪个网站好网站搜索引擎优化方法
  • wordpress模版制作工具网站优化哪家好
  • 我想学网站建设seo描述快速排名
  • 企业网站做百度小程序2345网止导航
  • 什么网站可以看到绵阳建设百度一下官网首页网址
  • 免备案做网站可以盈利吗杭州百度推广代理公司哪家好
  • 巨野做网站的优化资源配置
  • 吉林省交通建设集团有限公司网站seo搜索引擎优化是