当前位置: 首页 > >

关于pytorch中optimizer.zero_grad()

发布时间:

这个查了好多资料才搞明白
一个Batch有最少一张图片,计算loss的时候是对Batch_size张图片的loss对weight的导数的*均数,所以会有一个Batch_size张图片loss累加的计算的过程,这时候在计算新的导数的时候,是要进行一次清零才能计算新一轮Batch中Batch_size张图片的导数



友情链接: