pytorch 实现cross entropy损失函数计算方式
均方损失函数：
这里 loss, x, y 的维度是一样的，可以是向量或者矩阵，i 是下标。
很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数。因为一般损失函数都是直接计算 batch 的数据，因此返回的 loss 结果都是维度为 (batch_size, ) 的向量。
(1)如果 reduce = False，那么 size_average 参数失效，直接返回向量形式的 loss
(2)如果 reduce = True，那么 loss 返回的是标量
a)如果 size_average = True，返回 loss.mean();
b)如果 size_average = False，返回 loss.sum();
注意：默认情况下， reduce = True，size_average = True
import torch
import numpy as np
1、返回向量
loss_fn = torch.nn.MSELoss(reduce=False, size_average=False)
a=np.array([[1,2],[3,4]])
b=np.array([[2,3],[4,5]])
input = torch.autograd.Variable(torch.from_numpy(a))
target = torch.autograd.Variable(torch.from_numpy(b))
这里将Variable类型统一为float()（tensor类型也是调用xxx.float()）
loss = loss_fn(input.float(), target.float())
print(loss)
tensor([[ 1., 1.],
[ 1., 1.]])
2、返回平均值
a=np.array([[1,2],[3,4]])
b=np.array([[2,3],[4,4]])
loss_fn = torch.nn.MSELoss(reduce=True, size_average=True)
input = torch.autograd.Variable(torch.from_numpy(a))
target = torch.autograd.Variable(torch.from_numpy(b))
loss = loss_fn(input.float(), target.float())
print(loss)
tensor(0.7500)
以上这篇pytorch 实现cross entropy损失函数计算方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持软件开发网。
您可能感兴趣的文章:Pytorch 的损失函数Loss function使用详解PyTorch中反卷积的用法详解Pytorch之contiguous的用法PyTorch中topk函数的用法详解
相关文章
Willow
2020-09-23
Cynthia
2020-09-01
Thirza
2023-07-20
Rhoda
2023-07-20
Xylona
2023-07-20
Tesia
2023-07-20
Ursula
2023-07-20
Radinka
2023-07-20
Dorothy
2023-07-20
Edana
2023-07-20
Dabria
2023-07-20
Paula
2023-07-20
Peony
2023-07-20
Rayna
2023-07-20
Fawn
2023-07-21
Tia
2023-07-21
Victoria
2023-07-21
Olathe
2023-07-21
Chipo
2023-07-21