tensorflow 分类损失函数使用小记

多分类损失函数

label.shape:[batch_size]; pred.shape: [batch_size, num_classes]

使用 tf.keras.losses.sparse_categorical_crossentropy(y_true, y_pred, from_logits=False, axis=-1)

- y_true 真实值， y_pred 预测值
- from_logits,我的理解是，如果预测结果经过了softmax(单次预测结果满足和为1)就使用设为`False`,  
如果预测结果未经过softmax就设为`True`.

pred = tf.convert_to_tensor([[0.9, 0.05, 0.05], [0.5, 0.89, 0.6], [2.05, 0.01, 0.94]]) label = tf.convert_to_tensor([0, 1, 2]) loss = tf.keras.losses.sparse_categorical_crossentropy(label, pred) print(loss.numpy()) # 包含 reduction 参数, 用于对一个批次的损失函数求平均值,求和等 # loss = tf.keras.losses.SparseCategoricalCrossentropy()(label, pred) label.shape:[batch_size, num_classes](one_hot);pred.shape:[batch_size, num_classes]

使用 tf.keras.losses.categorical_crossentropy(y_true, y_pred, from_logits=False, axis=-1)

- y_true 真实值， y_pred 预测值
- from_logits 同上

pred = tf.convert_to_tensor([[0.9, 0.05, 0.05], [0.5, 0.89, 0.6], [0.05, 0.01, 0.94]]) label = tf.convert_to_tensor([[1, 0, 0], [0, 1, 0], [0, 0, 1]]) loss = tf.keras.losses.categorical_crossentropy(label, pred) print(loss.numpy())

二分类损失损失函数

label = tf.convert_to_tensor([0, 0, 1, 1], dtype=tf.float32) pred = tf.convert_to_tensor([1, 1, 1, 0], dtype=tf.float32) loss = tf.keras.losses.BinaryCrossentropy()(label, pred) print(loss.numpy())

多分类与二分类

通常 categorical_crossentropy与 softmax激活函数搭配使用; binary_crossentropy 与 sigmoid搭配使用;

参考

您可能感兴趣的文章:详解tensorflow训练自己的数据集实现CNN图像分类解决Tensorflow安装成功,但在导入时报错的问题详解Tensorflow数据读取有三种方式（next_batch）浅谈Tensorflow由于版本问题出现的几种错误及解决方法浅谈Tensorflow模型的保存与恢复加载TensorFlow实现RNN循环神经网络TensorFlow在MAC环境下的安装及环境搭建TensorFlow模型保存/载入的两种方法关于Tensorflow中的tf.train.batch函数的使用

损失 分类 函数 损失函数 tensorflow