损失函数

Categorical Crossentropy

$CE(x)=-\sum_{i=1}^C y_i \log\^y$

一般用于多分类，配合采用Softmax作激活函数。

扩展:

  1. Sparse Categorical Crossentropy，在数据中使用整数编码，可以节约空间。
  2. 可使用from_logits=True参数，表明输出已经归一化过了。

Binary Crossentropy

$BCE(x)=-[y \log\^y + (1 - y) \log(1 - \^y)]$

可用于二分类，配合采用Sigmoid作激活函数。

Mean Squared Error

$MSE(x)=\frac{1}{n} \sum_{i=1}^n (\^y_i-y_i)^2$

可用于拟合到一个输出范围为(0,1)或(-1,1)的评分，可配合sigmoid或tanh这类激活函数。