推荐领域常见的dnn模型框架结构

din

din中文名深度兴趣网络，由阿里提出并使用到工业上。din主要解决的问题是multi-hot特征的处理方式。传统的multi-hot特征的处理方式大多都是对多个id embedding求均值作为该multi-hot特征最终对输入。din的思想是根据待预估的对象对multi-hot特征的id embedding进行加权计算均值。以我们在广告上的尝试作为例子对din的网络结构进行介绍。首先我们是预估用户对每个广告（ideaid）的点击率。因此模型在传统的结构前multi-hot特征会过一个新的fc网络，输入是multi-hot的tf.concat([multi-hot id, ideaid])经过fc后输出一个float值，然后根据一个multi-hot下的所有float值进行权重计算，得到每个id的权重w，根据w对所有id embedding进行加权计算，得到multi-hot的加权均值。用multi-hot特征加权均值代替原来的直接均值，剩余部分则和原来网络结构一致。

pnn

pnn全名product  neural network。pnn主要是对embedding进行交叉。包含两个部分，p部分和z部分。z部分就是跟原来dnn input一样，p部分对计算有内积和外积两种方式。内积就是对所有n个特征域的特征embedding两两进行点乘，得n*(n-1)/2个float交叉特征。将原来的特征embedding和新产生的交叉特征进行concat后输入到网络种。

wide&deep

模型结构包括两部分，wide部分和deep部分。deep部分跟常见的dnn没有区别，wide部分是一个类似lr的线性网络。两部分网络的经过加权后得到y_deep + y_wide，计算loss。

领域 dnn 框架