算法测试之商品标签质量测试
基于tag推荐是独立于基于宝贝推荐和基于用户推荐的一个推荐算法。它分为两部分：商品标签和用户标签，可以通过tag做商品之间的关联，也可以做用户和商品之间的关联。目前关联推荐在商品标签算法上已经做了两版优化，优化效果还不错。算法采用的是机器学习方法，提取宝贝的训练特征并选择样本集，通过机器学习模型训练，得到一个好的训练模型，再对全网的商品进行训练产出商品标签数据。
随着算法的两版优化，测试这边也积累了一些测试指标。
1、标签去重
一个宝贝的标题中可能会包含重复的词，如果算法没有对重复的分词去重，会出现一个宝贝出现两个相同的标签。
2、过滤停用词
宝贝标题中会包含一些特殊符号，还会包含一些没有意义的标签，如：包邮、促销、打折、人气、清仓等等，这些词都需要过滤。目前停用词库中的词已经比较全了，当然词库是动态的，可以不断地往里添加停用词。
3、过滤只有英文、数字、符号组成的词
这样的词基本是一些货号之类的词，粒度太细，不太具有商品之间的关联关系，因此应该过滤。
4、语义为产品类型-简单的词的分数排名
每个宝贝都有一个词是确定描述这个宝贝的类型的，即通过这个词能知道这是个什么宝贝。这样的词的语义是：产品类型-简单。这样的词，它的分数应该是高的（一些特殊类目下，可能品牌标签的分数更高一些）。
5、品牌标签召回率
品牌对于一个宝贝的重要程度和类目有很大的关系，比如数码类目品牌标签的重要性很高，而像女装类目会相对低一点。但是不管怎么说，将品牌标签能分出来是先要做的事。测试品牌标签召回率首先要做的是建立品牌标签词库，然后再看算法产出的品牌标签覆盖标签库的比率。
6、标签召回率
同品牌标签召回率，标签召回率同样是建立一个标签词库，然后看算法产出的品牌标签覆盖标签库的比率。
7、训练模型精确性
这个应该是算法开发同学自测点。一个模型是否合理精确，在结果上可以从4、5、6来评测。在算法层面上，可以通过标签输入输出分数结果差的平方根值的大小来判定。
这些测试点难的是标签库的建立。目前这边的标签库是人工建立的，由于全网的量太大，现在只是在叶子类目下选取1、2个建立。获取标签的途径可以是从运营那边得到的标签，甚至从外部购物网站得到的，可以从搜索那边得到，还可以人工抽取一些标签。标签词库是个动态建立的过程，算法产出的标签也可以加入标签库，不断优化，不断加入，后形成一个比较完善的标签库。
