数据挖掘干货总结(五)--推荐算法之CB

本文共计2960字，预计阅读时长十分钟

推荐算法(一)--CB算法

一、推荐的本质

推荐分为非个性化和个性化，非个性化推荐比如各类榜单，而本系列主要介绍个性化推荐，即：

在合适的场景，合适的时机，通过合适的渠道，把合适的内容，推荐给合适的用户

二、推荐算法的种类

1. 基于内容Content Based

2. 基于协同Collaboration Filtering

– User Based CF

– Item Based CF

三、CB算法详解

1. Content的内容

① 只引入Item属性的Content Based推荐

优点：

a.提升推荐结果的相关性

b结果可解释

c.推荐结果容易被用户感知

缺点：

a.无个性化

b.依赖于对item的深入分析

② 引入Item和User属性的Content Based推荐

在上一步的item提取特征之后的基础上，加上了用户的一些行为数据。需要注意，行为数据也需要特征化后才能和之前的item特征放在一起进行分析，其中可能会涉及到一些one-hot编码的问题，这里不展开，需要了解的话，见：

怎么理解one-hot？

优点：

a.用户模型刻画了用户兴趣需求

b.推荐形式多样，具有个性化

c.结果可解释

缺点：

a.推荐精度低

b.马太效应

c.用户行为稀疏，导致覆盖率低

2. 需求举例（仅基于item的特征）：

用户小明听了一首歌，每首歌(item)的数据属性包括编号(id)和内容(content)，如：

idcontent

id1王铮亮 时间都去哪了 《私人订制》插曲

......

根据CB，向他推荐10首歌

3. 解决步骤和核心代码：

① 对歌曲库中的每首歌content进行分词，并用tf_idf赋值

+++jieba_score_udf.py+++

# coding=utf-8

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

import jieba.analyse

import jieba

import json

import re

#正则匹配中文

pattern = re.compile(u'[一-龥]')

#切词，并用tf_idf赋值

for line in sys.stdin:

cols = line.strip().split('')

id = cols[0]

words_list = jieba.analyse.extract_tags(cols[1],topK=10,withWeight=True)

for (word,score) in words_list:

if len(re.findall(pattern,word)) != 0:

print '%s%s%s' % (id,word,score)

大致得到（数据是随便编的） t1

idwordscore

id1时间0.1

id1王铮亮0.5

id1私人0.5

id2时间0.4

id2煮0.4

id2雨0.1

id3私人0.3

.........

② 在hive中调用这个udf,得到倒排表

hive> add 'udfpath/jieba_score_udf.py'

hive> select

hive> word,collect_list(concat_ws(':',id,score)) as id_score_list

hive> from

hive> (select transform(id,desc) using 'python jieba_score_udf.py' as(id,word,score)

hive> from badou.musics sort by score desc

hive> ) t

hive> group by word;

大致得到（数据是随便编的） t2

word id_score_list

王铮亮[id1:0.5,...]

时间[id2:0.4, id1:0.1...]

私人[id1:0.5, id3:0.3,...]

......

③ 得到ids推荐列表

hive> select tt1.id,collect_list(concat_ws('_', tt2.id, nscore)) ids

hive> from

hive> (select tt1.id, tt2.id, sum(tt2.score) nscore

hive> from

hive> (select tt1.id, tt2.id, tt2.score new_score

hive> from

hive> (select id, word from t1) tt1

hive> join

hive> (select word, id, score from t1) tt2

hive> on tt1.word = tt2.word

hive> ) tt3

hive> where tt1.id <> tt2.id

hive> group by tt1.id,tt2.id

hive> order by nscore desc) tt4;

大致得到（数据是随便编的） t3

id ids

id1[id2:0.5,...]

id2[id1:0.5, id3:0.1...]

id3[id2:0.5, id1:0.3,...]

......

④ 推荐

i) 如果小明听的这首歌id在t3表中存在，那么直接取出对应的ids即可

ii) 如果小明听的这首歌id在t3表中不存在。

a. 需要在线对其content做分词，得到一个word列表:(word1, word2, word3,...)

b. 在t1中找出对应的id分数，求和排序，取top10即可

hive> select id, sum(score) nscore

hive> from

hive> (select id, word, score from t1

hive> where word in (word1, word2, word3,...) tt

hive> group by id

hive> order by nscore desc

hive> limit 10;

或者在t2倒排表中选取对应的ids，解析后求和排序，结果都一样，但可能会更快一点

hive> select

hive> split(id_score,':')[0] as id,

hive> sum(split(id_score,':')[1] as score) nscore

hive> from

hive> (select word, explode(id_score_list,',') id_score

hive> from t2

hive> where word in (word1, word2, word3,...)

hive> ) ttt

hive> group by id

hive> order by nscore desc

hive> limit 10;

不切实际的期望和恐惧是造成焦虑的根源

我们需要以实际情况和发生概率为依据

避免非黑即白地去看待事物