项目基于中文分词库jieba的技术基础上构建,用于提取新闻文章中的关键词,然后根据这些关键词来获取相关的新闻内容。项目还使用了杰卡德相似系数来计算不同新闻文章之间的相似度。当用户浏览某一篇新闻时,系统能够智能地推荐与该新闻相关的其他新闻。
首先,我们使用jieba分词库对新闻文章进行分词处理,将文章拆分成词语,识别其中的关键词。这些关键词代表了文章的主题和重点内容。
接下来,我们根据提取出的关键词来检索其他新闻文章,寻找包含相似关键词的文章。这可以通过计算不同文章之间的杰卡德相似系数来实现,该系数可以度量两个集合的相似程度。
当用户正在浏览某一篇新闻时,系统会根据该新闻的关键词和内容,推荐与之相关的其他新闻。这种推荐系统可以提供更多深入的信息,帮助用户更好地了解相关主题和事件。
总的来说,这个项目基于jieba的分词技术和杰卡德相似系数的计算,实现了一种智能的新闻推荐系统。这对于新闻阅读者来说,可以提供更丰富的新闻体验,帮助他们更全面地了解感兴趣的主题和新闻事件。
本部分包括系统整体结构图和系统流程图。
系统整体结构如图所示。
系统流程如图所示。
本部分包括Python环境、node.js前端环境和MySQL数据库。
本项目需要Python 3.6及以上版本,在Windows环境下推荐下载Anaconda完成Python所需的配置,下载地址为https://www.anaconda.com/。其中使用的包为: Django==2.1
、PyMySQL==0.9.2
、jieba==0.39
、xlrd==1.1.0
、 gensim==3.6.0
。
在命令行窗口输入以下命令并运行,即可下载对应版本的gensim包:
pip install gensim==3.6.0
其他包按类似的方式完成安装。
前端开发依赖于node.js环境,使用Vue.js框架,node.js对应的版本是10.13,可在node.js官网选择相应系统和版本进行安装,并依据教程完成Vue框架的搭建。下载地址为https://nodejs.org/en/download/。
安装完成后,对npm的全局模块所在路径以及缓存路径,进行环境配置,并创建两个子文件夹node_cache
和node_global
。
在命令行窗口输入以下命令并运行(记得将路径改为本地的安装路径) :
npm config set prefix "D:\program files \nodejs\node_global"
npm config set cache "D:\program files\nodejs\node_cache"
单击“我的电脑”→“属性”→“高级系统设置”,进入系统设置界面后,单击“高级”→“环境变量”进入配置界面。
为用户变量path添加node_global文件夹路径。为系统变量添加一个NODE_PATH,将输入node_cache 文件夹的路径。
基于node.js利用npm安装相关依赖,此处建议使用国内的淘宝镜像npm。
安装全局vue-cli脚手架,用于帮助搭建所需要的模板框架,在命令行输入:
cnpm install -g vue-cli
安装完成后命令行窗口输入vue (小写),如命令行窗口显示vue的信息,则表明安装成功,可输入vue-V查看版本。
数据存入MySQL数据库,为前端提供内容以及后端的计算提供依据。本项目使用数据库服务器MySQL Community Server (GPL) - 5.6.39,可以前往MySQL选择对应的版本进行下载,官网地址为https://www.mysql.com/downloads/。如node.js中一样,为MySQL配置环境变量,在系统变量中选择path,将MySQL文件下的bin文件路径输入即可。
以管理员身份运行命令行窗口,输入以下命令进入MySQL的bin文件下:
cd D:\program files\MySQL\mysql-5.6.39-winx64\bin
输入以下命令(一定是管理员权限,否则会报错):
mysqld - install
启动服务,输入以下命令:
net start mysql
服务启动成功之后,进入MySQL数据库,输入以下命令(第一次进入无须密码,后续可进行添加密码) :
mysql -u root -P
进入数据库时,无须再输入net start mysql
命令,直接在命令行状态进入bin文件夹下,输入mysql -u root -p
命令再输入密码即可进入数据库。
本项目包括6个模块:数据预处理、热度值计算、相似度计算、新闻统计、API接口开发、前端界面实现,下面分别给出各模块的功能介绍及相关代码。
数据来自网站的早年新闻,爬取时,源数据仅有新闻题目、正文和发帖时间,为方便计算新闻的热度值,给新闻添加了随机的浏览次数和评论数。
新闻数据的Excel链接https://pan.baidu.com/s/1HRYvHmxIrGT7pmoizRe2cA,提取码: wezi;用SQL语句将处理过的数据导入MySQI数据库。
每个新闻计算一个热度值,为后续的热度榜和为你推荐模块做新闻排序使用。新闻热度、浏览次数和评论次数有着紧密的联系,但是在排除不确定因素下,评论次数提供了更高的权重,同时,随着时间的推移,越旧的新闻热度越下降。热度值=某则新闻被浏览的次数X 0.4+某则新闻被评论的次数X0.5-新闻发布日期和目前日期的时间差(以天为单位) X0.1。
新闻热度值计算对应的函数代码如下:
def calHotValue(self):
base_time = datetime.now()
sql = "select new_id, new_cate_id, new_seenum, new_disnum, new_time from new"
self.cursor.execute(sql)
result_list = self.cursor.fetchall()
result = list()
for row in result_list:
diff=base_time-datetime.strptime(str(row[4].date()),'%Y-%m-%d')
hot_value = row[2] * 0.4 + row[3] * 0.5 - diff.days * 0.1
result.append((row[0],row[1],hot_value))
return result
新闻相似度是本项目进行推荐的基础,使用新闻主题词的重合度考量新闻相似度。
实现思路:使用Python的jieba分词包对每则新闻的标题做分词处理,选用新闻的标题做分词处理是因为新闻题材的特殊性。看一篇新闻的第一-切入点便 是新闻标题,标题是整篇新闻的高度概括,当两则新闻的标题重合度越高,新闻本身的内容相似度也就越大。
使用Python的xlrd.open_work()
函数加载Excel文件。加载原始数据对应的函数实现为:
#加载数据
def loadData(self):
news_dict = dict()
#使用xlrd加载xlsx格式文件,返回一个table对象
table = xlrd.open_workbook(self.file).sheets()[0]
#遍历每一行
for row in range(1,table.nrows):
#将每一列返回为一个数组
line = table.row_values(row, start_colx=0, end_colx=None)
new_id = int(line[0])
news_dict.setdefault(new_id,{})
news_dict[new_id]["tag"]= line[1]
news_dict[new_id]["title"] = line[5]
news_dict[new_id]["content"] = line[-1]
return news_dict
原始数据加载之后保存在变量news_dict中,在文章标题分词时使用,分词使用的是jieba.analyse.extract_tags()
函数。句子中的大量单音节词、标点符号等,在分词时要去掉这些词语或标点符号,实现方法是加载停用词表(本项目中的stop_words.txt
文件)进行过滤,提取新闻标题的关键词对应的函数实现代码如下:
#调用jieba分词获取每篇文章的关键词
def getKeyWords(self):
news_key_words = list()
#加载停用词表
stop_words_list=[line.strip()for line in open
("./../files/stop_words.txt").readlines()]
for new_id in self.news_dict.keys():
if self._type == 1:
#allowPOS 提取地名、名词、动名词、动词
keywords = jieba.analyse.extract_tags(
self.news_dict[new_id]["title"]
+self.news_dict[new_id]["content"],
topK=10,
withWeight=False,
allowPOS=('ns', 'n', 'vn', 'v')
)
news_key_words.append(str(new_id)+'\t'+",".join(keywords))
elif self._type == 2:
#cut_all :False 表示精确模式
keywords=jieba.cut(self.news_dict[new_id]["title"],cut_all=False)
kws = list()
for kw in keywords:
if kw not in stop_words_list and kw != " " and kw != " ":
kws.append(kw)
news_key_words.append(str(new_id)+'\t'+",".join(kws))
else:
print("请指定获取关键词的方法类型<1:TF-IDF 2:标题分词法>")
return news_key_words
例如,标题《知识就是力量》第一季完美收官爱奇艺打造全民解忧综艺的分词结果为:知识、力量、第一季、完美、收官、爱奇艺、打造、全民、解忧、综艺。
新闻相似度的计算采用杰卡德相似系数,其对应函数为:
def getCorrelation(self):
news_cor_list = list()
for newid1 in self.news_tags.keys():
id1_tags = set(self.news_tags[newid1].split(","))
for newid2 in self.news_tags.keys():
id2_tags = set(self.news_tags[newid2].split(","))
if newid1 != newid2:
print( newid1 + "\t" + newid2 + "\t" + str(id1_tags & id2_tags) )
cor = ( len(id1_tags & id2_tags) ) / len (id1_tags | id2_tags)
if cor > 0.0:
news_cor_list.append([newid1,newid2,format(cor,".2f")])
return news_cor_list
统计指定标签下的新闻是为用户选择标签后生成“为你推荐”模块内容做准备,这里指定用户可以选择的标签有:峰会、AI、技术、百度、互联网等。相关代码如下:
#获取每个标签下对应的文章
def getNewsTags(self):
result = dict()
for file in os.listdir(self.kw_path):
path = self.kw_path + file
for line in open(path, encoding= "utf-8").readlines():
try:
newid, tags = line.strip().split("\t")
except:
print("%s 下无对应标签" % newid)
for tag in tags.split(","):
if tag in ALLOW_TAGS:
sql = "select new_hot from newhot where new_id=%s" % newid
self.cursor.execute(sql)
hot_value = self.cursor.fetchone()
result.setdefault(tag,{})
result[tag][newid]=hot_value[0]
return result
#对每个标签下的新闻进行排序,并写入mysql
def writeToMySQL(self):
for tag in self.result.keys():
for newid in self.result[tag].keys():
sql_w = "insert into newtag( new_tag,new_id,new_hot ) values('%s', '%s' ,%s)" % (tag, newid, self.result[tag][newid])
try:
self.cursor.execute(sql_w)
self.db.commit()
except:
print("rollback", tag,newid,self.result[tag][newid])
self.db.rollback()
API接口即与前端进行交互的函数,新闻类别表中定义的类别包括为你推荐(cateid=1
) 、热度榜(cateid=2
)和其他正常类别的新闻数据,当用户进行访问时,调用home()
函数,代码中会根据前端传入的cateid参数决定选择哪部分数据处理逻辑,相关代码如下:
def home(request):
#从前端请求中获取cateid
_cate = request.GET.get("cateid")
if "username" not in request.session.keys():
return JsonResponse({ "code":0 })
total = 0 #总页数
#如果cate 是为你推荐,走该部分逻辑tag_flag = 0表示不是从标签召回数据
if _cate == "1":
news, news_hot_value = getRecNews(request)
#如果cate 是热度榜,走该部分逻辑
elif _cate == "2":
news,news_hot_value = getHotNews()
#其他正常的请求获取
else:
_page_id = int(request.GET.get("pageid"))
news = new.objects.filter(new_cate=_cate).order_by("-new_time")
total = news.__len__()
news = news[_page_id * 10:(_page_id+1) * 10]
#数据拼接
result = dict()
result["code"] = 2
result["total"] = total
result["cate_id"] = _cate
result["cate_name"] = str(cate.objects.get(cate_id=_cate))
result["news"] = list()
for one in news:
result["news"].append({
"new_id":one.new_id,
"new_title":str(one.new_title),
"new_time": one.new_time,
"new_cate": one.new_cate.cate_name,
"new_hot_value": news_hot_value[one.new_id] if _cate == "2" or _cate == "1" else 0 ,
"new_content": str(one.new_content[:100])
})
return JsonResponse(result)
如果cateid为1,表示用户请求的是“为你推荐”模块;如果cateid为2,表示用户请求的是‘热度榜模块;如果cateid为3,表示用户请求的是其他新闻所属类别下的数据。
当catied为1时,home ()
函数中调用getRecNews ()
函数。getRecNews
用来处理“为你推荐”的具体逻辑,此时需要判断用户是首次登录还是在系统内产生行为之后再次返回“为你推荐模块,这里使用参数tag_Aag
来表示,tag_Aag
的值不同表示获取数据的逻辑不同,相关函数如下:
# 热度榜排序逻辑:new_seenum*0.3+new_disnum*0.5+(new_date-base_data)* 0.2
def getHotNews():
# 从新闻热度表中取top 20数据
all_news = newhot.objects.order_by("new_hot").values("new_id", "new_hot")[:20]
all_news_id = [one["new_id"] for one in all_news]
all_news_hot_value = {one["new_id"]: one["new_hot"] for one in all_news}
# 返回热度榜单数据
return new.objects.filter(new_id__in=all_news_id), all_news_hot_value
# 为你推荐的数据获取逻辑
def getRecNews(request):
tags = request.GET.get('tags')
baseclick = request.GET.get("baseclick")
tag_flag = 0 if tags == "" else 1
tags_list = tags.split(",")
uname = request.session["username"]
# 标签召回逻辑
if tag_flag == 1 and int(baseclick) == 0:
num = (20 / len(tags_list)) + 1
news_id_list = list()
news_id_hot_dict = dict()
for tag in tags_list:
result = newtag.objects.filter(new_tag=tag).values("new_id", "new_hot")[:num]
for one in result:
news_id_list.append(one["new_id"])
news_id_hot_dict[one["new_id"]] = one["new_hot"]
return new.objects.filter(new_id__in=news_id_list)[:20], news_id_hot_dict
# 正常排序逻辑
elif tag_flag == 0:
# 首先判断用户是否有浏览记录
# 如果有该用户的浏览记录,则从浏览的新闻获取相似的新闻返回
if newbrowse.objects.filter(user_name=uname).exists():
# 判断用户浏览的新闻是否够10个,如果够每个取两个相似,不够则每个取20/真实个数+1相似
num = 0
browse_dict = newbrowse.objects.filter(user_name=uname).order_by("new_browse_time").values("new_id")[:10]
if browse_dict.__len__() < 10:
num = (20 / browse_dict.__len__()) + 1
else:
num = 2
news_id_list = list()
all_news_hot_value = dict()
# 遍历最近浏览的N篇新闻,每篇新闻取num篇相似新闻
for browse_one in browse_dict:
for one in newsim.objects.filter(new_id_base=browse_one["new_id"]).order_by("-new_correlation")[:num]:
news_id_list.append(one.new_id_sim)
all_news_hot_value[one.new_id_sim] = (newhot.objects.filter(new_id=browse_one["new_id"])[0]).new_hot
return new.objects.filter(new_id__in=news_id_list)[:20], all_news_hot_value
# 如果该用户没有浏览记录,第一次进入系统且没有选择任何标签,返回热度榜单数据的20~40
else:
# 从新闻热度表中取top20 新闻数据
all_news = newhot.objects.order_by("-new_hot").values("new_id", "new_hot")[20:40]
all_news_id = [one["new_id"] for one in all_news]
all_news_hot_value = {one["new_id"]: one["new_hot"] for one in all_news}
print(all_news_hot_value)
# 返回热度榜单数据
return new.objects.filter(new_id__in=all_news_id), all_news_hot_value
前端界面直接操作前端与后端交互,完成整个推荐过程。
表现:用户登录后进入标签选择界面,选择标签(或者直接跳过)后进入主页(包含推荐页面和热度榜),同时也可以选择切换用户进行更换操作。
#选择用户登录
def login(request):
if request.method == "GET":
result = dict()
result["users"]=ALLOW_USERS
result["tags"]=ALLOW_TAGS
return JsonResponse(result)
elif request.method == "POST":
#从前端获取用户名并写入 session
uname = request.POST.get('username')
request.session["username"]=uname
#前端将标签以逗号拼接的字符串形式返回
tags= request.POST.get('tags')
return JsonResponse({"username": uname,
"tags": tags,"baseclick":0 , "code": 1})
#主页
def home(request):
#从前端请求中获取cate
_cate = request.GET.get("cateid")
if "username" not in request.session.keys():
return JsonResponse({ "code":0 })
total = 0 #总页数
#如果cate 是推荐页面,走该部分逻辑tag_flag = 0表示不是从标签召回数据
if _cate == "1":
news, news_hot_value = getRecNews(request)
#如果cate 是热度榜,走该部分逻辑
elif _cate == "2":
news,news_hot_value = getHotNews()
#其他正常的请求获取
else:
_page_id = int(request.GET.get("pageid"))
news = new.objects.filter(new_cate=_cate).order_by("-new_time")
total = news.__len__()
news = news[_page_id * 10:(_page_id+1) * 10]
#切换用户
def switchuser(request):
if "username" in request.session.keys():
uname = request.session["username"]
#删除新闻浏览表中的记录
newbrowse.objects.filter(user_name=uname).delete()
print("删除用户: %s 的新闻浏览记录 ..." % uname)
#删除session值
del request.session["username"]
print("用户: %s 执行了切换用户动作,删除其对应的session值 ..." % uname)
return JsonResponse({"code":1})
#return HttpResponseRedirect("/index/login/")
设置本地IP地址为: ALLOWED_HOSTS = ['192.168.43.155','127.0.0.1']
,设置数据库配置及密码验证部分,确保前端能够有权限获取数据库的内容:
#数据库
#mysql配置
DB_HOST = "127.0.0.1"
DB_PORT = 3306
DB_USER = "root"
DB_PASSWD = "12345678"
DB_NAME = "newsrec"
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.mysql',
'NAME': DB_NAME,
'USER': DB_USER,
'PASSWORD': DB_PASSWD,
'HOST': DB_HOST,
'PORT': DB_PORT
}
}
#密码验证
AUTH_PASSWORD_VALIDATORS = [
{
'NAME': 'django.contrib.auth.password_validation.UserAttributeSimilarityValidator',
},
{
'NAME': 'django.contrib.auth.password_validation.MinimumLengthValidator',
},
{
'NAME': 'django.contrib.auth.password_validation.CommonPasswordValidator',
},
{
'NAME': 'django.contrib.auth.password_validation.NumericPasswordValidator',
},
]
#配置可使用的用户,以便完善整个界面的应用演示
ALLOW_USERS = ["张三","李四","王五"]
#配置选择用户进入下一页可被显示的标签
ALLOW_TAGS = ["峰会","AI","技术","百度","互联网","金融","旅游","扶贫","改革开放","战区","公益","中国","脱贫","经济","慈善","文化","文学","国风","音乐","综艺","101"]
前端界面配置利用JavaScript语言和Vue脚手架以及HTML语言。
import Vue from 'vue'
import App from './App'
import router from './router'
import animate from 'animate.css'
import './assets/style/common.less'
import commontool from './assets/js/tool'
import store from './store'
import layer from 'vue-layer'
Vue.prototype.$layer = layer(Vue)
Vue.use(commontool)
Vue.config.productionTip = false
new Vue({
el: '#app',
router,
store,
components: { App },
template: ' '
})
//此处为“主页(Home)”、“新闻页面(News)”、“登陆页面(Login)”三种页面提供了路由
import Vue from 'vue'
import Router from 'vue-router'
import store from '../store'
import home from '@/pages/Home'
import news from '@/pages/News'
import login from '@/pages/Login'
Vue.use(Router)
const router = new Router({
routes: [
{
path: '/',
name: 'home',
component: home,
meta: {
needLogin: true
}
},
{
path: '/news',
name: 'news',
component: news,
meta: {
needLogin: true
}
},
{
path: '/login',
name: 'login',
component: login,
meta: {
needLogin: false
}
}
]
})
router.beforeEach((to, from, next) => {
if (to.meta.needLogin) {
if (store.state.vuexlogin.isLogin || localStorage.getItem('username')) {
next()
} else {
next({
path: '/login',
query: {redirect: to.fullPath}
})
}
} else {
next()
}
})
export default router
#JavaScript语言三种Vue构架(Home.vue,Login.vue,News.vue)
#前端是一个网页界面,用到了HTML语言。主要涉及一点界面属性(例如界面文字编码格式)的配置
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<meta name="viewport" content="width=device-width,initial-scale=1.0">
<title>Recommon</title>
<link href="./static/style/reset.css" rel="stylesheet" />
</head>
<body style="margin:0">
<div id="app"></div>
</body>
</html>
启动项目过程如下:在命令行窗口,进入后端文件目录(NewsRecSys/NewsRec
)下 运行以下命令:
python manage.py runserver 0.0.0.0:8000
出现如图所示的结果,说明后端服务启动成功。
打开新的命令行窗口,进入前端文件目录下(NewsRecSys/NewsRec-Vue
),依次运行以下两条命令:
cnpm install
使用淘宝在国内的镜像cnpm可以避免由于被限速部分组件加载不完整而导致的错误,如图所示。
npm run dev
出现如图所示的结果,说明前端服务启动成功。
在浏览器输入网址为: http://127.0.0.1:8001, 访问项目服务,选择登录用户,进入标签选择界面,如图所示。
用户选择具体标签,单击“进入系统按钮传达对标签涉及内容的喜好,也可以不选择标签单击“跳过”按钮,直接进入系统,如图所示。
在界面上方是不同的栏目,“ 为你推荐栏目会随着用户行为不断的更新,展示当前的推荐情况。其他栏目(诸如国际要闻、互联网等)下的内容则对应不同类别的新闻。选择‘进入后台”栏目,也可以通过输入网址http://127.0.0.1:8000/admin/进入后台 (账号、密码均为admin)。主页界面如图所示。
在界面的左侧是当前选定栏目下的内容,单击内容进入新闻详情页。在界面的右侧是随日期更新的热度榜,反映当前时刻下的新闻热度情况。
单击新闻标题,界面如下图所示。内容详情页面中,界面的上方依然是栏目,左侧是新闻内容详情,包含日期、类别、浏览次数及正文;界面右侧是“相似推荐”推荐了5篇与本新闻相似的其他新闻。
用户查看过一些新闻后,“为你推荐”栏目下的推荐情况如下图所示,“张三”的用户下,查看若干条“国际要闻”、“互联网”消息,在“为你推荐”栏目下,出现相同栏目下的相关新闻。
当用户查看新闻时,在右侧会提供与该新闻相似的5篇新闻,作为类似“你可能还喜欢”的推荐,如图所示。
新进入的用户,会推荐来自当前热度榜的新闻。如果该用户没有浏览记录,第一次进入系统且没有选择任何标签,返回热度榜单数据的20~40位,结果如图所示。
没有推荐热度榜单的前几位,是推荐系统为了给用户提供个性化服务,而不是为了重新塑造一个“其他用户的复制”,所以既要参考热度榜,又不能过度依靠热度榜。具体原因可以思考长尾效应。
长尾效应的根本是强调“个性化”“客户力量”和“小利润大市场”。要将市场细分到很细很小时,会发现这些细小市场的累计会带来明显的长尾效应。以图书为例: Barnes&Noble的平均上架书目为13万种。而Amazon有超过一半的销售量来自在它排行榜上位于13万名开外的图书。
选择用户,进入标签选择界面。在此选择“峰会”、“AI”、“技术”、“百度”、“互联网”5个标签,如图所示 。
进入系统主页界面后,可以看到,“为你推荐”栏目下推荐“峰会”“AI”“互联网”相关内容,如图所示。
详见本人博客资源下载页
如果大家想继续了解人工智能相关学习路线和知识体系,欢迎大家翻阅我的另外一篇博客《重磅 | 完备的人工智能AI 学习——基础知识学习路线,所有资料免关注免套路直接网盘下载》
这篇博客参考了Github知名开源平台,AI技术平台以及相关领域专家:Datawhale,ApacheCN,AI有道和黄海广博士等约有近100G相关资料,希望能帮助到所有小伙伴们。