看短视频上瘾的背后-推荐算法

文章关键词:推荐算法

前言

现如今短视频APP已经成为很多人茶余饭后不可或缺的一部分。短视频产品的逻辑和特性:目前短视频作为一种全新的内容形式,比图文、声音和长视频更加具备可传播性,属于“看后既走”的特质,而且背后基于大数据的推荐算法,用户越刷越能看到自己想要的内容,从而将更多的时间消耗到短视频上无法自拔。比如当前最流行的短视频软件-抖音、快手等等。

推荐算法

大多数的推荐算法其实都是基于机器学习设计的
主要分为以下几类:

1. 基于内容

基于内容的推荐是信息过滤技术的延续与发展,它是建立在项目的内容信息上做出推荐的,而不需要依据用户对项目的评价意见,更多地需要用机器学习的方法从关于内容的特征描述的事例中得到用户的兴趣资料。
在基于内容的推荐系统中,项目或对象是通过相关特征的属性来定义的,系统基于用户评价对象的特征、学习用户的兴趣,考察用户资料与待预测项目的匹配程度。用户的资料模型取决于所用的学习方法,常用的有决策树、神经网络和基于向量的表示方法等。基于内容的用户资料需要有用户的历史数据,用户资料模型可能随着用户的偏好改变而发生变化基于内容的推荐与基于人口统计学的推荐有类似的地方,只不过系统评估的中心转到了物品本身,使用物品本身的相似度而不是用户的相似度来进行推荐。
基于内容的推荐算法的优势在于:对用户兴趣可以很好地建模,并通过对物品属性维度的增加,获得更好的推荐精度。
而不足之处就在于
1)物品的属性有限,很难有效得到更多数据;
2)物品相似度的衡量标准只考虑到了物品本身,有一定的片面性;
3)需要用户的物品的历史数据,有冷启动的问题。

2. 基于协同

基于协同过滤的推荐算法技术是推荐系统中应用最早和最为成功的技术之一。它一般采用最近邻(KNN)技术,利用用户的历史喜好信息计算用户之间的距离,然后利用目标用户的最近邻居用户对商品评价的加权评价值来预测目标用户对特定商品的喜好程度,从而根据这一喜好程度来对目标用户进行推荐。 基于协同过滤的推荐算法最大优点是对推荐对象没有特殊的要求,能处理非结构化的复杂对象,如音乐、电影。基于协同过滤的推荐算法是基于这样的假设:为一用户找到他真正感兴趣的内容的好方法是首先找到与此用户有相似兴趣的其他用户,然后将他们感兴趣的内容推荐给此用户。其基本思想非常易于理解,在日常生活中,人们往往会利用好朋友的推荐来进行一些选择。基于协同过滤的推荐算法正是把这一思想运用到电子商务推荐系统中来,基于其他用户对某一内容的评价来向目标用户进行推荐。基于协同过滤的推荐系统可以说是从用户的角度来进行相应推荐的,而且是自动的,即用户获得的推荐是系统从购买模式或浏览行为等隐式获得的,不需要用户努力地找到适合自己兴趣的推荐信息,如填写一些调查表格等。
基于协同过滤的推荐算法具有如下优点:
1)能够过滤难以进行机器自动内容分析的信息,如艺术品、音乐等。
2)共享其他人的经验,避免了内容分析的不完全和不精确,并且能够基于一些复杂的,难以表述的概念(如信息质量、个人品位)进行过滤。
3)有推荐新信息的能力。可以发现内容上完全不相似的信息,用户对推荐信息的内容事先是预料不到的。这也是基于协同过滤的推荐算法和基于内容的推荐一个较大的差别,基于内容的推荐很多都是用户本来就熟悉的内容,而基于协同过滤的推荐可以发现用户潜在的但自己尚未发现的兴趣偏好。
4)能够有效地使用其他相似用户的反馈信息,减少用户的反馈量,加快个性化学习的速度。

3. 基于关联规则

基于关联规则的推荐是以关联规则为基础,把已购商品作为规则头,规则体为推荐对象。关联规则挖掘可以发现不同商品(物品)在销售过程中的相关性,在零售业中已经得到了成功的应用。关联规则就是在一个交易数据库中统计购买了商品集X的交易中有多大比例的交易同时购买了商品集y,其直观的意义就是用户在购买某些商品的时候有多大倾向去购买另外一些商品。比如机器学习数据挖掘中一个经典的案例-啤酒与尿不湿(沃尔玛超市通过对过去顾客的购买数据分析发现购买啤酒的人中大多数也会购买尿不湿,所以他们把啤酒和尿不湿摆在了超市的同一个位置,最后取得了不错的收益)。
关键点和难点
关联规则的发现最为关键且最耗时,是算法的瓶颈,但可以离线进行。
商品名称的同义性问题是关联规则的一个难点。

*4. 基于效用

基于效用的推荐是建立在对用户使用项目的效用情况上计算的,其核心问题是怎样为每一个用户去创建一个效用函数,因此,用户资料模型很大程度上是由系统所采用的效用函数决定的。
基于效用推荐的好处:它能把非产品的属性,如提供商的可靠性( Vendor Reliability)和产品的可得性等考虑到效用计算中。

*5. 基于知识

基于知识的推荐在某种程度是可以看成是一种推理(Inference)技术,它不是建立在用户需要和偏好基础上推荐的。基于知识的方法因它们所用的功能知识不同而有明显区别。效用知识是一种关于一个项目如何满足某一特定用户的知识,因此能解释需要和推荐的关系,所以用户资料可以是任何能支持推理的知识结构,它可以是用户已经规范化的查询,也可以是一个更详细的用户需要的表示。

6. 组合推荐

由于各种推荐方法都有优缺点,所以在实际中,组合推荐经常被采用。研究和应用最多的是内容推荐和协同过滤推荐的组合。
常用的:分别用基于内容的方法和协同过滤推荐方法去产生一个推荐预测结果,然后用某方法组合其结果。尽管从理论上有很多种推荐组合方法,但在某一具体问题中并不见得都有效,组合推荐的一个最重要原则就是通过组合来避免或弥补各自推荐技术的弱点。
在组合方式上,有研究人员提出了七种组合思路。
1)加权(Weight):加权多种推荐技术结果。
2)变换( Switch);根据问题背景和实际情况或要求决定变换采用不同的推荐技术。
3)混合( Mixed):同时采用多种推荐技术给出多种推荐结果,为用户提供参考。
4)特征组合(Feature Combination):组合来自不同推荐数据源的特征被另一种推荐算法所采用。
5)层叠( Cascade):先用一种推荐技术产生一种粗糙的推荐结果,第二种推荐技术在此推荐结果的基础上进一步做出更精确的推荐。
6)特征扩充( Feature Augmentation):将一种技术产生附加的特征信息嵌入另一种推荐技术的特征输入中。
7)元级别( Meta-Ievel):用一种推荐方法产生的模型作为另一种推荐方法的输入。

主要优缺点:
看短视频上瘾的背后-推荐算法_第1张图片

浅谈短视频的优点和缺点:

优点:
1.带动了一些贫困地方的经济,通过互联网将地方的农作物,水果等推广出去。
2.为年轻人提供了更多的就业机会
3.适当的短视频浏览可以愉悦心情,并且收获一些新鲜事物,保持对外界事物的探索
缺点:
1.短视频的即时满足感,对新事物的新鲜感,使得大众很容易深入其中无法自拔
2.因为推荐算法使得我们看到的一直是自己想看的视频内容并且短视频平台视频质量参差不齐,很容易导致我们有较强的个人主义,并且其不利于我们思维的扩展,反而容易局限我们的思维
3.长时间浏览短视频,会使得我们的专注能力下降,总是希望即时的兴奋感,不愿花时间等待。

最后:短视频虽然是碎片化的产品,但是基于其循环播放、无法抵挡且无法预知的积极反馈等产品特性,经常会让用户有打开之后不知不觉刷了几个小时的魔性,永远在期待下一条视频会是搞笑?萌宠还是大自然的鬼斧神工等新鲜的内容。

看到这里的你能否给一个小小的赞呢ʘ‿ʘ

你可能感兴趣的:(机器学习,推荐系统,算法)