财经头条app的技术实现方案

    整理资讯并从中提炼出有价值的信息需要六个环节：采集、分类、排序、导读、点评、推送。

    在信息时代，利用人工的方式执行这些环节，无疑需要巨大的工作量。那么，有没有可能利用IT技术来完成以上所有或者其中大部分工作呢？答案是肯定的。这也是财经头条这款APP的历史使命，利用移动互联网的核心技术实现信息的高效聚合与推荐，提高一亿中产阶级的阅读效率。

简单从技术角度分析各个环节的实现方式：

    采集：利用分布式爬虫系统，高效从互联网采集财经类新闻。因为每个网站的内容都有自己的特定格式，所以在该阶段，除了爬虫系统的开发，工作量比较大的就是网站的配置。

    分类：构建高质量的分类语料库，利用自然语言处理中的文本分类技术，对处理后的财经新闻进行自动分类。

    排序：从四个方面定义新闻质量：来源质量分——优质的网站通常都是因为拥有优质的新闻； 重复次数——一条好的新闻往往会被多个网站引用；内容质量分——拥有更多热门的标签的新闻质量越高；行为质量分——越多人关注的新闻质量越高。

    导读：基于用户行为与标签的个性化推荐技术。用户行为是用户兴趣的直接体现，记录用户在何时何地对哪个资讯做了何种操作，基于这些行为信息，加上机器学习算法，就可以获取用户的兴趣，从而给用户推荐其感兴趣的财经资讯；标签是对资讯内容简化的表述方式，利用中文分词技术从每篇资讯中提取最能描述资讯核心内容的标签，利用文本相似度计算，不仅可以对内容进行聚类，找到内容相似的资讯，还可以计算最能体现用户兴趣的标签，这样就可以利用标签可以让资讯去匹配用户兴趣。

    点评：点评具有主观性，是技术暂不能实现的环节。一般的作法就是聘请财经专业人士进行专业的点评。

    推送：移动互联网时代，手机已然是生活与工作的必需品。选择手机作为信息推送的核心终端无疑是最佳的选择。手机APP衡量标准就是用户体验，这其中UI和交互是设计与开发的核心。

    分析上述六个环节，可以发现一条财经资讯像水流一样，从生产端流到了消费端，在过去，这个流的执行者是财经秘书或助理。而在我们的财经头条中，资讯流依托给实时大数据处理平台来完成。