基于机器学习方法通过BBC新闻头条进行道琼斯指数DJIA的预测

   本文用CNN国际新闻板块的前25条新闻标题,结合道琼斯工业指数进行机器学习,最终预测道琼斯指数的涨跌。预测的实现借助了Keras和Sklearn等Python的机器学习库,具体算法有逻辑回归LR,朴素贝叶斯NB,随机森林RF,梯度推进机GBM,随机梯度下降SGD,朴素贝叶斯支撑向量机NBSVM,多层感知机MLP,LSTM,卷积神经网络CNN这九种算法。


1.数据来源


    数据集来自Kaggle网站的数据集:“Daily News for Stock Market Prediction”,链接是:


https://www.kaggle.com/aaron7sun/stocknews


    本人在Kaggle网站上的代码链接是:


https://www.kaggle.com/lseiyjg/d/aaron7sun/stocknews/use-news-to-predict-stock-markets/discussion


    用以预测道琼斯指数的数据集主要分为两个部分,第一个部分的数据是2008年6月至2016年7月每日道琼斯工业指数的涨跌数据,估计是通过爬虫程序在网上收集得到;第二个部分的数据是2008年6月至2016年7月每日CNN国际新闻板块的前25条新闻标题,估计也是通过程序在CNN网上收集得到,具体内容见下图:


基于机器学习方法通过BBC新闻头条进行道琼斯指数DJIA的预测_第1张图片


    实际的数据格式如上,其中Date一栏是日期,Label一栏是指数的涨跌(0代表跌,1代表涨),Top一栏是具体的新闻标题(从Top1至Top25,即前25条新闻)。由于原始数据的数据量巨大,因此图2.1只截取了5日的新闻,标题从Top1至Top7。

    从原始数据集可以看出,原始数据并不是能直接进行训练的。首先是原始数据未经过同义词的处理:原始数据有大小写字母,有大量的同义词(如airplane和aeroplane),还有同义词的各种形式(listen和listening)。除此以外,原始数据集还有一些对机器学习无太大意义的部分(例如标题前的b是加粗的格式),一些非字母的符号如$。


2.数据处理


    为了方便进行后续的机器学习,原始数据需要通过程序进行预处理。首先,删去无机器学习无太大意义的部分,如字体的格式符号,非字母的符号等。其次,把意义相同的部分统一化,譬如字母都整理为小写字母,同义词进行统一(如aeroplane和airplane都是飞机),同一词的不同形式进行统一(如listen和listening都化为listen),便于后续学习。

    进行对数据进行初步处理后,去除了大量的无意义部分,统一了大量的同义部分。接下来的步骤中,把处理过的新闻标题拆解成单词序列,统计单词出现的频数,一般来说单词的频数和单词的重要性呈正相关。但是,频数过高的单词很可能是无意义的单词(如“a”,“an”,“the”,“in”,“on”)等,同时频数过低的单词太过生僻,不具有机器学习的意义。因此需要将频数过高或过低的单词悉数滤去,这里滤除95%以上新闻标题都含有的单词,和滤除1%以下新闻标题才含有的单词。

    最后,输入数据集可以为一元单词集,即每个单词的频数是一个输入,还有二元、三元等输入形式,需要通过算法来验证选取几元数据集。

    这里尝试了机器学习,特别是自然语言处理中一些基础算法和效果较好的算法。具体算法有逻辑回归LR,朴素贝叶斯NB,随机森林RF,梯度推进机GBM,随机梯度下降SGD,朴素贝叶斯支撑向量机NBSVM,多层感知机MLP,LSTM,卷积神经网络CNN这九种算法。

    基础算法,如逻辑回归算法和朴素贝叶斯算法,用以作为选取输入数据集元数的验证算法,用来调试选取怎样的输入数据集,是一元单词集、二元单词集、还是三元单词集等等。基础算法同时也作为预测结果的一个基准算法,用以对比其他算法的有效性。

    高级算法中,随机森林算法,梯度推进机,随机梯度下降算法,多层感知机,卷积神经网络在各种机器学习问题上的效果都尚可,属于泛用性较广的机器学习的算法;朴素贝叶斯支撑向量机,LSTM,则是在自然语言处理中效果较好的算法,通过这些算法的对比,可以得到应用在本问题上较为优秀的算法。

    通过运用逻辑回归算法,测试一元单词集,二元单词集,三元单词集作为输入的效果,来选择合适的输入数据集。2015年以前的数据集作为训练集,2015年以后的数据集作为测试集。输入数据集的元数与准确率的表格见下表:


基于机器学习方法通过BBC新闻头条进行道琼斯指数DJIA的预测_第2张图片


    发现一元单词集作为输入数据集,太过简单,预测准确率不高。二元单词集预测准确率最高,复杂度适中,数据量适中。三元单词集开始预测准确率逐渐下降,可能是因为三元数据集的数据量相对于复杂度不够大。因此选择二元单词集作为输入集,各个输入集相关系数前五和后五的单词分别如下:


基于机器学习方法通过BBC新闻头条进行道琼斯指数DJIA的预测_第3张图片


基于机器学习方法通过BBC新闻头条进行道琼斯指数DJIA的预测_第4张图片


基于机器学习方法通过BBC新闻头条进行道琼斯指数DJIA的预测_第5张图片





    可以看出新闻标题中的“尼日利亚”,“韩国(朝鲜)”,“中国”,“诺贝尔和平奖”正向影响美国经济,新闻标题中的“性”,“电话监听”,“西非”,“世界上”反向影响美国经济。大部分不具有意义的常见单词,如“a”,“the”等被滤除,数据可以使用于机器学习。


3.算法结果


    选取输入数据集为二元单词集,2015年以前的数据集作为训练集,2015年以后的数据集作为测试集,分别应用逻辑回归LR,朴素贝叶斯NB,随机森林RF,梯度推进机GBM,随机梯度下降SGD,朴素贝叶斯支撑向量机NBSVM,多层感知机MLP,LSTM,卷积神经网络CNN这九种算法。各个算法的准确率如下:



基于机器学习方法通过BBC新闻头条进行道琼斯指数DJIA的预测_第6张图片


基于机器学习方法通过BBC新闻头条进行道琼斯指数DJIA的预测_第7张图片


    可以看出朴素贝叶斯支撑向量机(NBSVM)的效果最好。其他的均低于逻辑回归算法。

    预想中最好的算法应该是处理自然语言最佳的的朴素贝叶斯算法和LSTM算法,其中朴素贝叶斯支撑向量机用于垃圾邮件分类,LSTM用于语义识别。这里LSTM算法未能超过逻辑回归可能是因为新闻标题的性质是短小精悍的,而LSTM具有记忆性,适合运用于大段的语义识别,因此在这个问题上未能表现得特别突出。


你可能感兴趣的:(机器学习,sklearn)