题目：基于神经网络的短时序列长期趋势预测算法
在本文中，我们关注于预测不同技术中专利趋势的问题。与其他时间序列预测数据集不同，我们的数据集中的序列长度短得多，实例更少。因此，将时间序列视为高维嵌入的其他预测模型在此问题上的效果不佳。这些模型需要许多参数。这很难通过我们的数据集进行训练。而且这种模型只能应用于指定数量的时间序列。随着新技术的出现，时间序列的数量增加了。这会增加尺寸，因此应该再次训练模型。同时，我们不仅重视预测的误差，还重视预测的趋势。因此，我们开发了一个新颖的模型，该模型受所有系列的训练，以找到共同的模式并生成相应的预测以应对趋势。而且，我们使用更合适的指标来评估模型预测的趋势。卷积神经网络（CNN）将每种技术的演化视为一个时间序列，用于捕获序列中的模式。因此，我们的模型需要较少的参数，并且可以进行增量训练。然后，使用递归神经网络（RNN）将信息编码为中间表示形式。通过将中间表示解码为多个值，可以预测趋势。最后，我们在其他数据集上测试我们的模型。在具有这种特征的其他一些数据集上，它可以实现更好的结果。
关键字：多元时间序列预测，多步预测，神经网络，卷积神经网络，递归神经网络
对技术趋势的预测在预测和理解技术变化的潜在方向，速度和影响方面起着重要作用。 [1]公司具有监控当前和预测未来技术变化以建立可承受和适应快速变化的市场需求的可持续性坚实技术基础的能力，是公司在高度竞争中生存，成长和盈利的重要因素全球市场。 [2]技术预测中可以使用多种数据。在这些数据中，专利在商业活动中起着重要的作用[3]，发明者和企业希望尽快为其新思想申请专利。因此，专利可以表明某些行业的前沿。我们将专注于专利分析以预测技术趋势。但是，传统的技术预测方法既费时又费力。因此，我们需要一种算法来分析专利，并使预测自动而智能。
在本文中，我们设计了一种算法，可以通过一些专利统计数据来预测技术趋势。可以看作是专利分析问题中的趋势分析。 [4]关于作为时间序列的技术的发展，我们的算法将预测任务作为时间序列的预测处理。但是我们专注于与其他时间序列不同的专利特征。
已经开发了许多时间序列预测模型。他们中的大多数将数据集中的时间序列视为单个长单变量或多变量时间序列。该模型通常基于时间序列的周期性。但是我们的问题与此不同。对于专利数据，周期性在某种程度上是微弱的或毫无意义的，而且我们的序列的长度将比用于其他时间序列预测的数据集要短得多。这使得许多流行的模型在我们的数据集上的表现更差。并且，为了应对新技术的出现，我们的算法应该灵活地学习和预测新的时间序列。
除了上述特征之外，出于技术预测和专利分析的目的，我们更珍视的是专利的长期趋势。但是当前流行的模型集中于在单个时间点生成预测。因此，我们应该修改现有模型以预测相对长期的趋势。
除了上述特征之外，出于技术预测和专利分析的目的，我们更珍视的是专利的长期趋势。但是当前流行的模型集中于在单个时间点生成预测。因此，我们应该修改现有模型以预测相对长期的趋势。
总结我们在本文中所做的贡献，
•通过按不同的时间序列训练模型，CNN内核可以捕获时间序列之间的通用模式。
•通过将输入序列编码为中间表示并将其解码，可以分别调整某些超参数，包括预测范围。
•通过多步值训练模型，我们的模型在趋势预测方面优于其他模型。趋势预测的性能通过适当的指标进行评估。
A. Neural Network
随着神经网络（NN）的发展，它也被用于时间序列预测问题。 NN主要有三种时间序列预测，使用滑动窗口的预测，递归模型和基于回归的外推法。 [5]使用滑动窗口的预测可以表示为:
其中是时间的时间序列的值，是时间序列的维数，是NN的参数，是预测范围。如图1（a）所示。
它将未来的价值视为过去价值的功能。学习过程正在估计函数的参数。通过逐步移动输入窗口或添加NN的输出，可以将其扩展为多步预测。 [6]和[7]使用这种方法对时间序列进行预测。递归模型可以表示为:
（2）
（3），
其中是时间时NN的状态，m是隐藏状态的维数，θ1和θ2是f（·）和g（·）的参数。如图1（b）所示。
这种NN通常称为递归神经网络（RNN）。 [8] [9] [10]使用这种NN。基于回归的外推意味着找到一个函数来按时间获取时间序列的值。那就是找到参数θ，使得是在时间的时间序列的值。 [5]是这种方法的一个例子。随着时间序列预测研究的不断深入，这些方法可以混合使用以取得更好的效果。
B. Multi-step F orecasting
上面提到的方法着重于预测单个点值。但是我们需要进行预测以揭示专利的相对长期趋势。在我们的问题中，对一点进行预测是毫无意义的。可以使用三种方法来修改模型以预测多步值。 （1）如图2（a）所示，模型使用过去值的一部分来预测将来的值，并且预测值与基本真值之间存在差距。逐渐移动输入窗口可以实现长期预测。这种方法只能使用序列中的部分信息。 （2）如图2（b）所示，模型使用所有过去的值来预测一个步进值，并且移动输入窗口可以实现长期的预测。随着预测时间长度的增加，较少的地面真实值输入到模型中。这使得长期预测的可靠性降低。 （3）如图2（c）所示，训练了多个模型以应对不同的预测范围。这会消耗更多的计算资源，并且预测结果彼此无关。
A. Task Definition
时间中与专利相关的数据定义为，其中n是我们可以从数据库中观察或计数的特征数。我们关注技术。其中，第技术的时间处的专利数据为为第技术的时间处的第个特征的值。我们的任务定义为找到一个具有参数的模型，该模型接收输入并生成其预测值输出最小化损失函数，其中和是输入和输出。
B. Our Method
将其他流行的时间序列预测模型应用于我们的问题可能会产生较差的结果。在其他模型中，数据集中的序列将被视为高维时间序列。假设数据集中的时间序列具有相同的长度，则数据集中的所有时间序列将被视为长度为的维时间序列。整个数据集可以通过滑动窗口分为个实例。在我们的数据集中，不大于。因此，我们只有几个实例需要培训。同时，我们有许多多维的时间序列。这意味着将有更多的参数需要相对较少的实例进行训练。
当其他模型将数据集视为高维时间序列时，将指定其维数。尽管出现了新技术，但在这些模型中，尺寸却增加了。那些模型应该再次训练。通过单独处理时间序列，可以轻松扩展数据集。
受Gartner Hype Cycle的启发，我们认为技术发展存在一些模式。将每种技术的发展视为一个时间序列，我们的模型试图在其中找到这些共同的模式。因此，我们的方法可以分为三个步骤：模式提取，将模式编码为中间表示形式并最终将其解码为预测结果。与图2所示的方法不同，我们的方法可以如图3所示。我们的模型预测了我们希望在其输出中使用的所有未来值。在我们的模型中，所有地面真实值都可以用于具有不同水平的预测，并且预测不依赖于先前的预测，并且仅训练一个模型。我们模型的所有预测结果都取决于网络中的中间表示。
模式提取：卷积是一种有效的模式提取操作，在计算机视觉中得到了广泛的应用。一些研究将其用于预测单变量或多变量序列。 [11] [12] [13]在我们的模型中，我们使用它来提取专利数据中的模式。假设输入数据为
其中是输入段的长度，即技术价值的段。卷积被设计为在专利数据中找出长度为的模式。对于每个输入X，我们方法输出的卷积层为，
其中， 其中
是激活，是偏差。卷积后，我们得到一个序列具有个特征的长度。CNN输出中的每个功能都是一段输入序列和一个模式之间的相似性。这将下一层的视线从1扩展到k。卷积核的宽度与特征数量相同。这使得图案提取可以涉及特征图案之间的相互作用。
编码：提取原始系列中的模式后，应找到有用的功能，而其他功能则应删除。因此，我们需要对序列进行总结以找到有用的信息。在总结序列并生成中间表示时，RNN是常用的模块。 [14] [15] [16]使用RNN处理序列并胜过其他人。 GRU代替了原始RNN，可避免计算时消失和爆炸。 [17]可以表示为：
考虑到GRU的等式，尽管门控单位阻止网络值爆炸，但它们却遭受值消失的困扰。风险的消失削弱了网络学习相对长期模式的能力。但是模式提取中的CNN将模式表示为RNN输入序列中的一个值。这使得网络学习相对长期范围内的模式。
解码：编码后，输入中的信息将存储在向量中。要生成预测，我们应该取消存档信息并生成输出。可以使用各种NN。最直接的方法是使用线性层。在对多变量时间序列进行预测时，线性层可以是具有的网络（其中预测输出的长度），也可以是多个单独的网络以不同的特征生成输出。他们两个都将在我们的实验中进行测试。
B.指标
上面的指标一个是相似度，一个是均方误差
[1] D. Kang, W. Jang, H. Lee, and H. J. No, “A review on technology
forecasting methods and their application area,” 2013.
[2] L. Staphorst, L. Pretorius, and T. Pretorius, “Technology forecasting in
the national research and education network technology domain using
context sensitive data fusion,” Technological F orecasting and Social
Change, vol. 111, 07 2016.
[3] C. S. Fleisher and B. E. Bensoussan.
[4] A. Abbas, L. Zhang, and S. U. Khan, “A literature review on the state-
of-the-art in patent analysis,” World Patent Information, vol. 37, pp. 3
– 13, 2014.
[5] L. B. Godfrey and M. S. Gashler, “Neural decomposition of time-series
data for effective generalization,” IEEE Trans. Neural Netw. Learning
Syst., vol. 29, no. 7, pp. 2973–2985, 2018.
[6] D. T. Tran, A. Iosifidis, J. Kanniainen, and M. Gabbouj, “Temporal
attention-augmented bilinear network for financial time-series data anal-
ysis,” IEEE Trans. Neural Netw. Learning Syst., vol. 30, no. 5, pp. 1407–
1418, 2019.
[7] H. Song, D. Rajan, J. J. Thiagarajan, and A. Spanias, “Attend and
diagnose: Clinical time series analysis using attention models,” in
Proceedings of the Thirty-Second AAAI Conference on Artificial In-
telligence, (AAAI-18), the 30th innovative Applications of Artificial
Intelligence (IAAI-18), and the 8th AAAI Symposium on Educational
Advances in Artificial Intelligence (EAAI-18), New Orleans, Louisiana,
USA, February 2-7, 2018, 2018, pp. 4091–4098.
[8] G. Lai, W. Chang, Y . Yang, and H. Liu, “Modeling long- and short-term
temporal patterns with deep neural networks,” in The 41st International
ACM SIGIR Conference on Research & Development in Information
Retrieval, SIGIR 2018, Ann Arbor , MI, USA, July 08-12, 2018, 2018,
pp. 95–104.
[9] Y . Qin, D. Song, H. Chen, W. Cheng, G. Jiang, and G. W. Cottrell,
“A dual-stage attention-based recurrent neural network for time series
prediction,” in Proceedings of the Twenty-Sixth International Joint
Conference on Artificial Intelligence, IJCAI 2017, Melbourne, Australia,
August 19-25, 2017, 2017, pp. 2627–2633.
[10] L. Liu, J. Shen, M. Zhang, Z. Wang, and J. Tang, “Learning the joint
representation of heterogeneous temporal events for clinical endpoint
prediction,” in Proceedings of the Thirty-Second AAAI Conference
on Artificial Intelligence, (AAAI-18), the 30th innovative Applications
of Artificial Intelligence (IAAI-18), and the 8th AAAI Symposium on
Educational Advances in Artificial Intelligence (EAAI-18), New Orleans,
Louisiana, USA, February 2-7, 2018, 2018, pp. 109–116.
[11] R. Assaf and A. Schumann, “Explainable deep neural networks for
multivariate time series predictions,” in Proceedings of the Twenty-
Eighth International Joint Conference on Artificial Intelligence, IJCAI
2019, Macao, China, August 10-16, 2019, 2019, pp. 6488–6490.
[12] M. Binkowski, G. Marti, and P . Donnat, “Autoregressive convolutional
neural networks for asynchronous time series,” in Proceedings of the
35th International Conference on Machine Learning, ICML 2018, Stock-
holmsmässan, Stockholm, Sweden, July 10-15, 2018, 2018, pp. 579–588.
[13] I. Koprinska, D. Wu, and Z. Wang, “Convolutional neural networks for
energy time series forecasting,” in 2018 International Joint Conference
on Neural Networks, IJCNN 2018, Rio de Janeiro, Brazil, July 8-13,
2018, 2018, pp. 1–8.
[14] S. Altuntas, T. Dereli, and A. Kusiak, “Forecasting technology success
based on patent data,” Technological F orecasting and Social Change,
vol. 96, pp. 202 – 214, 2015.
[15] R. Jiang, X. Song, Z. Fan, T. Xia, Q. Chen, S. Miyazawa, and
R. Shibasaki, “Deepurbanmomentum: An online deep-learning system
for short-term urban mobility prediction,” in Proceedings of the Thirty-
Second AAAI Conference on Artificial Intelligence, (AAAI-18), the 30th
innovative Applications of Artificial Intelligence (IAAI-18), and the 8th
AAAI Symposium on Educational Advances in Artificial Intelligence
(EAAI-18), New Orleans, Louisiana, USA, February 2-7, 2018, 2018,
pp. 784–791.
[16] B. Ballinger, J. Hsieh, A. Singh, N. Sohoni, J. Wang, G. H. Tison, G. M.
Marcus, J. M. Sanchez, C. Maguire, J. E. Olgin, and M. J. Pletcher,
“Deepheart: Semi-supervised sequence learning for cardiovascular risk
prediction,” in Proceedings of the Thirty-Second AAAI Conference
on Artificial Intelligence, (AAAI-18), the 30th innovative Applications
of Artificial Intelligence (IAAI-18), and the 8th AAAI Symposium on
Educational Advances in Artificial Intelligence (EAAI-18), New Orleans,
Louisiana, USA, February 2-7, 2018, 2018, pp. 2079–2086.
[17] I. Goodfellow, Y . Bengio, and A. Courville, Deep Learning. MIT Press,
2016, http://www.deeplearningbook.org.
[18] A. D. Chouakria and P . N. Nagabhushan, “Adaptive dissimilarity index
for measuring time series proximity,” Adv. Data Analysis and Classifi-
cation, vol. 1, no. 1, pp. 5–21, 2007.
[19] H. A. Dau, E. Keogh, K. Kamgar, C.-C. M. Yeh, Y . Zhu, S. Gharghabi,
C. A. Ratanamahatana, Yanping, B. Hu, N. Begum, A. Bagnall,
A. Mueen, and G. Batista, “The ucr time series classification
archive,” October 2018, https://www.cs.ucr.edu/∼eamonn/time series
data 2018/.
[1] D. Kang，W。Jang，H。Lee和HJ No，“技术预测方法及其应用领域综述”，2013年。
[2] L. Staphorst，L。Pretorius和T. Pretorius， “使用上下文相关数据融合的国家研究和教育网络技术领域中的技术预测”，《技术预测与社会变革》，第一卷。 2016年11月111日。
[3] C. S. Fleisher和B. E. Bensoussan。
[4] A. Abbas，L。Zhang和S. U. Khan，“专利分析的最新文献综述”，《世界专利信息》，第1卷。 37，第3-13页，2014年。
[7] H. Song，D。Rajan，JJ Thiagarajan和A. Spanias，“参加和诊断：使用注意力模型的临床时间序列分析”，在《第二十三届会议论文集》中AAAI人工智能会议（AAAI-18），第30届人工智能创新应用（IAAI-18）和第八届AAAI人工智能教育进展研讨会（EAAI-18），美国路易斯安那州新奥尔良，2月2018年2月2日至7日，第4091-4098页。
[8]赖国强，张伟，Y。 Yang和H. Liu，“用深度神经网络建模长期和短期时间模式”，在第41届国际ACM SIGIR信息检索研究与发展会议上，SIGIR，2018年7月8日，美国密歇根州安阿伯2018年12月12日，第95-104页。
[9]是。秦D. Song，H。Chen，W。Cheng，G。Jiang和GW Cottrell，“基于双阶段的基于时间的递归神经网络用于时间序列预测”，在第26届国际联合会议论文集中人工智能，IJCAI 2017，澳大利亚墨尔本，2017年8月19日至25日，2017年，第2627–2633页。
[10] L. Liu，沉J. Shen，M。Zhang，Z。Wang和J. Tang，“学习异质时间事件的联合表示以进行临床终点预测”，在AAAI第三十二届人工会议论文集中情报（AAAI-18），第30项创新的人工智能应用（IAAI-18）和第8届AAAI人工智能教育进展研讨会（EAAI-18），美国路易斯安那州新奥尔良，2月2日至7日， 2018年，2018年，第109-116页。
[11] R. Assaf和A.Schumann，“可解释的深度神经网络，用于多元时间序列预测”，在《第二十八届国际人工智能联合会议论文集》，IJCAI 2019，中国澳门，2019年8月10日至16日，2019年，第6488–6490页。
[12] M. Binkowski，G。Marti和P。 Donnat，“用于异步时间序列的自回归卷积神经网络”，在第35届国际机器学习大会上的会议记录，ICML 2018，斯德哥尔摩，瑞典斯德哥尔摩，2018年7月10日至15日，2018年，第579-588页。
[13] I. Koprinska，D。Wu和Z. Wang，“卷积神经网络用于能量时间序列预测”，在2018年国际神经网络联合会议上，IJCNN 2018，巴西里约热内卢，7月8日至13日， 2018年，2018年，第1-8页。
[14] S. Altuntas，T。Dereli和A. Kusiak，“基于专利数据的预测技术成功”，《技术预测与社会变革》，第1卷。 96，第202 – 214页，2015年。
[15] R. Jiang，X。Song，Z。Fan，T。Xia，Q。Chen，S。Miyazawa和R. Shibasaki，“ Deepurbanmomentum：在线深度学习”短期城市流动性预测系统”，在第30届AAAI人工智能会议（AAAI-18），第30届人工智能创新应用（IAAI-18）和第8届AAAI人工智能教育进展研讨会上发表情报局（EAAI-18），美国路易斯安那州新奥尔良，2018年2月2日至7日，2018年，第784-791页。
[16] B. Ballinger，J。Hsieh，A。Singh，N。Sohoni，J。Wang，GH Tison，GM Marcus，JM Sanchez，C。Maguire，JE Olgin和MJ Pletcher，“深心：半监督序列学习有关心血管疾病风险的预测”，在“第二十三届AAAI人工智能会议（AAAI-18），第30届人工智能的创新应用（IAAI-18）和第八届AAAI人工智能教育进展研讨会”的会议记录中（EAAI-18），美国路易斯安那州新奥尔良，2018年2月2日至7日，2018年，第2079-2086页。
[17] I. Goodfellow，Y。 Bengio和A. Courville，深度学习。麻省理工学院出版社，2016年，http：//www.deeplearningbook.org。 [18] A. D. Chouakria和P。 N. Nagabhushan，“用于测量时间序列接近度的自适应相异指数”，高级。数据分析和分类，第一卷。 1号1，第5-21页，2007年。
[19] H. A. Dau，E。Keogh，K。Kamgar，C.-C。 M. Yeh，Y。 Zhu，S。Gharghabi，CA Ratanamahatana，Yanping，B。Hu，N。Begum，A。Bagnall，A。Mueen和G. Batista，“ ucr时间序列分类档案”，2018年10月，https：//www.ucr.com/。 cs.ucr.edu/~eamonn/时间序列数据2018 /。
总结