论文笔记目录
1 交通预测
| AAAI2019 | 交通预测论文笔记《Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting》_UQI-LIUWJ的博客-CSDN博客 | ASTGCN: 1）使用空间注意力机制来建模空间层面复杂的相关性 2）使用时间注意力机制来捕获不同时间之间的动态时间相关性 3）使用图卷积来捕获交通图中的空间特征；以及不同时间篇之间的依赖关系 |
| IEEE Transactions on Intelligent Transportation Systems 2021 |
交通预测论文翻译：Deep Learning on Traffic Prediction: Methods,Analysis and Future Directions_UQI-LIUWJ的博客-CSDN博客 | 综述性质论文，同时给出了一些公共数据集 |
| IJCAI 2018 | 交通预测论文笔记：Spatio-Temporal Graph Convolutional Networks: A Deep Learning Frameworkfor Traffic Forecast_UQI-LIUWJ的博客-CSDN博客 |  |
| ICLR 2022 | 论文笔记：COST: CONTRASTIVE LEARNING OF DISENTANGLEDSEASONAL-TREND REPRESENTATIONS FORTIME SERIES FOREC_UQI-LIUWJ的博客-CSDN博客 | 将时间序列解耦成趋势表征和周期表征，同时使用了对比学习 |
| iclr 2017 | 论文笔记：DCRNN （Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting）_UQI-LIUWJ的博客-CSDN博客 | 使用双向扩散卷积+GRU，建模空间和时间依赖性 |
1.1 交通补全 imputation
| TKDE 2021 | 论文笔记：Missing Value Imputation for Multi-view UrbanStatistical Data via Spatial Correlation Learning_UQI-LIUWJ的博客-CSDN博客 |
|
| ICDE2019 | 论文笔记：Stochastic Weight Completion for Road Networks using Graph Convolutional Networks_UQI-LIUWJ的博客-CSDN博客 | graph-autoencoder |
| NIPS 2016 | 论文笔记:Temporal Regularized Matrix Factorization forHigh-dimensional Time Series Prediction_UQI-LIUWJ的博客-CSDN博客 TRMF 辅助论文：最小二乘法复现TRMF_UQI-LIUWJ的博客-CSDN博客 |
提出了一个新的时间正则化矩阵分解框架(TRMF)用于高维时间序列分析。 |
| ICDM 2017 | 论文笔记：Autoregressive Tensor Factorizationfor Spatio-temporal Predictions_UQI-LIUWJ的博客-CSDN博客 | 在TRMF的基础上，添加了空间自回归DAR的正则项
|
| part-c 2019 | 论文笔记 Traffic Data Reconstruction via Adaptive Spatial-Temporal Correlations_UQI-LIUWJ的博客-CSDN博客 TAS-LR 论文辅助笔记 & 图拉普拉斯正则项推导_UQI-LIUWJ的博客-CSDN博客 |
MF+时间序列约束和自适应拉普拉斯正则化空间约束
|
| 2010 JMLR | 论文笔记 Spectral Regularization Algorithms for Learning Large IncompleteMatrices （soft-impute）_UQI-LIUWJ的博客-CSDN博客 | 基于迭代SVD的矩阵补全（软阈值+硬阈值） 对MF有很多理论的证明和说明（写论文的时候可以用来参考） |
| 2019 ICDE | 论文笔记：Hankel Matrix Factorization for Tagged Time Series to Recover Missing Values during Blackouts_UQI-LIUWJ的博客-CSDN博客 | 对于连续数据缺失的补全（单变量时间序列） |
| 2021 TKDE | 论文笔记：HKMF-T: Recover From Blackouts in TaggedTime Series With Hankel Matrix Factorization_UQI-LIUWJ的博客-CSDN博客 | 对于连续数据缺失的补全（延伸到多变量时间序列） |
| 2019IJCAI | 论文笔记：Matrix Completion in the Unit Hypercube via Structured Matrix Factorization_UQI-LIUWJ的博客-CSDN博客 | EMF,SMF 用于 0~1的打分矩阵补全
|
| 2018NIPS | 论文笔记： BRITS: Bidirectional Recurrent Imputation for Time Series_UQI-LIUWJ的博客-CSDN博客 | 双向LSTM进行补全&时间序列分类/回归 |
| 论文笔记 & R 笔记：imputeTS: Time Series Missing ValueImputation in R_UQI-LIUWJ的博客-CSDN博客 | R语言包，进行单变量时间序列补全 | |
| 论文笔记：Time Series Data Imputation: A Survey on Deep Learning Approaches_UQI-LIUWJ的博客-CSDN博客 | 20年（attention之前）的time series 补全论文综述 | |
| 论文笔记：NAOMI: Non-Autoregressive MultiresolutionSequence Imputation_UQI-LIUWJ的博客-CSDN博客 | 使用双向RNN+分治（对抗学习）的方式进行补全 | |
| 论文笔记：Spatial Data Imputation with Landmarks_UQI-LIUWJ的博客-CSDN博客 | 非负矩阵分解+拉普拉斯约束+landmark（landmark细节后续补充） | |
| PVLDB 2020 | 论文笔记：Mind the Gap An Experimental Evaluation of Imputation ofMissing Values Techniques in TimeSeries_UQI-LIUWJ的博客-CSDN博客 | 12种方法的比较 |
| 2021 | 论文笔记：SAITS: SELF-ATTENTION-BASED IMPUTATION FOR TIMESERIES_UQI-LIUWJ的博客-CSDN博客 | 将self-attention运用到time-series中 |
1.2 next location recommendation
| 论文阅读笔记：STAN: Spatio-Temporal Attention Network for Next Location Recommendation_UQI-LIUWJ的博客-CSDN博客 | 提出一种基于注意力机制的神经网络架构，考虑用户访问轨迹中每个访问点相较于整个过往访问轨迹的时空关系，以此对不相邻非连续但功能相近的访问点进行关联，打破以往仅仅关联连续、相邻访问点的限制。 | |
1.3 time-series forecasting
| ICLR 2020 | 论文笔记：N-BEATS: NEURAL BASIS EXPANSION ANALYSIS FORINTERPRETABLE TIME SERIES FORECASTING_UQI-LIUWJ的博客-CSDN博客 |
利用深度学习解决单变量时间序列点预测问题 提出了一种基于后向和前向残留链路和一个非常深的全连接层堆栈的深度神经结构。该模型具有可解释性 |
| 2017 facebook | 论文笔记：Forecasting at Scale（Prophet）_UQI-LIUWJ的博客-CSDN博客 | 时间序列分解成趋势，季节性和特定节假日的影响这三类 |
| 2019 KDD | 论文笔记： Modeling Extreme Events in Time Series Prediction_UQI-LIUWJ的博客-CSDN博客 | 使用记忆网络来记忆历史记录中的极端事件 开发了一种新的损失函数，称为极值损失（EVL）【约束异常事件的分布】
|
| 2017 icml | 机器学习笔记 soft-DTW（论文笔记 A differentiable loss function for time-series）_UQI-LIUWJ的博客-CSDN博客 | soft-dtw，可微分版本的dtw PYTORCH 笔记 DILATE 代码解读_UQI-LIUWJ的博客-CSDN博客 |
| 2020 MDPI | 论文笔记：Unsteady Multi-Element Time Series Analysis and Prediction Based on Spatial-Temporal Attention_UQI-LIUWJ的博客-CSDN博客 |
时空注意力机制 |
| 论文笔记 A Spatial-Temporal Decomposition Based Deep Neural Network for TimeSeries Forecasting_UQI-LIUWJ的博客-CSDN博客 |
时空数据分解+ Conv LSTM |
|
| 2022 IJCAI | 论文笔记 Triformer: Triangular, Variable-Specific Attentions for Long SequenceMultivariate Time Series_UQI-LIUWJ的博客-CSDN博客 |  使用attention进行长期时间序列分解。通过patch attention，使得复杂度维O(n) |
| NIPS 2019 | 论文笔记 Enhancing the Locality and Breaking the MemoryBottleneck of Transformer on Time Series Forecas_UQI-LIUWJ的博客-CSDN博客 | transformer 用于时间序列 1，使用因果卷积使得Q,K计算过程中可以看到一定的局部性 2，提出LogSparse Transformer，将空间复杂度降至 |
2 data ming
| Data Mining 论文翻译：Deep Learning for Spatio-Temporal Data Mining: A Survey_UQI-LIUWJ的博客-CSDN博客 | ||
| 1998 KDD | 论文笔记：Integrating Classification and Association Rule Mining （CBA算法）_UQI-LIUWJ的博客-CSDN博客 |
|
3 其他
| 论文笔记：[ICLR 2020] Tips for prospective and early-stage PhD students_UQI-LIUWJ的博客-CSDN博客 | ||
| 生物计算论文笔记1：The construction of next-generationmatrices for compartmentalepidemic models_UQI-LIUWJ的博客-CSDN博客 | SEIR模型中基本再生数R0和下一世代矩阵NGM之间的关系 | |
| TPAMI 2007 | 论文笔记：Weighted Graph Cuts without Eigenvectors:A Multilevel Approach_UQI-LIUWJ的博客-CSDN博客 | 图中点聚类<——>kernel k-means |
| ICML 2008 |
论文笔记 Bayesian Probabilistic Matrix Factorizationusing Markov Chain Monte Carlo （ICML 2008）_UQI-LIUWJ的博客-CSDN博客 BPMF论文辅助笔记： 固定U，更新θU 部分推导_UQI-LIUWJ的博客-CSDN博客 BPMF论文辅助笔记：采样Ui 部分推导_UQI-LIUWJ的博客-CSDN博客 |
在模型中使用了马尔可夫链蒙特卡罗(MCMC)方法进行近似推理 为超参数引入先验，并在参数和超参数上最大化模型的对数后验，从而允许基于训练数据自动控制模型的复杂性 。 |
| NIPS2022 | 论文笔记：Honor of Kings Arena: an Environment forGeneralization in Competitive Reinforcement Learning_UQI-LIUWJ的博客-CSDN博客 | 王者荣耀开悟平台 |
| 机器学习笔记： 聚类 模糊聚类与模糊层次聚类（论文笔记 Fuzzy Agglomerative Clustering :ICAISC 2015）_UQI-LIUWJ的博客-CSDN博客 | 模糊聚类 + 分层聚类 | |
| 算法/论文笔记 Fluid Communities: A Competitive, Scalable and Diverse Community Detection Algorithm （2017）_UQI-LIUWJ的博客-CSDN博客 | graph点cluster 算法 | |
| 论文笔记：A survey of deep nonnegative matrix factorization_UQI-LIUWJ的博客-CSDN博客 | 2022 DNMF综述 | |
| ICLR 2017 | 论文笔记：On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima_UQI-LIUWJ的博客-CSDN博客 | 大batch size会导致在测试集上泛化效果不行，原因在于大batch学到的local minima太sharp |
| 当分布 非正态分布时，能否使用Pearson Correlation？_UQI-LIUWJ的博客-CSDN博客 | 大部分情况下，Pearson correlation是很robust的，除非数据很不正态分布，且数据量不足。论文中比较了12种处理方法，并提出建议 |
3.1 RL
| KDD 2021 | 论文笔记 Hierarchical Reinforcement Learning for Scarce Medical Resource Allocation_UQI-LIUWJ的博客-CSDN博客 | 使用GRU来求解未知疾病状态 使用DQN来或者各区域重要性排序 使用actor-critic来求解各区域口罩病床分配情况
论文代码解读 Hierarchical Reinforcement Learning for Scarce Medical Resource Allocation_UQI-LIUWJ的博客-CSDN博客 |
| 论文笔记：STMARL: A Spatio-Temporal Multi-AgentReinforcement Learning Approach for Cooperative Traffic_UQI-LIUWJ的博客-CSDN博客 | 使用attention和LSTM进行空间和时间建模，然后对每个红绿灯分别进行强化学习，计算红绿灯控制方式
|
|
| 分层强化学习 | 论文笔记： Feudal Reinforcement Learning_UQI-LIUWJ的博客-CSDN博客 | 用Q-table实现的最早的层次强化学习 |
| 分层强化学习：基于选项（option）的强化学习/论文笔记 The Option-Critic Architecture 2017 AAAI_UQI-LIUWJ的博客-CSDN博客 | 两层决策，option可以视作一组action的时域抽象。上层策略现决定选择哪个option。然后option再选择执行哪些action，每个option有自己的策略函数和终止函数 | |
| 论文笔记：When Waiting Is Not an Option:Learning Options with a Deliberation Cost AAAI 2018_UQI-LIUWJ的博客-CSDN博客 | 在上一篇option-critic的基础上，认为切换option的时候是有开销的，不能很频繁地切换option | |
| 论文笔记：Hierarchical Deep Reinforcement Learning:Integrating Temporal Abstraction and Intrinsic_UQI-LIUWJ的博客-CSDN博客 |
上层函数mata-controller根据state，从实现给定的目标集中选择一个目标传给底层函数controller，controller 根据状态s和目标g选择动作。 goal作为一个输入，所以不同的goal共享相同的Q函数 |
|
| 论文笔记：FeUdal Networks for Hierarchical Reinforcement Learning_UQI-LIUWJ的博客-CSDN博客 |
也是上层制定goal，下层实现。 不过和上一个H-DQN不同，这里并没有一个goal集合，这边学习的goal可以看成是一个direction，也就是状态S 变化的方向。如果下层学到的策略使得实际的状态按照goal的方向变化，那么reward会比较大 |
|
| 论文笔记：Universal Value Function Approximators_UQI-LIUWJ的博客-CSDN博客 | 求解V(s,g)。 由于(s,g)对很少，所以将s-g对组成的矩阵进行矩阵分解（行state，列goal）
|
GNN
| 2021ICML | 论文笔记：E(n) Equivariant Graph Neural Networks_UQI-LIUWJ的博客-CSDN博客 |
在传统GNN的基础上，每个点不仅有标量信息，还有矢量信息，EGNN可以保证矢量经过EGNN之后平移、旋转、排列等变性 |
| IJCAI | 论文笔记：GraphSleepNet: Adaptive Spatial-Temporal Graph Convolutional Networks for Sleep Stage Classific_UQI-LIUWJ的博客-CSDN博客 | 自适应邻接矩阵+STGCN+时空注意力，用于睡眠阶段分类 |
3 cv
| 论文笔记：Spatial-Temporal Map Vehicle Trajectory Detection Using Dynamic Mode Decomposition and Res-UNe_UQI-LIUWJ的博客-CSDN博客 | 轨迹提取 | |
| 论文笔记：CTSpine1K: A Large-Scale Dataset for Spinal Vertebrae Segmentation in Computed Tomography_UQI-LIUWJ的博客-CSDN博客 | 一个大规模脊柱分割/识别的数据集 | |
| 论文笔记：nnU-Net: Self-adapting Frameworkfor U-Net-Based Medical Image Segmentation_UQI-LIUWJ的博客-CSDN博客 论文笔记：nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation_UQI-LIUWJ的博客-CSDN博客 |
在经典U-Net的基础上，没有对模型架构进行修改，而是根据数据集自动进行数据预处理、模型架构参数选择、训练、inference等 医学影像分割 |
|
| cvpr2021 | 论文笔记： Masked Autoencoders Are Scalable Vision Learners_UQI-LIUWJ的博客-CSDN博客 | 类似于BERT的MLM |
| ICCV 2021 best paper | 论文笔记：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows_UQI-LIUWJ的博客-CSDN博客 | 基于窗口的transformer，具有多尺度信息，同时计算复杂度和图像的尺寸呈线性关系 pytorch 笔记： Swin-Transformer 代码_UQI-LIUWJ的博客-CSDN博客 |
| CVPR 2021 | 论文笔记：Swin-Unet: Unet-like Pure Transformer for MedicalImage Segmentation_UQI-LIUWJ的博客-CSDN博客 | swin transformer+u-net |
| 论文笔记 TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation_UQI-LIUWJ的博客-CSDN博客 | CNN+transformer 作为 Unet的encoder，进行医学图像分割 | |
| 2017 ImageNet冠军 | 论文/机器学习笔记：SENet （Squeeze-and-Excitation Networks）_UQI-LIUWJ的博客-CSDN博客 | 学习各个channel重要性权重，对channel进行重新加权 |
bio
| 论文笔记：Highly accurate protein structure prediction with AlphaFold (AlphaFold 2 & appendix)_UQI-LIUWJ的博客-CSDN博客 | 利用Transformer变体，物理和生物知识，预测蛋白质3D结构 原子级别的误差 |
4 总结
4.1 交通预测
4.1.1 早期模型的缺点
| 数据建模 | 使用数学工具（比如微分方程）和物理知识来模拟交通场景，解决交通问题 但这需要复杂的系统化的编程，还需要大量的算力。 同时，不切实际的假设和简化很有可能会使得预测的精准度不足 因此，随着交通数据收集和存储技术的进步，越来越多的研究侧重于数据驱动 |
|
| 时间序列分析模型 | 历史平均HA、ARIMA、VAR | 难以解决数据的不稳定行和非线性 这些模型需要数据满足一些假设，但是交通数据过于复杂，无法满足这些假设，所以这些模型在交通预测领域的表现不尽人意 这种模型受限于对于时间序列平稳性的假设，同时它没有把时空相关性纳入考虑范围。因此，这种方法没法解决高度非线性的交通流量预测问题。 |
| 传统机器学习 | KNN, SVM |
1）难以同时考虑高维交通数据集中时空相关性 2）十分依赖特征的选择和建立 |
| 一些深度学习模型 | ST-ResNet、CNN+LSTM DBN SAE |
仍然难以同时建模交通数据中时间和空间特征的相关性 |
| RNN | 略了传感器之间的空间相关性。 |
4.2 交通补全
| 传统的时间序列方法 | 自回归模型（autoregressive）和动态线性模型（DLM） |
|
| 向量自回归模型(VAR)和高斯过程(GP) | 当我们试图分析一个多元时间序列时，VAR和GP需要指数计算成本。因此，这些模型在分析大尺度时空数据时是不可行的。 | |
| 矩阵 | 低秩矩阵分解(MF)或矩阵补全(MC) |
|
| TRMF | 该方法在分解框架中引入了自回归正则化器。然而，他们没有考虑学习空间依赖性的问题。因此，我们能否对未知的位置进行精确的插值和预测仍然是个问题。 |
(F是Forbenius范数） ，很显然它不太适用于时间序列问题，因为它没有考虑时间嵌入{xt}的顺序。4.3 地点序列推荐
| 注意力机制和图模型 | 1）空间上不相邻且时间上非连续的访问点可能是功能相关的，然而过去的绝大多数模型只考虑空间上处于一个区域且时间上前后邻近的访问点的时空关联； 2）空间上划分区域的方法使得模型对空间距离不敏感，不可避免地丢失了空间差信息和不相邻点的关联信息； 3）过去模型没有充分考虑用户访问频率。 |
|
4.4 time-series
5 NLP
| 带噪声的文本情感分类 | 论文笔记：Learning with Noisy Labels for Sentence-level Sentiment Classification_UQI-LIUWJ的博客-CSDN博客 |