10.10-11 科研记录 一些多模态工作的相关思考

论文出发点很简单，第一，就是想要去除文本的冗余数据，有多篇文章也提到了，冗余文本影响对下游任务的性能，大量无关的文本输入到大模型也会影响大模型的性能，本质也很好理解，就是尽可能去除与任务不相关的部分，减少噪声，第二，就是想提取出文本中与变量相关的部分，更精准地让文本和时序模态中对同一模态的数据能够协同融合，互相补充，从而达到但一直找不到比较创新的方法，其实关键个人认为在于提取关键特征，思考了“attention”，核心就是关注与给定Q更重要的部分，互信息则是两种变量同时出现的概率的一种计量，但感觉其实本质都是一样，都涉及到两者之间的相关性，也就是通过相关性进行各种特征提取。

有在思考除了通过相关性进行特征提取，还有什么其他方法吗？暂时也没有想到和看到，目前感觉看到了都是各种attention变体，以及现有模型加一些模块的细节设计，

回看了自己用的MIMIC数据：其实感觉不是那么合适，时间序列选取的17个患者生理指标的变量没有直接高频地出现在患者的临床文本笔记中，笔记中多描述各种器官检查出来的情况，但可能隐约中这些文本也能跟患者的某些生理指标有一定关系，

个人感受：感觉对文本数据的处理能力还是比较弱，实体抽取这些可能方法相对成熟了，但是比如想要提取特定变量相关的某部分句子，一些基本的操作好像都没有什么方法，另外感觉还是标签，学习反馈信号不够，没有足够的标签，就不太好学习，相当与你都不告诉模型学习目标是什么样的，模型也就很难去实现你想要的目标，自监督，无监督什么了解的比较少（感觉核心也是数据内部结构存在一定规律才能自监督什么，进行学习）

关键问题分析：
维度！！维度！！ 不太能理解将文本预训练好的768维度的向量进行线性变换进行一定降维然后再跟时间序列向量融合是否合理。
文本向量维度为768，时间序列向量维度256或其他可变维度，但有些不太理解如果将这些维度随意进行线性变换后，所表示的特征的隐藏状态表示会进行怎么样的变化，感觉“有些抽象”，个人感觉可能还是由最后的loss反向去更新这些维度所表示的隐藏状态表示，选择不同维度可能就是因为经过多层模型结构后得到表示特征的不同深度的含义，维度相对高些才能装得下深层表达，然后合适的维度表示合适层次和深度的信息吧。