2022回顾&2023规划
文章目录
- 2022回顾&2023规划
-
- 平常心
- 2022回顾
-
- 1. 填坑系列
-
- 1.1 强化学习系列
- 1.2 推荐系统系列
- 1.3 凸优化
- 1.3 图神经网络
- 2. 新的知识
-
- 2.1 Paper
- 2.2 数学类
- 3. 新的积累
-
- 3.1 博客类
- 3.2 模型类
- 3.3 专利类
- 3.4 经验类
-
- (1) 需求的处理
- (2) 节奏的把握
- (3) 一些业务知识
- 4. 新坑系列
- 5. 读书-非技术类
- 2023规划
-
- 1. 解决历史遗留
- 2. 技术积累，paper跟进
- 3. 深入业务
2022回顾&2023规划
前几年都用的《T年总结&T+1年规划》，最近突然感觉“总结”这个词有点绝对了，有点盖棺定论的意思，就换成了“回顾”。毕竟只是站在2022年年底、2023年初的视角，回顾2022年。随着时间推移，视角也会变，在未来的不同时间，或许又会对2022年有各种各样的想法，没有盖棺定论的那一天，所以觉得“回顾”比“总结”好一点，虽然两者差别不大。
- 《2020总结&2021规划》
https://blog.csdn.net/qq_36870202/article/details/113475138 - 《2021总结&2022规划》
https://blog.csdn.net/qq_36870202/article/details/121428971
2022年结束了，大家都很开心，朋友圈里欢天喜地，鞭炮齐鸣，比往年隆重的多。这种隆重，可能是主观感受，可能是客观现实，可能都有，但无论怎样，辞旧迎新带给人们的快乐和期盼是肯定的。大家希望疫情快过去，疫情前的生活快回来。
尽管2023年1月1日0点0分这一瞬间，只是被人为约定的一个时间分界，某个时刻的命名而已，没有太多的实际意义，但人们的愿望总是美好的：新的一年，新的希望。
平常心
现在看，2022年的确发生了很多事：疫情反复、社区封控、居家办公、感染新冠、恢复转阴、等等。2022年是特殊的一年，难忘的一年。老话说的“疫不过三”，2022年就是那个“三”。想必若干年之后，和朋友们聊到2022年，还是会是百感交集，历历在目。但时间终究会冲淡一切，今天的起起伏伏、轰轰烈烈，又或鸡毛蒜皮、鸡零狗碎，在未来的某一天看起来，可能也就是多了一些谈资罢了。
还是要平常心。向后看，过去终究是过去，既然改变不了，想太多也是费神；向前看，是福不是祸，是祸躲不过，走就是了。
好的不好的，都会过去。发展总是波动的，没有永远的顺风顺水，也没有永远的一落直下。就像市场一样，牛市有牛市的激情，熊市有熊市的微妙。遇到“牛市”，就抓住机会，努力收获；遇到“熊市”就放平心态，提升自己。迷之自信，或自怨自艾，都是两个极端，介都没有拥，平常心就好。
2022回顾
每到年底，一闭眼想想，今年都干了点什么，就总是千头万绪，剪不断，理还乱。但再乱还是得理，早理早不乱，越拖越难理。
大概梳理一下，主要有这些：
1. 填坑系列
主要是去年，也包括前年，开始对工作学习中涉及到的一些技术的理论基础，进行梳理和总结，陆陆续续地写到了博客。随着逐渐深入，发现需要投入的空闲时间远比想象中多得多。但坑已经挖好了，又不能不填，于是挑重点，主要是大框架的形式，抓紧时间收了个尾。时间有限，略显匆忙，但好在相对完整了，只是很多细节没有展开，不过大多细节也没有展开的必要。
其中主要涉及的技术方向：强化学习、推荐系统、凸优化、图神经网络。
1.1 强化学习系列
- 强化学习_知识框架&笔记（Sutton）
https://blog.csdn.net/qq_36870202/article/details/122184703 - 强化学习_知识框架&笔记（Python）
https://blog.csdn.net/qq_36870202/article/details/122184740 - 强化学习_经典论文框架
https://blog.csdn.net/qq_36870202/article/details/122831467
整体看来，对于强化学习领域的两个分支大类：
- 价值学习。学习价值函数 Q ( s , a ) Q(s,a) Q(s,a)，动作 a a a简化为离散有限的集合；相对简单，但也基本能解决大部分问题；
- 策略梯度。学习策略函数 a = π ( s ) a=\pi(s) a=π(s)，动作 a a a为连续的概率分布；相对完备，但也更加复杂;
目前，只对第1个分支有相对较多的了解和实际应用；至于第2个分支，后面看是否有相关需求或者时间计划，再查漏补缺。
1.2 推荐系统系列
- 《深度学习推荐系统》学习笔记(1)——概述（思维导图）
https://blog.csdn.net/qq_36870202/article/details/122201681 - 《深度学习推荐系统》学习笔记(2)——传统推荐模型
https://blog.csdn.net/qq_36870202/article/details/122201792 - 《深度学习推荐系统》学习笔记(3)——深度学习推荐模型
https://blog.csdn.net/qq_36870202/article/details/122222690 - 《深度学习推荐系统》学习笔记(4)——Embedding（思维导图）
https://blog.csdn.net/qq_36870202/article/details/122331762 - 《深度学习推荐系统》学习笔记(5)——Embedding（论文）
https://blog.csdn.net/qq_36870202/article/details/122331812
1.3 凸优化
- 凸优化_知识框架&笔记
https://blog.csdn.net/qq_36870202/article/details/122095767
1.3 图神经网络
- 图神经网络GNN_知识框架&学习笔记
https://blog.csdn.net/qq_36870202/article/details/122095876
2. 新的知识
2.1 Paper
2022年的论文阅读，主要涉及：推荐算法、图模型、知识图谱、自然语言处理 几个领域；
关注的方向，大概涉及：多领域交叉、多模态融合、多目标优化，模型解释性，图计算，序列模型；
其中，只对经典、著名的一部分做了多多少少的整理，有些写到了博客。其他的，大多数只是看个思路，看看有没有可借鉴的新思想，或者了解一下最新动态，没怎么花时间整理。
整体上，随着技术的发展，单一领域的ML问题，相信会逐渐完善，各种解决方案也会趋于饱和，提升空间逐渐压缩。例如CNN中著名的AlexNet，其在ImageNet竞赛中的名声大噪，已经是10年前的事情了，在这10年里，不知道被各种真真假假的sota超越了多少次。
现如今，单一领域、或黑盒模型、或简单的问题场景 等等，已经不能满足人们对ML的应用需求。人们的关注正向着不断深入、复杂的方向发展，例如 交叉领域、可解释模型、非典型的问题场景（例如小样本、多模态输入） 等等。相信这也是未来的发展趋势。
2.2 数学类
从最早用VAE，到后来的一些工作接触，例如用凸优化寻找最优分配策略，渐渐地变分法和泛函这类经常提到、但又不太了解的数学领域，产生了兴趣，于是2022年入手了两本专业书，想大概了解一下；
- 《实变函数论与泛函分析》上、下
然而时间有限，主要是时间零散、断断续续，逻辑思路经常打断，效率不高。目前的进度，大概只接触了集合、测度、和度量空间三大部分，算下来可能1/3都不到。只能看后面有没有时间再继续，毕竟不紧急也不重要。
虽然进度和速度堪忧，但好的方面也逐渐显现。之前看一些技术理论基础，还是有很多不求甚解的地方，每次遇到后，在不影响整体理解的前提下，在心里和资料上打个问号，也就凑合着过去了，时间久了也就忘了，一起忘了的还有一些其他的细节，包括没有打问号的。但随着数学的查漏补缺，之前打过的问号，偶尔会突然想起来一两个，“原来那个地方是那个意思”。。。感觉像进了一个新维度，再看老问题，就突然有点理解了。
3. 新的积累
3.1 博客类
杂七杂八，涉及NLP、推荐算法、图学习、ML科普，等等。
- 《word2vec Parameter Learning Explained》论文笔记
https://blog.csdn.net/qq_36870202/article/details/122441344 - 【IJCAI2021】《Graph Learning based Recommender Systems:A Review》论文笔记
https://blog.csdn.net/qq_36870202/article/details/121872115 - 【ESMM论文精读】Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion
https://blog.csdn.net/qq_36870202/article/details/125772727 - 【DIN论文精读】Deep Interest Network for Click-Through Rate Prediction
https://blog.csdn.net/qq_36870202/article/details/126864173 - 推荐算法之–矩阵分解(Matrix Factorization)
https://blog.csdn.net/qq_36870202/article/details/123390202 - 视频《白话机器学习》(B站传送门)
https://blog.csdn.net/qq_36870202/article/details/125857656
3.2 模型类
主要是工作中，用到的一些模型，有的调包即可，有的手动搭建。
- 神经网络
- 矩阵分解（&广义矩阵分解)
- NerualCF
- DeepCrossing
- Wide&Deep
- DIN
- ESMM
- 树模型
- XGBoost
- RF
3.3 专利类
无脑罗列。
| 序号 | 大概内容 | 涉及到的技术点 | 备注 |
|---|---|---|---|
| 1 | 爆款商品挖掘方法 | 注意力机制，自回归模型 | |
| 2 | 小语料料问答系统 | 轻量级NLP模型 | |
| 3 | 个性化推荐集成学习方法 | 集成学习 | |
| 4 | 个性化推荐多样性策略 | 表示学习，优化算法 | |
| 5 | 多领域个性化推荐 | 知识图谱、图模型 | |
| 6 | 司乘同显解决方案 | 引导滤波算法 | 公司比赛，小组方案 |
| 7 | 序列模型推荐方法 | node2vec | 只是挂个名 |
3.4 经验类
工作上，多了一些实际上的经验。
(1) 需求的处理
优先搞明白业务想做什么，很重要。这里的“想做什么”，不只是业务方提出的具体需求，而是TA的最终目的。有时候，业务方对技术的理解有偏差，需求里面提到的一些技术路径，有可能是弯路，不能无脑跟着业务的思路走。类似的事情今年遇到了两次。
【第1个故事】
业务方小X同学，让帮忙用Python处理一个数据，大概的逻辑是…(略)，这些结束后还有后半部分，但小X表示后半部分自己用excel处理就可以了。想着也不复杂，就没细问后面想做什么，直接上手做了，大概也就花了半小时的时间。
但后来发现后半部分比小X想象的复杂，excel处理不了，也需要Python处理。。。当听完小X把后半部分的逻辑也讲清楚后，发现两部分合起来看，反而变得简单了，或者说有技术上有更快的实现方式。。于是即便推倒了重来，也只花了大概15分钟的时间。
也就是说，本来15、20分钟可以搞定的事情，因为没有首先搞清楚需求背后的最终目的，盲目地跟着业务方的思路走，导致多走了半个小时的弯路。
这个事情不大，也不算多花了多少时间，但事情背后的逻辑，值得琢磨。这也为后面第2个故事中，没有走弯路，打下了基础。
【第2个故事】
业务方小Y同学，让把一个数据处理算法的老代码重新跑一下，拿到输出结果。
大概看了下，很久之前业务方需求变动，整套系统已经不再需要，废置很久了。突然要求重新调通，可能要花几天的时间，而且很可能是临时的需求，只用一次，后面还是会废弃下去。
有了第1个故事的的借鉴，这次没有直接上手，而是找小Y同学问清楚需求背后的最终目的，具体的，需要输出结果中的哪些数据，用来干什么。
这才发现，原来业务方需要的只是不经算法处理的原始数据，也就是需要一个读取数据的接口或demo。。。严格讲，这个需求应该提给负责数据开发的同学，我和小Y都在数据开发的下游，而并不是业务方理解的 数据开发->算法（我）->业务方（小Y）的串行关系。。。
但既然找到了这里，还是本着帮忙帮到底的原则，也是避免落下踢皮球的话柄，重新去翻了接口文档（毕竟很久没用了，而且不是自己做的，很多都忘了），帮忙写了一个读取数据的demo，Python语言，算上注释大概30行，总耗时不到半小时。。。
这应该算一个成功躲开了弯路的正例。忽略沟通成本，用来解决问题的实际工作，只花了不到半小时，避免了几天的弯路。
(2) 节奏的把握
可能和上一条有一些相似的地方。大概就是做事情不能图快，不能盲目地顺着别人思路走，也不能盲目地顺着自己的思路走。
需求要搞清楚、文档要看明白、技术调研要做充分。事情着手前，多花一点时间准备充分，事情开始后就能少走很多弯路。把握好节奏，才能事半功倍；急于行动，反而要走很多弯路。
(3) 一些业务知识
一些业务上的知识，因为不成体系，只能算一些零散的经验，所以放到了这里。
其中，主要是理财、基金推荐业务中，了解到了很多金融经济方面的东西。例如、
- 基金的各种特征、属性、和它们的具体意义
- 单位净值、累计净值、夏普系数、最大回撤、 α \alpha α系数、 β \beta β系数等
- 股票的序列特征
- K线图、阴阳线序列中蕴含的市场行情信息
4. 新坑系列
有些博客，拖拖拉拉还没完成，变成了新的坑，留到了2023年。
- XGBoost与可视化
- 【RecSys2021】《An Audit of Misinformation Filter Bubbles on YouTube_Bubble Bursting and Recent Behavior Changes》（信息茧房、回音室问题）
- 【2022】【SIGIR】Neighbour Interaction based Click-Through Rate Prediction via Graph-masked Transformer（多领域推荐、异质图）
- 【2022】【HIEN】Hierarchical Intention Embedding Network for Click-Through Rate Prediction（多层次意图表示）
5. 读书-非技术类
2021年，和几个朋友一拍即合，搞了个读书会。
2022年，建了一个公众号，作为新的发布平台，把2021年的内容也放了进去。
2022年，内容不多，公众号已经停更半年多。大概是工作用脑过度，工作时间外就没什么时间、精力和想法了。明年要调整一下，多匀一点空闲时间给非技术类的内容。
2022年的书单，以小说为主，不费脑子的那种。
- 刘震云 的
- 《一句顶一万句》
丁仪 的（划掉→_→）刘慈欣 的- 长篇的：《三体》三部曲、《球状闪电》
- 中短篇：《流浪地球》、《乡村教师》、《微纪元》、《中国太阳》、《白垩纪往事》、《地球大炮》、《鲸歌》等
2023规划
1. 解决历史遗留
主要是2022年遗留的论文和博客，该填的坑要填。优先级：
xgboost -> 多领域推荐 -> 多层次意图表示 -> 信息茧房、回音室问题
2. 技术积累，paper跟进
感觉2022年论文的跟进不是很及时，深度还行，主要是广度不够。
2023年要调整一下思路，时间有限，不能面面俱到，该舍弃的要舍弃，关注重点，抓大放小，让漏斗收敛的快一点。具体的，顶会优先，review优先，abstract优先（考虑到作者大都会说自己是sota，就不sota优先了…）
另外，挑重点精读，整理要及时，拖得越久，效率越低；
3. 深入业务
业务方面的了解要加强一些。
例如，虽然没必要、也没有时间成为业务专家，但可以把业务方做事情的思路、流程 熟悉一下，借鉴业务专家的思维方式，找到高效的特征选择和特征交叉方式，融入到可解释模型的构建过程中。一方面，有希望提升模型效果；另一方面，业务可信。