技术学习相关的备忘录（后续处理）

ubuntu下面的ipv6设置

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

 

mnist数据集的ubyte格式是怎么回事?

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

Ajax翻译

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

kaggle里面涉及了UNET记得找文章看一下

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

在自己笔记本上学习下cuda

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

知乎上有人提到了tensorlayer记得有空留意一下。

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

搞清楚什么时候使用什么样的激活函数

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
想办法搞定shell发送邮件

apt install s-nail
dpkg -i heirloom-mailx_14.8.6-1_all.deb
heirloom-mailx_14.8.6-1_all.deb来自[1]

 

 

如果出现报错：
mail: cannot send message: Process exited with a non-zero status
调试办法是:
cat /var/log/mail.err
 

 

资源下载链接：　
[1]http://archive.ubuntu.com/ubuntu/pool/universe/s/s-nail/heirloom-mailx_14.8.6-1_all.deb
[2]https://blog.csdn.net/just_shunjian/article/details/78677054

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

神经网络如何保存已经训练好的中间结果
https://www.jianshu.com/p/b6c9474d294c

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

https://blog.csdn.net/u011550710/article/details/76687152/
悲观锁，行锁，mysql引擎对表锁和行锁的影响

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

能否使用本地IP作为外网IP进行访问。
或者使用台式机IP作为外网IP进行访问。

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

下面这篇文章对BN之类的总结得比较好(找时间阅读)
https://zhuanlan.zhihu.com/p/72589565

＃＃＃＃＃＃＃＃＃＃下面是两本讲python并发的实验书＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

Learning Concurrency in Python: Build highly efficient, robust, and concurrent applications (English Edition)

Mastering Concurrency in Python: Create faster programs using concurrency, asynchronous, multithreading, and parallel programming
github:
https://github.com/PacktPublishing/Mastering-Concurrency-in-Python

 

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃并发相关的＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

看下IO类型，看下压力测试和QPS以及注意下第三方API接口的测试

看下Netty，NIO以及jmeter(压力测试工具)

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃需要阅读的其他书＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

深度学习:基于Python的理论与实现
卷积神经网络入门到精通

 

 

 

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃blending相关内容＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

https://zhuanlan.zhihu.com/p/64676444
https://zhuanlan.zhihu.com/p/42229791
https://zhuanlan.zhihu.com/p/61705517
https://zhuanlan.zhihu.com/p/53601907
https://zhuanlan.zhihu.com/p/27486736

 

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃Relu相关＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

Relu有很多变种,注意搞清楚下面过的两个博客:

http://www.cnblogs.com/qw12/p/6294430.html
https://www.cnblogs.com/adong7639/p/9213038.html
Logistic-Sigmoid、Tanh-Sigmoid

 

 

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃stacking的内容＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

Stacking在比赛中的应用
https://github.com/ChenglongChen/Kaggle_CrowdFlower
 
 
 对抗验证目前在kaggle上面主流还是在用于判断分布，但是似乎并没有用来选择合理的训练集。
  Stacking系统调研下知乎
  https://mlwave.com/kaggle-ensembling-guide/
 砍手豪的所有文章和回答都看一遍
  FFM在Shark似乎没有 ，可以考虑下实现

https://zhuanlan.zhihu.com/p/26890738
https://zhuanlan.zhihu.com/p/32445437
https://zhuanlan.zhihu.com/p/35847556
https://zhuanlan.zhihu.com/p/43541825
https://zhuanlan.zhihu.com/p/49094829
https://zhuanlan.zhihu.com/p/78682267
https://www.zhihu.com/question/295475618/answer/529896269

https://www.kaggle.com/chenglongchen
据说里面有一个非常好的pipeline

https://zhuanlan.zhihu.com/p/52466058
房价预测中进行stacking

https://zhuanlan.zhihu.com/p/39541752
代码

https://zhuanlan.zhihu.com/p/34904202
回归问题使用stacking

https://www.kaggle.com/arthurtok/introduction-to-ensembling-stacking-in-python
带有代码

https://zhuanlan.zhihu.com/p/32896968
没有代码，但是值得仔细思考图中的效果

http://blog.kaggle.com/2016/12/27/a-kagglers-guide-to-model-stacking-in-practice/
带有代码

https://zhuanlan.zhihu.com/p/58298621
带有代码

https://zhuanlan.zhihu.com/p/25836678
带有代码

https://zhuanlan.zhihu.com/p/29049292
这个说关注公众号会提供代码

https://www.kaggle.com/arthurtok/introduction-to-ensembling-stacking-in-python
stacking含有代码
https://zhuanlan.zhihu.com/p/29418981
这个知乎貌似是上面kaggle代码的翻译

https://github.com/h2oai/h2o-tutorials/tree/master
带有代码

https://zhuanlan.zhihu.com/p/70757784
所以，stacking的本质就是找到各个模型合适的权重。

stacking不适合极小的数据集。

https://mlwave.com/kaggle-ensembling-guide/
官方内容

https://zhuanlan.zhihu.com/p/75584326
介绍了Combo工具，似乎是一种非常好的机器学习模型融合工具

ensemble pipeline包括
Bagging Boosting Stacking Blending，vote, averaging,
还没有找过Blending模型的相关文章。

什么是5-Fold Stacking 
stacking提到了OOF方法？？、

https://zhuanlan.zhihu.com/p/41809927
有stacking论文的截图

模型融合（stacking）心得
https://zhuanlan.zhihu.com/p/40693176

 

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

模型压缩方面，看看能不能以植入为题写一篇文章。

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

研究下VGG的权值共享

 

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃梯度爆炸消失相关的论文＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

https://blog.csdn.net/qq_38210185/article/details/79376053
http://www.elecfans.com/d/672083.html
https://blog.csdn.net/wangpengfei163/article/details/80534608
https://www.cnblogs.com/pinard/p/6519110.html
https://www.jianshu.com/p/dcec3f07d3b5
https://www.cnblogs.com/liujshi/p/6159007.html
https://blog.csdn.net/lyc_yongcai/article/details/73201446
https://www.jianshu.com/p/4b4701beba92
https://blog.csdn.net/xuanyuansen/article/details/61913886
https://blog.csdn.net/gzj_1101/article/details/79376798

https://blog.csdn.net/u011649885/article/details/75034976
这个链接说，LSTM是RNN的升级版，用来解决梯度爆炸以及梯度消失问题。

https://www.superdatascience.com/recurrent-neural-networks-rnn-the-vanishing-gradient-problem/
这个链接提到了是谁会首先发现了梯度消失的问题。

可以看到，首先发现梯度爆炸的两位作者是：
《Untersuchungen zu dynamischen neuronalen Netzen》-Sepp Hochreiter 德文的，不可下载，所以放弃吧

1.搞清楚RNN为什么会梯度爆炸，为什么会梯度消失
2.LSTM为什么能解决上述两个问题。
3.为什么出来BRNN和BLSTM
4.这里用到的正则项是干嘛的。

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

NLP面试帖

https://mp.weixin.qq.com/s/3fsSkeaTvteU4kuly_IjTQ

https://mp.weixin.qq.com/s?__biz=Mzg5ODAzMTkyMg==&mid=2247484595&idx=1&sn=8b45cb7291df9b270240d560a65cefdc&chksm=c0698ceef71e05f8354d32237f1865bf819d28214d8a11faf12eb871cb189a4dbe3ccd72aed4&mpshare=1&scene=23&srcid=1226zaCYS5HJFfg9CXm6snRW#rd

 

深度学习500问:
https://github.com/scutan90/DeepLearning-500-questions

 

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

CNN的可视化工具visual box

 

 

 

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃其他相关问题＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

dense层
maxpool层
注意，一定要在第六章复现梯度消失与梯度爆炸问题。

sigmoid,softmax,relu

梯度爆炸和L2正则的关系。

两种情况下梯度消失经常出现，
一,是在深层网络中，
二,是采用了不合适的激活函数，比如sigmoid

梯度爆炸一般出现在深层网络和权值初始化值太大的情况下(这个是为什么)

LSTM原理

搞清楚第三章中的神经网络用来回归为什么只有一个节点

图像处理中的CNN的卷积为什么卷积核不需要翻转180°
卷积核矩阵中的参数是怎么确定下来的？

是不是有以下对应关系：
3D张量对应RGB

什么是全局平均池化

keras实现的ＣＮＮ中哪里设置阈值呢？

神经网络蒸馏实验掌握

 

 

 

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃其他备忘＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

https://blog.csdn.net/Sakura55/article/details/81876092

这个最后看
Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures

一些原文:

Learning representations by back-propagating errors
1998《Gradient-Based Learning Applied to Documnet Recognition》
2006《Reducing the Dimensionality of Data with Neural Networks》
2012《ImageNet Classification with Deep Convolutional  Neural Networks》
2013.11《Visualizing and Understanding Convolutional Networks》
2013.12《OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks》