荣仔！最靓的仔！
荣仔！最靓的仔！

「深度学习一遍过」必修26：机器学习与深度学习基础知识汇总

本专栏用于记录关于深度学习的笔记，不光方便自己复习与查阅，同时也希望能给您解决一些关于深度学习的相关问题，并提供一些微不足道的人工神经网络模型设计思路。
专栏地址：「深度学习一遍过」必修篇 

目录

1 Boosting与Bagging

2 卷积层、激活层、池化层作用

3 卷积神经网络特性

4 正则化相关知识

5 评测指标相关知识

6 参数初始化方法

7 归一化相关知识

8 最优化方法相关知识

9 激活函数相关知识

10 优化目标相关知识

问答环节

1 Boosting与Bagging

Boosting

  • 个体学习器存在强依赖关系
  • 串行
  • 最著名的的代表 AdaBoost

Bagging

  • 个体学习器不存在强依赖关系
  • 并行
  • 一个扩展变体：随机森林

2 卷积层、激活层、池化层作用

  • 卷积层：提取特征
  • 激活层：进行特征的选择和抑制
  • 池化层：降低特征平面分辨率及抽象特征

3 卷积神经网络特性

局部连接

  • 思想来自生理学的感受野机制和图像的局部统计特性

权值共享

  • 使图像局部学习到的信息可以应用到其他区域，从而使同样的目标在不同的位置能提取到同样的特征

4 正则化相关知识

正则化目的

  • 避免过拟合

正则化思路

  • 以增大训练集误差为代价来减小泛化误差

正则化方法

  • 参数正则化方法：如 L1/L2 正则化
  • 经验正则化方法：提前停止、模型集成（如 Dropout）
  • 隐式正则化方法：数据增强

5 评测指标相关知识

分类评测指标

  • 准确率
    Accuracy=\frac{TP+TN}{TP+FP+TN+FN}
  • 精确率
    Precision=\frac{TP}{TP+FP}
  • 召回率
    Recall=\frac{TP}{TP+FN}
  • F1-score
    F1-score=2\times \frac{Precision\cdot Recall}{Precision+Recall}
  • 混淆矩阵
    用于查看是否有特定的类别相互混淆
    对于包含多个类别的任务，混淆矩阵很清晰地反映了各类别之间错分的概率
    越好的分类器对角线上的值越大

    「深度学习一遍过」必修26：机器学习与深度学习基础知识汇总_第1张图片

  • ROC 曲线
    用于评价一个分类器在不同阈值下的表现
    横坐标：FPR=\frac{FP}{FP+TN}
    纵坐标：TPR=\frac{TP}{TP+FN}
    它对正负样本不均衡问题不敏感，所以对于不均衡样本问题常选用 ROC 曲线作为评价准则
    ROC 曲线越靠近左上角，表示该分类器性能越好

    「深度学习一遍过」必修26：机器学习与深度学习基础知识汇总_第2张图片

  • AUC 指标
    若想通过两条 ROC 曲线来定量评估两个分类器的性能，就可以使用 AUC 这个指标。
    AUC 是 ROC 曲线下的面积（值不大于 1）

检索与回归评测指标

  • IoU（交并比）
  • AP
    其值等于 Precision-Recall 曲线下的面积
    假设有 N 个 Id，其中有 M 个 label
    AP 值等于这 M 个精确率值求平均
  • mAP
    假设有 N 个 Id，其中有 M 个 label
    mAP 值等于 N 个类别的 AP 值求平均

图像生成指标

  • Inception\: \: Score
    同时评估了生成图像的质量和多样性
    仅评估图像生成模型，没有评估生成图像与原始图像之间的相似度，不能保证生成的使我们想要的图像
    Mode 分数对其进行了改进，增加了 KL 散度来度量真实分布于生成分布之间的差异
  • MMD
    最大平均差异

6 参数初始化方法

要满足的条件

  1. 各层激活值不会出现饱和现象
  2. 各层激活值不为 0

神经网络要求

  • 参数梯度应该保持非零

常见问题

  • 初始值太小：导致反向传播梯度太小、梯度弥散。降低收敛速度
  • 初始值太大：造成振荡，会使 Sigmoid 函数等进入梯度饱和区

参数初始化方法

  • 初始化为 0：中间层节点值都为零，不利于优化。训练逻辑回归等模型才用
  • 生成小的随机数：np.random.randn(n)
  • 标准初始化：权重参数从 (\frac{-1}{\sqrt{n}},\frac{1}{\sqrt{n}}) 的均匀分布中生成
                         保持神经网络每层权重方差与层数无关，会更加有利于优化
  • Xavier 初始化：基于 Tanh 函数提出的，对 ReLU 并不友好（虽常搭配使用）
                                网络越深，各层输入的方差就越小，网络越难训练
  • MSRA 初始化：基于 ReLU 函数提出的

7 归一化相关知识

归一化目的

  • 让每层输入和输出的分布比较一致，从而降低学习难度

Batch Normalization（BN）

  • 用在卷积层后，用于重新调整数据分布
  • 方式：求均值 --> 求方差 --> 归一化 --> 尺度缩放和偏移操作
  • 具体方法： 
    输入数据 x_{1}\cdot \cdot \cdot x_{m}（这些数据是准备进入激活函数的数据）
    计算过程中可以看到：
    1、求数据均值
    2、求数据方差
    3、数据进行标准化
    4、训练参数 \gamma、\beta
    5、输出 y 通过\gamma 与 \beta 的线性变换得到新的值
    在正向传播的时候，通过可学习的γ与β参数求出新的分布值
    在反向传播的时候，通过链式求导方式，求出γ与β以及相关权值
    「深度学习一遍过」必修26：机器学习与深度学习基础知识汇总_第3张图片
  • 让每一层的输出归一化到了均值为 0，方差为 1 的分布 
  • 好处：①减轻了对初始值的依赖
               ②训练更快，可以使用更高的学习速率
  • 缺陷：依赖于 banch，banch 很小时计算的均值和方差不稳定
               补充：RNN 使得 banch 有长有短，因此也不适用此归一化方法

8 最优化方法相关知识

8.1 一阶

批量梯度下降

  • 使用所有的训练样本计算梯度，梯度计算稳定，但计算非常慢

随机梯度下降（SGD）

  • 每次只取一个样本进行梯度计算，梯度计算不稳定易振荡，但整体趋近于全局最优解
  • 解决 SGD 有时很慢的方法：引入动量项（对在梯度点处具有相同方向的维度，增大其动量项；对在梯度点处改变方向的维度，减小其动量项）
  • 上述方法对所有参数使用了同一个更新速率，但同一个更新速率并不一定适合所有参数（有的参数已经到了仅需微调的阶段，而有些参数由于对应样本少等原因，还需要较大幅度的调整）
  • 解决办法见下

AdaGrad

  • 自适应地为各个参数分配不同的学习率
  • 存在问题：学习率单调递减，训练后期学习率非常小，且需手动设置一个全局的出示学习率

Adadelta

  • 可有效解决 AdaGrad 的问题，本质是 AdaGrad 算法的扩展，同样是对学习率的自适应约束，不依赖全局学习率，训练初、中期效果理想，训练后期反复在局部最小值附近抖动。
  • AdaGrad 算法会累加之前所有的梯度平方，Adadelta 算法只累加固定大小的项，并且仅存储这些项近似计算对应的平均值

RMSProp

  • 可以看做 Adadelta 的一个特例，依然依赖全局学习率，效果位于 AdaGrad 与 Adadelta 之间，适合处理非平稳目标，适用于 RNN 的优化

Adam

  • 本质是带有动量项的 RMSProp 算法，利用梯度的一阶矩估计和二阶矩估计动态调整没和参数的学习率，迭代到后期时，学习率不稳定，可能过大或过小
  • 优点主要在于经过偏置校正后，每次迭代学习率都有一个确定的范围，使得参数比较平稳，对内存需求较小，适用于大多数非凸优化问题，尤其适合处理大数据集和高维空间问题

8.2 二阶

牛顿法

  • 有较一阶梯度优化方法更快的收敛速度，但计算量大

拟牛顿法

  • 可简化运算的复杂度

9 激活函数相关知识

Sigmoid 函数
（注：LeNet-5：激活函数 Sigmoid）

「深度学习一遍过」必修26：机器学习与深度学习基础知识汇总_第4张图片

  • 缺陷：
  1. 两端是饱和区，饱和区内梯度接近于 0，会带来梯度消失问题；随着网络层数增加，由于链式法则，连乘的 Sigmoid 函数导数也越来越小，导致梯度难以回传，降低网络收敛速度，甚至不能收敛
  2. 输出并不以 0 为中心，总是大于 0，而权重参数的梯度与输入有关，这就会造成在反向传播时，一个样本的某个权重的梯度总是同一个符号，这不利于权重的更新

Tanh函数

「深度学习一遍过」必修26：机器学习与深度学习基础知识汇总_第5张图片

  • 解决了 Sigmoid 输出值并不以 0 为中心的问题，但梯度消失问题和幂运算问题仍然存在

线性ReLU函数
（注：AlexNet：激活函数 ReLU）

「深度学习一遍过」必修26：机器学习与深度学习基础知识汇总_第6张图片

  • 若用 Sigmoid 函数表示则同时有一半神经元被激活，这不符合生物学只有 1%\sim 4% 被激活的要求，因此需要新的具有稀疏性的激活函数来学习相对稀疏的特征
  • 优点：f(x)=max\begin{Bmatrix} 0,x\\ \end{Bmatrix} 在使用时只需要判断输入是否大于 0，所以其计算速度非常快，收敛速度远快于 Sigmoid 和 Tanh 函数
  • 缺点：存在 Dead\: \: ReLU 问题，即某些神经元可能永远不会参与计算，导致其相应的参数无法被更新

Leaky ReLU函数

「深度学习一遍过」必修26：机器学习与深度学习基础知识汇总_第7张图片

  • 其提出是为了解决 Dead\: \: ReLU 问题，从理论上来讲，Leaky\: \: ReLU 具有 ReLU 的所有优点，并且不会有 Dead\: \: ReLU 问题，但实际操作并没有完全证明 Leaky\: \: ReLU 函数总是好于 ReLU 函数

Maxout函数

  • 就是最大值函数，从多个输入中取最大值，其具有 ReLU 函数的所有优点，线性、不饱和性，同时没有 ReLU 函数的缺点。其拟合能力非常强，可以拟合任意的凸函数，实验结果表明，Maxout 函数与 Dropout 组合使用可以发挥比较好的效果

Softmax函数

  • 公式

f(x_{i})=\frac{e^{x_{i}}}{\sum_{k=1}^{K}e^{x_{K}}}

  • 可视为 Sigmoid 函数的泛化形式，该函数一般用于多分类神经网络输出，待补充……

10 优化目标相关知识

  • 损失函数越小，模型的鲁棒性越好

10.1 分类任务损失

0-1损失

  • 当标签与预测类别相等时，损失为 0，否则为 1
  • 0-1 损失无法对 x 进行求导，这使其在依赖反向传播的深度学习模型中无法被优化

交叉熵损失

  • 交叉熵函数是两个分布的互信息，可以反映两个概率分布的相关程度
  • 损失的大小完全取决于分类为正确标签那一类的概率，当所有样本都分类正确时，损失为 0，否则，损失大于 0

Softmax损失

  • 是交叉熵损失的特例（f(x_{ij}) 的表现形式为 Softmax），常应用于分类分割任务

KL散度

  • 用于估计两个分布的相似性，KL 散度并不是一个对称的损失，常被用于生成式模型

Sigmoid Cross Entropy损失

  • 通常被用于多分类任务

10.2 回归任务损失

  • 回归结果是整数或实数，并没有先验的概率密度分布，其常用的损失是 L1 损失和 L2 损失

L1损失

  • 公式

MAE=\frac{1}{n}\sum_{i=1}^{n}|y_{i}-y_{i} |

  • 以绝对误差作为距离，具有稀疏性，常被作为正则项添加到其他损失中来约束参数的稀疏性，L1 损失最大的问题是梯度在零点不平滑

L2损失

  • 公式

MSE=\frac{1}{n}\sum_{i=1}^{n}(y_{i}-y_{i} )^{2}

  • 以绝对误差的平方和作为距离，L2 损失也常常作为正则项，当预测值与目标值相差很大时，梯度容易爆炸，因为梯度中包含了预测值和目标值的差异项，L1 损失最大的问题是梯度容易爆炸

Smooth L1损失

  • 公式

smooth_{t_{1}}(x)=\left\{\begin{matrix} 0.5x^{2}\: \: \: \: if\: |x|<1\\ |x|-0.5\: \: \: \: otherwise \end{matrix}\right.

  • 解决 L1loss 梯度不平滑，L2 loss 梯度爆炸问题
  • 在 x 比较小时，上式等价于 L2 loss，保持平滑
  • 在 x 比较大时，上式等价于 L1 loss，可以限制数值的大小

问答环节

  1. 问：神经网络的初始权值和阈值为什么都归一化 0 到 1 之间呢？（分割归一化到 0\sim 1）
    答：因为神经元的传输函数在 [0,1] 之间区别比较大，如果大于 1 以后，传输函数值变化不大（导数或斜率就比较小），不利于反向传播算法的执行。反向传播算法需要用到各个神经元传输函数的梯度信息，当神经元的输入太大时（大于 1 比如），相应的该点自变量梯度值就过小，就无法顺利实现权值和阈值的调整）。传输函数比如 logsig 或 tansig，若把函数图像画出来会发现，[-1,1] 之间函数图像比较徒，一阶导数（梯度）比较大，如果在这个范围之外，图像就比较平坦，一阶导数（梯度）就接近 0 了。

欢迎大家交流评论，一起学习
希望本文能帮助您解决您在这方面遇到的问题




感谢阅读
END

你可能感兴趣的:(「深度学习一遍过」必修篇,深度学习,机器学习,神经网络)

  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 学点心理知识，呵护孩子健康 静候花开_7090
    昨天听了华中师范大学教育管理学系副教授张玲老师的《哪里才是学生心理健康的最后庇护所，超越教育与技术的思考》的讲座。今天又重新学习了一遍，收获匪浅。张玲博士也注意到了当今社会上的孩子由于心理问题导致的自残、自杀及伤害他人等恶性事件。她向我们普及了一个重要的命题，她说心理健康的一些基本命题，我们与我们通常的一些教育命题是不同的，她还举了几个例子，让我们明白我们原来以为的健康并非心理学上的健康。比如如果
  • 那个抄袭的大张伟 猫小努
    最近一直在追《即刻电音》这个综艺，除了觉得出场节目的音乐制作人有意思之外，也觉得有两个导师挺有趣的（另外一个就忽略了吧）。孙艺兴在上一篇文章里面已经说过了，那么这篇就说说我们的大老师，大张伟吧。其实在节目刚开始大张伟出来的时候，我以为他是属于导师里面来活跃气氛负责搞笑的，毕竟孙艺兴属于卖萌卖傻卖老实的，尚雯婕一般负责装逼耍狠的，而大张伟一贯以来上综艺的形象基本上都是蹦蹦跳跳带动气氛的。谁知道，两期
  • 今天我破防了 sin信仰
    今天本来是大年初一，新年的第一天，应该是高高兴兴的一天，但是我怎么也高兴不起来。具体原因很简单，原本计划年后去县城找了一份会计的工作，被公公婆婆否定了，我心里立马就不舒服了，但是当时刚好肚子疼，我去了厕所，等我上完厕所，公公由于喝了酒还在那里和婆婆唠叨个没完。然后我就在心情极度压抑的情况下把午饭吃完的碗筷和锅给刷了。边刷碗筷和锅，边在那里难受，感觉自己在这个家里真的是过的憋屈死了，公婆不让我去上班
  • 将cmd中命令输出保存为txt文本文件 落难Coder Windowscmdwindow
    最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
  • 18-115 一切思考不能有效转化为行动，都TM是扯淡！ 成长时间线
    7月25号写了一篇关于为什么会断更如此严重的反思，然而，之后日更仅仅维持了一周，又出现了这次更严重的现象。从8月2号到昨天8月6号，5天！又是5天没有更文！虽然这次断更时间和上次一样，那为什么说这次更严重？因为上次之后就分析了问题的原因，以及应该如何解决，按理说应该会好转，然而，没过几天严重断更的现象再次出现，想想，经过反思，问题依然没有解决与改变，这让我有些担忧。到底是哪里出了问题，难道我就真的
  • 拥有断舍离的心态，过精简生活--《断舍离》读书笔记 爱吃丸子的小樱桃
    不知不觉间房间里的东西越来越多，虽然摆放整齐，但也时常会觉得空间逼仄，令人心生烦闷。抱着断舍离的态度，我开始阅读《断舍离》这本书，希望从书中能找到一些有效的方法，帮助我实现空间、物品上的断舍离。《断舍离》是日本作家山下英子通过自己的经历、思考和实践总结而成的，整体内涵也从刚开始的私人生活哲学的“断舍离”升华成了“人生实践哲学”，接着又成为每个人都能实行的“改变人生的断舍离”，从“哲学”逐渐升华成“
  • 直返最高等级与直返APP：无需邀请码的返利新体验 古楼
    随着互联网的普及和电商的兴起，直返模式逐渐成为一种流行的商业模式。在这种模式下，消费者通过购买产品或服务，获得一定的返利，并可以分享给更多的人。其中，直返最高等级和直返APP是直返模式中的重要概念和工具。本文将详细介绍直返最高等级的概念、直返APP的使用以及与邀请码的关系。【高省】APP（高佣金领导者）是一个自用省钱佣金高，分享推广赚钱多的平台，百度有几百万篇报道，运行三年，稳定可靠。高省APP，
  • 《人世间》 南询yi
    今日分享十点推文，《人世间》有感苏格拉底说：“天地只有三尺，而人在五尺开外，所以人人都要懂得低头。”深以为然。懂得低头，不是认输。而是于人世间找寻温存的成熟，于困境中寻觅柳暗花明的智慧，于争执中展示屈伸自如的格局。正如仰头不是骄傲，是要看见自己的天空；低头也不是认输，而是要看清自己的路。成大事者，不仅要抬头挺胸，还得低头看路。懂得低头，进退有度，不是认输，而是竭尽全力过好这一生。宫崎骏说过：“所有
  • 高端密码学院笔记285 柚子_b4b4
    高端幸福密码学院（高级班）幸福使者：李华第（598）期《幸福》之回归内在深层生命原动力基础篇——揭秘“激励”成长的喜悦心理案例分析主讲：刘莉一，知识扩充:成功=艰苦劳动+正确方法+少说空话。贪图省力的船夫，目标永远下游。智者的梦再美，也不如愚人实干的脚印。幸福早课堂2020.10.16星期五一笔记:1，重视和珍惜的前提是知道它的价值非常重要，当你珍惜了，你就真正定下来，真正的学到身上。2，大家需要
  • 想明白这个问题，你才能写下去 文自拾
    春节放假的时候，又有一天梦见她，第二天她冒着漫天大雪，傻傻地跑来见我。她说，见见傻傻的我，天很冷，心很暖。她回去后，我写了一篇文章，题目叫——从此梦中只有你。我们没在一起的很长一段时间里，她都在我的心底，一次次出现在我的梦里。我对她说，在一起之前，是胆小且闷骚，在一起之后，我变得不要脸了。不要脸的——去爱你。那文章没写完，火车上，给她看了。我有点小失望，花了好几个小时写，她分分钟就看完，很希望她逐
  • 2022现在哪个打车软件比较好用又便宜 实惠的打车软件合集 高省APP珊珊
    这是一个信息高速传播的社会。信息可以通过手机，微信，自媒体，抖音等方式进行传播。但同时这也是一个交通四通发达的社会。高省APP，是2022年推出的平台，0投资，0风险、高省APP佣金更高，模式更好，终端用户不流失。【高省】是一个自用省钱佣金高，分享推广赚钱多的平台，百度有几百万篇报道，也期待你的加入。珊珊导师，高省邀请码777777，注册送2皇冠会员，送万元推广大礼包，教你如何1年做到百万团队。高
  • 嘿，谢谢你 小小玛拉沁
    突然想对一个女孩子说，谢谢你！很久很久以前，总是觉得和你不会有太多交集，充其量也只是普通的舍友吧，毕竟有很多习惯，性格等方面相差甚远。其实特别感谢2017这一段经历和我遇见的人，只会慢吞吞的过自己生活的安小蜗是不会主动去结交朋友的，所以她来到了我的世界，让我在不知不觉中发现了自己太多太多的问题，而我正在逐渐去改变这些的习惯，成为更好的自己！我总是超级佩服她不管什么时候精力都超级旺盛，可以在上了一天
  • 回溯算法-重新安排行程 chirou_ 算法数据结构图论c++图搜索
    leetcode332.重新安排行程这题我还没自己ac过，只能现在凭着刚学完的热乎劲把我对题解的理解记下来。本题我认为对数据结构的考察比较多，用什么数据结构去存数据，去读取数据，都是很重要的。classSolution{private:unordered_map>targets;boolbacktracking(intticketNum,vector&result){//1.确定参数和返回值//2
  • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
  • 烟花美，但瞬间即逝的样子像极了爱情。 胡萝卜很甜
    我见过烟花在天上绽放时绚烂的模样也目睹过爱情消逝曾经相爱的两人变冷漠的样子其实我特别喜欢烟花绽放的艳丽大年初一凌晨的烟花手机拍的没有眼睛看到的美但是烟花虽美，稍纵即逝，眼睛刚记录下它的美好，就转眼消失不见。天空又恢复一片黑。烟花的样子像极了爱情啊……不论曾经多么山盟海誓，海枯石烂。只要吵架或者分手。就变得那么冷漠，那么陌生。你甚至开始怀疑你有过爱情么？真正的爱情到底是什么样子。来的快去的也快么？对
  • 心有蓝天白云，爱情便会晴空万里，然后有花香有鸟鸣有美好的未来 曹十二吖
    丁南的婚姻，来自于一场她对生命的对比。她曾经说过，当她最爱的母亲用生命去逼迫她结婚的时候，她曾一度不理解到愤怒，甚至于想过用轻生来对抗母亲的不理智。庆幸的是，丁南是一个自我调节能力非常强的人，她想如果我连死亡都不怕，还怕不能经营好一段婚姻吗？抱着这样的念头，24年没有谈过恋爱的她，用短短三个月的时间，完成了少女到女人的蜕变。她曾经说过：“我要把自己最珍贵的东西留给自己命中注定的那个人。”闺蜜几人中
  • Redis系列：Geo 类型赋能亿级地图位置计算 Ly768768 redisbootstrap数据库
    1前言我们在篇深刻理解高性能Redis的本质的时候就介绍过Redis的几种基本数据结构，它是基于不同业务场景而设计的：动态字符串(REDIS_STRING)：整数(REDIS_ENCODING_INT)、字符串(REDIS_ENCODING_RAW)双端列表(REDIS_ENCODING_LINKEDLIST)压缩列表(REDIS_ENCODING_ZIPLIST)跳跃表(REDIS_ENCODI
  • 对于写作者最重要的两点：热情和分享 鱼和熊掌兼得
    【热情】在开头，塔奇曼提到光有热情是不够的。但是，要想长期的坚持写作，没有热情是不行的。很多人都说，这是一个对写作者很优待的时代，也有很多人前仆后继的写作。在写作这条路上的人，始终很多，一些人来了，一些人走了，但是能坚持下来的却只有那么几个。不知道什么时候开始，写作变现这个词火了起来。不管是谁，都想来分一杯羹。可是写作变现真的没有这么容易，鱼哥说过，写作的人千千万万，能变现的也不过是其中的千分之一
  • 想家，想念家乡的四季 三妹杨敏
    不知道，为什么，这次我回自己出生地—老家，反倒有了一种出差走亲戚的感觉。人啊，出来得久了，就生分了。就不再那么心贴着心脸对着脸了。需要时间，需要机缘，需要我们再重新把自己的思维重置一遍，你才能够转得回这个弯儿的。最好的转弯儿，不是说教，也不是余旧，都有些治标不治本。真正管用的东西，只有一样。也简单。一个字：吃。吃一顿家乡的饭，喝一口家乡的水，听一听那浓重得有些陌生的乡音，心就回来了。心回来，人才算
  • 这个世界为何对女性这么苛刻 遇见知见
    图片发自App当今社会的女性，简直用金刚侠来形容都不为过。虽然早已过了男尊女卑的时代，但是这个世界并没有平等的对待女性。新时代的女性标准：上得了厅堂，下得了厨房，杀得了木马，翻得了围墙，开得起好车，买得起新房，斗得过二奶，打得过流氓，生得了孩子，养得了家庭。这个社会对女性有太多的不公平，既要求女性经济独立，又要求女性贤良淑德。所有的女性的在成长过程中没有任何一项是因为你是女性而给你开绿灯的。图片发
  • 2019-11-04复盘——飞来山上千寻塔，闻说鸡鸣见日升。 那一叶秋
    1、大盘篇先上老图，看习惯了，也就知道走势了图1上证指数日线图还是那张老图，自己可以在自己的相关软件上画出来，快变盘了。2、个股篇未加仓、未减仓。分析量能的时候，突然发现这么一个东西：“放量突破年线，缩量回调。”合众科技日线图其实，最近的N只个股，在技术分析上，都到了变盘的临界时候。结合这么久的走势，特别是ZJH不断放开IPO的申请，本质上说是融资难度变大，或者说是为企业的融资开创便利。但现在市场
  • 数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首 张三叨
    你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 【讲解】怎么消除妊娠纹 poyan7160
    女人是脆弱的，尤其是孕期的女性。辛辛苦苦怀胎十月，经历一次深到骨子里的痛还不够，无奈还要留下一身的妊娠纹。母亲是伟大的，但也是要付出代价的，妊娠纹就是最好的证明。可是，难道真的要带着妊娠纹过一辈子吗?不，坚决不!接下来新时代辣妈告诉你怎么去除妊娠纹?怎么去除妊娠纹——根据肌肤需要补充水分就像敷面膜那样，大家都知道敷面膜的目的是为了给肌肤补充水分。水分对一个人的肌肤很重要，只有有了足够的水分，肌肤才
  • 道阻且长，行则将至 sweet橘子
    本文参与书香澜梦主题征文“行”文章原创首发，文责自负。我们每一个人都应该有属于自己的愿望或者是理想，人一但有了理想也就算是有了方向，它就会像灯塔一样指引我们前进的方向，哪怕是再远大的理想，如果坚持，那么我相信它就一定有收获。屈原是我最喜欢的一个浪漫主义的诗人，他曾今说过：“路漫漫其修远兮，吾将上下而求索。”人生的道路很长，但是为了实现自己的理想抱负我愿意付出我毕生的精力，只专注这一件事，因为“道阻
  • Python中深拷贝与浅拷贝的区别 yuxiaoyu.
    转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
  • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
  • 【六】阿伟开始搭建Kafka学习环境 能源恒观 中间件学习kafkaspring
    阿伟开始搭建Kafka学习环境概述上一篇文章阿伟学习了Kafka的核心概念，并且把市面上流行的消息中间件特性进行了梳理和对比，方便大家在学习过程中进行对比学习，最后梳理了一些Kafka使用中经常遇到的Kafka难题以及解决思路，经过上一篇的学习我相信大家对Kafka有了初步的认识，本篇将继续学习Kafka。一、安装和配置学习一项技术首先要搭建一套服务，而Kafka的运行主要需要部署jdk、zook
  • 119:虚惊一场 追梦的小蚂蚁
    医院体检结果出来了。老a被通知再次去复查，又复查了一遍，结果还是不理想。老a心里有点不痛快了，难不成饭吃到头了？这人生最悲剧的事情就是人没了，钱还没花完。我从明天开始想吃的想喝的一毛都不省，天天抽华子。上班期间，老a掏出华子给人散。老c：“这发什么横财了？都整上了华子了？”老a：“别tm废话，抽不？不抽我装上了！”老c：“哥哥，肯定抽啊，拿来。”老a：“就凭这个哥哥，以后给你天天发华子！”老c：“
  • html页面js获取参数值 0624chenhong html
    1.js获取参数值js function GetQueryString(name) {      var reg = new RegExp("(^|&)"+ name +"=([^&]*)(&|$)");      var r = windo
  • MongoDB 在多线程高并发下的问题 BigCat2013 mongodbDB高并发重复数据
    最近项目用到 MongoDB , 主要是一些读取数据及改状态位的操作. 因为是结合了最近流行的 Storm进行大数据的分析处理，并将分析结果插入Vertica数据库，所以在多线程高并发的情境下, 会发现 Vertica 数据库中有部分重复的数据. 这到底是什么原因导致的呢？笔者开始也是一筹莫 展，重复去看 MongoDB 的 API , 终于有了新发现 ： com.mongodb.DB 这个类有
  • c++ 用类模版实现链表(c++语言程序设计第四版示例代码) CrazyMizzz 数据结构C++
    #include<iostream> #include<cassert> using namespace std; template<class T> class Node { private: Node<T> * next; public: T data;
  • 最近情况 麦田的设计者 感慨考试生活
       在五月黄梅天的岁月里，一年两次的软考又要开始了。到目前为止，我已经考了多达三次的软考，最后的结果就是通过了初级考试（程序员）。人啊，就是不满足，考了初级就希望考中级，于是，这学期我就报考了中级，明天就要考试。感觉机会不大，期待奇迹发生吧。这个学期忙于练车，写项目，反正最后是一团糟。后天还要考试科目二。这个星期真的是很艰难的一周，希望能快点度过。   
  • linux系统中用pkill踢出在线登录用户 被触发 linux
    由于linux服务器允许多用户登录，公司很多人知道密码，工作造成一定的障碍所以需要有时踢出指定的用户 1/#who   查出当前有那些终端登录（用 w 命令更详细） # who root     pts/0        2010-10-28 09:36 (192
  • 仿QQ聊天第二版 肆无忌惮_ qq
    在第一版之上的改进内容:  第一版链接: http://479001499.iteye.com/admin/blogs/2100893   用map存起来号码对应的聊天窗口对象,解决私聊的时候所有消息发到一个窗口的问题. 增加ViewInfo类,这个是信息预览的窗口,如果是自己的信息,则可以进行编辑.   信息修改后上传至服务器再告诉所有用户,自己的窗口
  • java读取配置文件 知了ing
    1，java读取.properties配置文件 InputStream in; try { in = test.class.getClassLoader().getResourceAsStream("config/ipnetOracle.properties");//配置文件的路径 Properties p = new Properties()
  • __attribute__ 你知多少？ 矮蛋蛋 C++gcc
    原文地址: http://www.cnblogs.com/astwish/p/3460618.html GNU C 的一大特色就是__attribute__ 机制。__attribute__ 可以设置函数属性（Function Attribute ）、变量属性（Variable Attribute ）和类型属性（Type Attribute ）。 __attribute__ 书写特征是：
  • jsoup使用笔记 alleni123 java爬虫JSoup
    <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.7.3</version> </dependency> 2014/08/28 今天遇到这种形式，
  • JAVA中的集合 Collectio 和Map的简单使用及方法 百合不是茶 listmapset
             List ,set ,map的使用方法和区别 java容器类类库的用途是保存对象，并将其分为两个概念：     Collection集合：一个独立的序列，这些序列都服从一条或多条规则;List必须按顺序保存元素  ，set不能重复元素；Queue按照排队规则来确定对象产生的顺序（通常与他们被插入的
  • 杀LINUX的JOB进程 bijian1013 linuxunix
    今天发现数据库一个JOB一直在执行，都执行了好几个小时还在执行，所以想办法给删除掉   系统环境：    ORACLE 10G    Linux操作系统   操作步骤如下： 第一步.查询出来那个job在运行，找个对应的SID字段 select * from dba_jobs_running--找到job对应的sid &n
  • Spring AOP详解 bijian1013 javaspringAOP
            最近项目中遇到了以下几点需求，仔细思考之后，觉得采用AOP来解决。一方面是为了以更加灵活的方式来解决问题，另一方面是借此机会深入学习Spring AOP相关的内容。例如，以下需求不用AOP肯定也能解决，至于是否牵强附会，仁者见仁智者见智。 1.对部分函数的调用进行日志记录，用于观察特定问题在运行过程中的函数调用
  • [Gson六]Gson类型适配器(TypeAdapter) bit1129 Adapter
    TypeAdapter的使用动机  Gson在序列化和反序列化时，默认情况下，是按照POJO类的字段属性名和JSON串键进行一一映射匹配，然后把JSON串的键对应的值转换成POJO相同字段对应的值，反之亦然，在这个过程中有一个JSON串Key对应的Value和对象之间如何转换(序列化/反序列化)的问题。   以Date为例，在序列化和反序列化时，Gson默认使用java.
  • 【spark八十七】给定Driver Program， 如何判断哪些代码在Driver运行，哪些代码在Worker上执行 bit1129 driver
    Driver Program是用户编写的提交给Spark集群执行的application，它包含两部分 作为驱动： Driver与Master、Worker协作完成application进程的启动、DAG划分、计算任务封装、计算任务分发到各个计算节点(Worker)、计算资源的分配等。 计算逻辑本身，当计算任务在Worker执行时，执行计算逻辑完成application的计算任务
  • nginx 经验总结 ronin47 nginx 总结
    　　　深感nginx的强大，只学了皮毛，把学下的记录。 　　　获取Header 信息，一般是以$http_XX（ＸＸ是小写）            获取body,通过接口，再展开，根据Ｋ取Ｖ 　　　获取uri,以$arg_XX      &n
  • 轩辕互动-1.求三个整数中第二大的数2.整型数组的平衡点 bylijinnan 数组
    import java.util.ArrayList; import java.util.Arrays; import java.util.List; public class ExoWeb { public static void main(String[] args) { ExoWeb ew=new ExoWeb(); System.out.pri
  • Netty源码学习-Java-NIO-Reactor bylijinnan java多线程netty
    Netty里面采用了NIO-based Reactor Pattern 了解这个模式对学习Netty非常有帮助 参考以下两篇文章： http://jeewanthad.blogspot.com/2013/02/reactor-pattern-explained-part-1.html http://gee.cs.oswego.edu/dl/cpjslides/nio.pdf
  • AOP通俗理解 cngolon springAOP
    1.我所知道的aop     初看aop,上来就是一大堆术语，而且还有个拉风的名字，面向切面编程，都说是OOP的一种有益补充等等。一下子让你不知所措，心想着：怪不得很多人都和 我说aop多难多难。当我看进去以后，我才发现：它就是一些java基础上的朴实无华的应用，包括ioc，包括许许多多这样的名词，都是万变不离其宗而 已。 2.为什么用aop&nb
  • cursor variable 实例 ctrain variable
    create or replace procedure proc_test01 as type emp_row is record( empno emp.empno%type, ename emp.ename%type, job emp.job%type, mgr emp.mgr%type, hiberdate emp.hiredate%type, sal emp.sal%t
  • shell报bash: service: command not found解决方法 daizj linuxshellservicejps
    今天在执行一个脚本时，本来是想在脚本中启动hdfs和hive等程序，可以在执行到service hive-server start等启动服务的命令时会报错，最终解决方法记录一下：   脚本报错如下： ./olap_quick_intall.sh: line 57: service: command not found ./olap_quick_intall.sh: line 59
  • 40个迹象表明你还是PHP菜鸟 dcj3sjt126com 设计模式PHP正则表达式oop
    你是PHP菜鸟，如果你：1. 不会利用如phpDoc 这样的工具来恰当地注释你的代码2. 对优秀的集成开发环境如Zend Studio 或Eclipse PDT 视而不见3. 从未用过任何形式的版本控制系统，如Subclipse4. 不采用某种编码与命名标准 ，以及通用约定，不能在项目开发周期里贯彻落实5. 不使用统一开发方式6. 不转换（或）也不验证某些输入或SQL查询串（译注：参考PHP相关函
  • Android逐帧动画的实现 dcj3sjt126com android
    一、代码实现： private ImageView iv; private AnimationDrawable ad; @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout
  • java远程调用linux的命令或者脚本 eksliang linuxganymed-ssh2
    转载请出自出处： http://eksliang.iteye.com/blog/2105862        Java通过SSH2协议执行远程Shell脚本(ganymed-ssh2-build210.jar)   使用步骤如下： 1.导包 官网下载: http://www.ganymed.ethz.ch/ssh2/ ma
  • adb端口被占用问题 gqdy365 adb
    最近重新安装的电脑，配置了新环境，老是出现： adb server is out of date. killing... ADB server didn't ACK * failed to start daemon * 百度了一下，说是端口被占用，我开个eclipse，然后打开cmd，就提示这个，很烦人。 一个比较彻底的解决办法就是修改
  • ASP.NET使用FileUpload上传文件 hvt .netC#hovertreeasp.netwebform
    前台代码： <asp:FileUpload ID="fuKeleyi" runat="server" /> <asp:Button ID="BtnUp" runat="server" onclick="BtnUp_Click" Text="上 传" />
  • 代码之谜（四）- 浮点数（从惊讶到思考） justjavac 浮点数精度代码之谜IEEE
    在『代码之谜』系列的前几篇文章中，很多次出现了浮点数。 浮点数在很多编程语言中被称为简单数据类型，其实，浮点数比起那些复杂数据类型（比如字符串）来说， 一点都不简单。 单单是说明 IEEE浮点数 就可以写一本书了，我将用几篇博文来简单的说说我所理解的浮点数，算是抛砖引玉吧。 一次面试 记得多年前我招聘 Java 程序员时的一次关于浮点数、二分法、编码的面试， 多年以后，他已经称为了一名很出色的
  • 数据结构随记_1 lx.asymmetric 数据结构笔记
    第一章   1.数据结构包括数据的 逻辑结构、数据的物理/存储结构和数据的逻辑关系这三个方面的内容。 2.数据的存储结构可用四种基本的存储方法表示，它们分别是 顺序存储、链式存储 、索引存储 和 散列存储。 3.数据运算最常用的有五种，分别是  查找/检索、排序、插入、删除、修改。 4.算法主要有以下五个特性：  输入、输出、可行性、确定性和有穷性。 5.算法分析的
  • linux的会话和进程组 网络接口 linux
    会话： 一个或多个进程组。起于用户登录，终止于用户退出。此期间所有进程都属于这个会话期。会话首进程：调用setsid创建会话的进程1.规定组长进程不能调用setsid，因为调用setsid后，调用进程会成为新的进程组的组长进程.如何保证？ 先调用fork，然后终止父进程，此时由于子进程的进程组ID为父进程的进程组ID，而子进程的ID是重新分配的，所以保证子进程不会是进程组长，从而子进程可以调用se
  • 二维数组 元素的连续求解 1140566087 二维数组ACM
    import java.util.HashMap; public class Title { public static void main(String[] args){ f(); } // 二位数组的应用 //12、二维数组中，哪一行或哪一列的连续存放的0的个数最多，是几个0。注意，是“连续”。 public static void f(){
  • 也谈什么时候Java比C++快 windshome javaC++
      刚打开iteye就看到这个标题“Java什么时候比C++快”，觉得很好笑。   你要比，就比同等水平的基础上的相比，笨蛋写得C代码和C++代码，去和高手写的Java代码比效率，有什么意义呢？   我是写密码算法的，深刻知道算法C和C++实现和Java实现之间的效率差，甚至也比对过C代码和汇编代码的效率差，计算机是个死的东西，再怎么优化，Java也就是和C
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他