老师我作业忘带了

AL遮天传 DL-深度学习模型的训练技巧

本文介绍一些常用的优化方法、处理过拟合的一些手段、批归一化的方法和超参数的选取。

一、优化器

回忆：随机梯度下降(SGD)及动量(momentum)

训练中需要调整学习率 $\eta$

随机梯度下降算法对每批数据 $(x^{(i)},t^{(i)})$ 进行优化，其中J 为损失函数：

$g = \triangledown _{\theta }J(\theta ;x^{(i)},t^{(i)})$

$\theta = \theta - \eta g$

基于动量的更新过程：

$v = \gamma v-\eta g$

$\theta =\theta +v$

我们前面学习地更新 $\eta$ 的方法，都是对所有的变量进行调整的，是全局且同等地调整各个参数的学习率，这并不一定是最优的学习方式(如不同层的权值的更新率不一定非要相同)，

那么我们能不能让它自适应地对不同参数进行不同学习率地调整呢？

1.1 Adagrad算法

一种典型的自适应学习率算法

梯度记为 $g = \triangledown _{\theta }J(\theta ;x^{(i)},t^{(i)})$

更新过程：

$c = c+g^{2}$

$\theta =\theta -\eta \frac{g}{\sqrt{c+\epsilon }}$

$\epsilon$ 通常在 $10^{-4}$ 和 $10^{-8}$ 之间

引入了变量c，来积累历史的梯度的平方。
更新的时候由原来的 $\theta = \theta - \eta g$ 变为了 $\theta =\theta -\eta \frac{g}{\sqrt{c+\epsilon }}$

注：如上 $g^{2}$ 表示g这个向量每个元素的平方，依旧是向量；同理下方开根号操作也是，都是逐元素操作。

例子：

假设某次迭代中， $c_{3}=90,\: c_{9}=2,$ 那么

$\Delta \theta _{3}=- \frac{\eta}{\sqrt{90+\epsilon }}g_{3}$

$\Delta \theta _{9}=- \frac{\eta}{\sqrt{2+\epsilon }}g_{9}$

显然 $\theta _{9}$ 的有效学习率 $\frac{\eta}{\sqrt{2+\epsilon }}$ 比 $\theta _{3}$ 的有效学习率 $\frac{\eta}{\sqrt{90+\epsilon }}$ 大，这说明虽然在前面的历史过程中，第九个参数的梯度的绝对值比较小，但在本次就多更新一些；相反的第三次参数的梯度的绝对值比较大，在更新时就少更新一些。这样就达成了实际学习率的一些平衡，避免了梯度小更新就小的问题。

引入 c 对不同参数的更新过程进行归一化(平衡)

本方法有什么缺点吗？

由于 $c = c+g^{2}$ 这会使c递增，导致有效学习率 $\frac{\eta}{\sqrt{c+\epsilon }}$ 一直变小。这可能会导致早停(early stopping)。过早停止了优化。

那我们怎么解决这个问题呢？

1.2 RMSprop算法

RMSProp算法在Adagrad的基础上提出改进，以解决学习率单调下降的问题；

引入一个遗忘因子 $\gamma$

$c= \gamma c+(1-\gamma )g^{2}$

$\theta =\theta -\eta \frac{g}{\sqrt{c+\epsilon }}$

$\gamma$ 通常为 0.9，0.99，0.999

RMSProp依然根据梯度的大小来调整学习率，但不同于Adagrad，学习率不会一直单调下降。

Adagrad vs RMSProp

adagrad算法

$Adagrad: \, c(t)=c(t-1)+g(t)^{2}=c(0)+g(1)^{2}+g(2)^{2}+...+g(t)^{2}$

$g(1)^{2},g(2)^{2},...,g(t)^{2}$ 平等贡献于c(t)

RMSProp算法

$RMSProp:\, c(t)=\gamma c(t-1)+(1+\gamma )g(t)^{2}=\gamma^{t}c(0)+\gamma^{t-1}(1-\gamma )g(1)^{2}+\gamma^{t-2}(1-\gamma )g(2)^{2}+...+\gamma(1-\gamma )g(t-1)^{2}+(1-\gamma )g(t)^{2}$

对于k< 对c(t)的贡献指数级衰减，即比较看重近期的g的平方，这样c可能增加也可能减少。

缺点：如何引入动量？

1.3 Adam算法

由 kingma and Ba (2015)提出。默认算法。

简单形式

$m=\beta _{1}m+(1-\beta _{1})g$

$c=\beta _{2}c+(1-\beta _{2})g^{2}$

$\theta =\theta -\eta \frac{m}{\sqrt{c+\epsilon }}$

完整形式(“warm up”)

$m=\beta _{1}m+(1-\beta _{1})g,\:\: \: \: \: \: m_{t}=\frac{m}{1-\beta _{1}^{t}}$

$c=\beta _{2}c+(1-\beta _{2})g^{2},\:\: \: \: \: \: \: c_{t}=\frac{m}{1-\beta _{2}^{t}}$

$\theta =\theta -\eta \frac{m}{\sqrt{c+\epsilon }}$

其中 m 表示积攒历史梯度，c 表示积攒历史平方梯度，t 表示迭代次数。

建议值： $\epsilon =10^{-8}$ $\beta_{1}=0.9\: \:\: \: \beta_{2}=0.99$

1.4 优化器小结

关于优化器的更多细节：CS231n Convolutional Neural Networks for Visual Recognition

二、处理过拟合

回忆：多项式回归问题

2.1 过拟合

什么是过拟合？

对训练集拟合得很好，但在验证集表现较差。

神经网络通常含有大量参数 (数百万甚至数十亿)，容易过拟合；

参数正则化是一种处理策略

其它技巧

早停(Early stopping)
随机失活(Dropout)
数据增强(data augmentation)

2.1.1 早停

当发现训练损失逐渐下降，但验证集损失逐渐上升时，停止优化。

注意：跟Adagrad优化引起的“早停”是两回事。

2.1.2 随机失活

在训练迭代过程中，以 p (通常为0.5)的概率随即舍弃掉每个隐含层神经元(输出置零)。

这些被置零的输出将用于在反向传播中计算梯度。

优点：

一个隐含层神经元不能依赖于其它存在的神经元，因此可以防止神经元出现复杂的相互协同。
相当于在合理的时间内训练了大量不同的网络，并将其结果平均。

测试过程:

使用“平均网络”，包含所有隐含层神经元

需要调整神经元输出的权重，用来弥补训练中只有一部分被激活的现象。

p=0.5 时，将权重减半
p=0.1 时，在权重上乘 1-p ，即0.9。

这样得到的结果与在大量网络上做平均得到的结果类似。

MNIST上的结果：

标准多层感知机
不用dropout的最好结果是160个错误样本
Dropout可以显著降低错误率

本例中还用了其他技巧，比如每个神经元的输入权重有个L2 正则化约束。

补充：

在一些实现里，测试中，1-p 乘在激活函数的输出即 f(Wx+b) 上，而不是乘在权重W上。

$a_{test}=(1-p)f(Wx+b)$

在一些实现里，训练中激活函数的输出改成

$a_{train}=\frac{1}{1-p}f(Wx+b)$

而测试中就不用了

实践中，p在底层设得很小，如0.2，但在高层设得更大，如0.5。
在某些平台，随机失活率被定义成每个神经元被保留的概率。

2.1.3 数据增强

$\begin{Bmatrix} x^{(n)},t^{(n)} \end{Bmatrix}$ 表示原本的训练集

在输入数据中加入一些变换： $x^{(n)}\rightarrow \widehat{x}^{(n)}$ 保持标签 $t^{(n)}$ 不变
使用增强后的训练集 $\begin{Bmatrix} x^{(n)},t^{(n)} \end{Bmatrix}\cup \begin{Bmatrix} \widehat{x}^{(n)},t^{(n)} \end{Bmatrix}$ 来训练模型

不同数据类型(文本，图像，音频)有不同的变换。

常用的图像变换：

随机
- 翻转 flips
- 平移 translations
- 缩放 crops and scales
- 拉伸 stretching
- 剪切 shearing
- 擦除 Cutout or erasing
- 混合 mixup
- 色彩变换 color jittering
- ……
上述变换的组合

随机翻转

随即缩放和裁剪

测试中可以

将测试图像缩放到模型要求的输入大小
剪裁一个区域 (通常是中心区域) 并输入到模型
剪裁多个并输入到模型, 对输出作平均

随机擦除

2.2 处理过拟合方法小结

三、批归一化

3.1 Internal covariate shift (内部协变量偏移)

当使用SGD时, 不同迭代次数时输入到神经网络的数据不同，可能导致某些层输出的分布在不同迭代次数时不同。

某个或一群神经元针对一批数据的输出分布：

由于神经网络比较深，一些层的分布可能就不那么相似了。

我们把：训练中，深度神经网络中间节点分布的变化叫做：内部协变量偏移(ICS)。

3.1.1 通过归一化来减少ICS

对每个标量形式的特征单独进行归一化，使其均值为0，方差为1

对于d维激活 $x=(x_{1},...,x_{d})$ , 做如下归一化：

$\widehat{x}_{i}=\frac{x_{i}-E[x_{i}]}{\sqrt{Var[x_{i}]}}$

保持该层的表达能力

$y_{i}=\gamma _{i}\widehat{x}_{i}+\beta _{i}$

若 $\gamma_{i}=\sqrt{Var[x_{i}]}$ 且 $\beta _{i}=E[x_{i}]$ ，恢复到原来的激活值。

3.2 批归一化(Batch Normalization, BN)

构建一个新的层

$y^{(n)}=BN_{\gamma ,\beta }(x^{(n)})$

向前计算(下式都是逐元素操作)

$\mu _{B}=\frac{1}{m}\sum_{n=1}^{M}x^{(n)}$
$\sigma _{B}^{2}=\frac{1}{m}\sum_{n=1}^{M}(x^{(n)}-\mu _{B})^{2}$
$\widehat{x}^{(n)}=\frac{x^{(n)}-\mu _{B}}{\sqrt{\sigma ^{2}_{B}+\epsilon }}$
$y^{(n)}=\gamma \widehat{x}^{(n)}+\beta$

3.2.1 推理过程

如果想追踪训练准确率，可以使用滑动平均。

3.2.2 在网络中的位置

通常应用在非线性层之前(根据实践经验)

前一层通常是线性转换层(全连接层或卷积层)

$y^{(l)}=W^{(l)}y^{(l-1)}+b^{(l)}$

偏置项可以忽略，因为BN的便宜项有相同的效果，因此

$y^{(l)}=BN(W^{(l)}y^{(l-1)})$

3.2.3 卷积神经网络中的批归一化

BN通常应用在卷积层之后
要求同一特征图里的不同元素以同样的方式进行归一化
对一个minibatch：
- 假设批大小为M，特征图大小为P*Q，那么均值和方差要基于MPQ个元素计算得到
- 对每个特征图(而不是每个激活)学习一堆参数 $\gamma _{i}$ 和 $\beta _{i}$
推理过程进行类似修改

3.2.4 优点

BN允许使用更大的学习率
BN对整个模型进行了正则化
- 对于某个训练样本，模型不会给出确定性的输出
- 可能不再需要Dropout

3.3 批归一化小结

其它归一化技巧：

四、超参数(Hyperparameters)选取

超参数: 控制算法行为，且不会被算法本身所更新。

通常决定了模型的能力(capacity)

对于一个深度学习模型，超参数包括：

层数, 每层的神经元数目
正则化系数
学习率 – 参数衰减率(Weight decay rate)
动量项(Momentum rate)
……

对于给定的数据集和任务，需要选择合适的超参数。

4.1 如何选择深度学习模型的架构?

熟悉数据集
- 看/听/闻…
与之前见过的数据/任务比较
- 样本数目
- 图像大小, 视频长度, 输入复杂度…
最好从在类似数据集或任务上表现良好的模型开始

4.2 如何选择其它超参数?

一个实践指南：

第1步: 观察初始损失。
第2步: 在一组小样本上过拟合。
第3步: 找到使损失下降的学习率。
第4步: 粗粒度改变学习率，训练1-5轮。
第5步: 细粒度改变学习率，训练更长时间。
第6步: 观察损失曲线。

第1步:观察初始损失

确保损失的计算是正确的
将权重衰减设为零

第2步:在一组小样本上过拟合

在一组少量样本的训练集上训练，尝试达到100%训练准确率。
- 可以保证从数据集预处理到输出的整个流程是正确的。
- 可以找出一些调整学习率的提示。
如果训练损失没有下降。
- 不好的初始化, 学习率太小, 模型太小。
如果训练损失变成Inf或NaN。
- 不好的初始化, 学习率太大。

第3步: 找到使损失下降的学习率

在全部数据上训练模型，并找到使损失值能够快速下降的学习率。
- 当损失值下降较慢时，将学习率缩小10倍。
- 使用较小的参数衰减。

第4步: 粗粒度改变学习率, 训练1-5轮

在上一步的基础上，尝试一些比较接近的学习率和衰减率。
常用的参数衰减率: 1e-4, 1e-5, 0。

第5步: 细粒度改变学习率, 训练更长时间

使用上一步找到的最好的学习率，并训练更长时间 (10-20 轮)，期间不改变学习率。

第6步: 观察损失曲线

训练损失通常用滑动平均绘制，否则会有很多点聚集在一起。

4.3 超参数选取小结

五、总结

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ 江湖偌大 python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchain easyui 前端 python
#探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库 python
深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1) Shawn________ python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
Python中深拷贝与浅拷贝的区别 yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
Python编译器鹿鹿~ Python编译器 Python python 开发语言后端
嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
关于旗正规则引擎下载页面需要弹窗保存到本地目录的问题何必如此 jsp 超链接文件下载窗口
生成下载页面是需要选择“录入提交页面”，生成之后默认的下载页面<a>标签超链接为：<a href="<%=root_stimage%>stimage/image.jsp?filename=<%=strfile234%>&attachname=<%=java.net.URLEncoder.encode(file234filesourc
【Spark九十八】Standalone Cluster Mode下的资源调度源代码分析 bit1129 cluster
在分析源代码之前，首先对Standalone Cluster Mode的资源调度有一个基本的认识：首先，运行一个Application需要Driver进程和一组Executor进程。在Standalone Cluster Mode下，Driver和Executor都是在Master的监护下给Worker发消息创建(Driver进程和Executor进程都需要分配内存和CPU，这就需要Maste
linux上独立安装部署spark daizj linux 安装 spark 1.4 部署
下面讲一下linux上安装spark，以 Standalone Mode 安装 1）首先安装JDK 下载JDK：jdk-7u79-linux-x64.tar.gz ，版本是1.7以上都行，解压 tar -zxvf jdk-7u79-linux-x64.tar.gz 然后配置 ~/.bashrc&nb
Java 字节码之解析一周凡杨 java 字节码 javap
一： Java 字节代码的组织形式类文件 { OxCAFEBABE ，小版本号，大版本号，常量池大小，常量池数组，访问控制标记，当前类信息，父类信息，实现的接口个数，实现的接口信息数组，域个数，域信息数组，方法个数，方法信息数组，属性个数，属性信息数组 } &nbs
java各种小工具代码 g21121 java
1.数组转换成List import java.util.Arrays; Arrays.asList(Object[] obj); 2.判断一个String型是否有值 import org.springframework.util.StringUtils; if (StringUtils.hasText(str)) 3.判断一个List是否有值 import org.spring
加快FineReport报表设计的几个心得体会老A不折腾 finereport
一、从远程服务器大批量取数进行表样设计时，最好按“列顺序”取一个“空的SQL语句”，这样可提高设计速度。否则每次设计时模板均要从远程读取数据，速度相当慢！！二、找一个富文本编辑软件（如NOTEPAD+）编辑SQL语句，这样会很好地检查语法。有时候带参数较多检查语法复杂时，结合FineReport中生成的日志，再找一个第三方数据库访问软件（如PL/SQL）进行数据检索，可以很快定位语法错误。
mysql linux启动与停止墙头上一根草
如何启动/停止/重启MySQL一、启动方式1、使用 service 启动：service mysqld start2、使用 mysqld 脚本启动：/etc/inint.d/mysqld start3、使用 safe_mysqld 启动：safe_mysqld&二、停止1、使用 service 启动：service mysqld stop2、使用 mysqld 脚本启动：/etc/inin
Spring中事务管理浅谈 aijuans spring 事务管理
Spring中事务管理浅谈 By Tony Jiang@2012-1-20 Spring中对事务的声明式管理拿一个XML举例 [html] view plain copy print ? <?xml version="1.0" encoding="UTF-8"?>&nb
php中隐形字符65279（utf-8的BOM头）问题 alxw4616
php中隐形字符65279（utf-8的BOM头）问题今天遇到一个问题. php输出JSON 前端在解析时发生问题:parsererror. 调试: 1.仔细对比字符串发现字符串拼写正确.怀疑是非打印字符的问题. 2.逐一将字符串还原为unicode编码. 发现在字符串头的位置出现了一个 65279的非打印字符.
调用对象是否需要传递对象(初学者一定要注意这个问题) 百合不是茶对象的传递与调用技巧
类和对象的简单的复习,在做项目的过程中有时候不知道怎样来调用类创建的对象,简单的几个类可以看清楚,一般在项目中创建十几个类往往就不知道怎么来看为了以后能够看清楚,现在来回顾一下类和对象的创建,对象的调用和传递(前面写过一篇) 类和对象的基础概念: JAVA中万事万物都是类类有字段(属性),方法,嵌套类和嵌套接
JDK1.5 AtomicLong实例 bijian1013 java thread java多线程 AtomicLong
JDK1.5 AtomicLong实例类 AtomicLong 可以用原子方式更新的 long 值。有关原子变量属性的描述，请参阅 java.util.concurrent.atomic 包规范。AtomicLong 可用在应用程序中（如以原子方式增加的序列号），并且不能用于替换 Long。但是，此类确实扩展了 Number，允许那些处理基于数字类的工具和实用工具进行统一访问。
自定义的RPC的Java实现 bijian1013 java rpc
网上看到纯java实现的RPC，很不错。 RPC的全名Remote Process Call，即远程过程调用。使用RPC，可以像使用本地的程序一样使用远程服务器上的程序。下面是一个简单的RPC 调用实例，从中可以看到RPC如何
【RPC框架Hessian一】Hessian RPC Hello World bit1129 Hello world
什么是Hessian The Hessian binary web service protocol makes web services usable without requiring a large framework, and without learning yet another alphabet soup of protocols. Because it is a binary p
【Spark九十五】Spark Shell操作Spark SQL bit1129 shell
在Spark Shell上，通过创建HiveContext可以直接进行Hive操作 1. 操作Hive中已存在的表 [hadoop@hadoop bin]$ ./spark-shell Spark assembly has been built with Hive, including Datanucleus jars on classpath Welcom
F5　往header加入客户端的ip ronin47
when HTTP_RESPONSE {if {[HTTP::is_redirect]}{ HTTP::header replace Location [string map {:port/ /} [HTTP::header value Location]]HTTP::header replace Lo
java-61-在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差. 求所有数对之差的最大值。例如在数组{2, 4, 1, 16, 7, 5, bylijinnan java
思路来自： http://zhedahht.blog.163.com/blog/static/2541117420116135376632/ 写了个java版的 public class GreatestLeftRightDiff { /** * Q61.在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差。 * 求所有数对之差的最大值。例如在数组
mongoDB 索引开窍的石头 mongoDB索引
在这一节中我们讲讲在mongo中如何创建索引得到当前查询的索引信息 db.user.find(_id:12).explain(); cursor: basicCoursor 指的是没有索引 &
[硬件和系统]迎峰度夏 comsci 系统
从这几天的气温来看，今年夏天的高温天气可能会维持在一个比较长的时间内所以，从现在开始准备渡过炎热的夏天。。。。每间房屋要有一个落地电风扇，一个空调(空调的功率和房间的面积有密切的关系) 坐的，躺的地方要有凉垫，床上要有凉席电脑的机箱
基于ThinkPHP开发的公司官网 cuiyadll 行业系统
后端基于ThinkPHP，前端基于jQuery和BootstrapCo.MZ 企业系统轻量级企业网站管理系统运行环境:PHP5.3+, MySQL5.0 系统预览系统下载：http://www.tecmz.com 预览地址：http://co.tecmz.com 各种设备自适应响应式的网站设计能够对用户产生友好度，并且对于
Transaction and redelivery in JMS (JMS的事务和失败消息重发机制) darrenzhu jms 事务承认 MQ acknowledge
JMS Message Delivery Reliability and Acknowledgement Patterns http://wso2.com/library/articles/2013/01/jms-message-delivery-reliability-acknowledgement-patterns/ Transaction and redelivery in
Centos添加硬盘完全教程 dcj3sjt126com linux centos hardware
Linux的硬盘识别: sda 表示第1块SCSI硬盘 hda 表示第1块IDE硬盘 scd0 表示第1个USB光驱一般使用“fdisk -l”命
yii2 restful web服务路由 dcj3sjt126com PHP yii2
路由随着资源和控制器类准备，您可以使用URL如 http://localhost/index.php?r=user/create访问资源，类似于你可以用正常的Web应用程序做法。在实践中，你通常要用美观的URL并采取有优势的HTTP动词。例如，请求POST /users意味着访问user/create动作。这可以很容易地通过配置urlManager应用程序组件来完成如下所示
MongoDB查询(4)——游标和分页[八] eksliang mongodb MongoDB游标 MongoDB深分页
转载请出自出处：http://eksliang.iteye.com/blog/2177567 一、游标数据库使用游标返回find的执行结果。客户端对游标的实现通常能够对最终结果进行有效控制，从shell中定义一个游标非常简单，就是将查询结果分配给一个变量（用var声明的变量就是局部变量），便创建了一个游标，如下所示： > var
Activity的四种启动模式和onNewIntent() gundumw100 android
Android中Activity启动模式详解　　在Android中每个界面都是一个Activity，切换界面操作其实是多个不同Activity之间的实例化操作。在Android中Activity的启动模式决定了Activity的启动运行方式。　　Android总Activity的启动模式分为四种： Activity启动模式设置： <acti
攻城狮送女友的CSS3生日蛋糕 ini html Web html5 css css3
在线预览：http://keleyi.com/keleyi/phtml/html5/29.htm 代码如下： <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>攻城狮送女友的CSS3生日蛋糕-柯乐义<
读源码学Servlet（1）GenericServlet 源码分析 jzinfo tomcat Web servlet 网络应用网络协议
Servlet API的核心就是javax.servlet.Servlet接口，所有的Servlet 类（抽象的或者自己写的）都必须实现这个接口。在Servlet接口中定义了5个方法，其中有3个方法是由Servlet 容器在Servlet的生命周期的不同阶段来调用的特定方法。先看javax.servlet.servlet接口源码： package
JAVA进阶：VO(DTO)与PO(DAO)之间的转换 snoopy7713 java VO Hibernate po
PO即 Persistence Object　　VO即 Value Object 　VO和PO的主要区别在于：　　VO是独立的Java Object。　　PO是由Hibernate纳入其实体容器（Entity Map）的对象，它代表了与数据库中某条记录对应的Hibernate实体，PO的变化在事务提交时将反应到实际数据库中。　实际上，这个VO被用作Data Transfer
mongodb group by date 聚合查询日期统计每天数据（信息量） qiaolevip 每天进步一点点学习永无止境 mongodb 纵观千象
/* 1 */ { "_id" : ObjectId("557ac1e2153c43c320393d9d"), "msgType" : "text", "sendTime" : ISODate("2015-06-12T11:26:26.000Z")
java之18天常用的类(一) Luob. Math Date System Runtime Rundom
System类 import java.util.Properties; /** * System: * out:标准输出,默认是控制台 * in:标准输入,默认是键盘 * * 描述系统的一些信息 * 获取系统的属性信息:Properties getProperties(); * * * */ public class Sy
maven wuai maven
1、安装maven：解压缩、添加M2_HOME、添加环境变量path 2、创建maven_home文件夹，创建项目mvn_ch01,在其下面建立src、pom.xml，在src下面简历main、test、main下面建立java文件夹 3、编写类，在java文件夹下面依照类的包逐层创建文件夹，将此类放入最后一级文件夹 4、进入mvn_ch01 4.1、mvn compile ,执行后会在