PrivateEye_zzy
PrivateEye_zzy

特征工程总览

本章涉及到的知识点清单：

1、特征工程总览

2、数据预处理

2.1、无量纲化

2.1.1、标准化

2.1.2、区间缩放

2.2、特征二值化

2.3、特征哑编码

2.4、缺失值计算

2.4.1、均值补全

2.4.2、非线性插值补全

3、特征选择

3.1、Filter

3.1.1、方差选择法

3.1.2、相关系数法

3.1.3、卡方检验

3.2、Wrapper

3.2.1、递归特征消除法

3.3、Embedded

3.3.1、基于惩罚项

3.3.2、基于树模型

4、数据降维

4.1、PCA降维

4.2、LDA降维

5、案例演示

一、特征工程总览

由于原始数据集中可能会存在一些干扰无用的特征，为了过滤这些噪声，提高学习模型的准确度和效率，我们需要在建模前对整个数据集进行特征工程

特征工程的本质是一项工程活动，其目的是最大限度从原始数据集中提炼出有用的特征，以提供模型和算法使用

我们归纳总结出特征工程的总览图如下

特征工程总览_第1张图片
特征工程总览

结合机器学习模型，我们可以概括出机器学习的整个工程步骤为

（1）数据获取：数据集的获取和存储

（2）特征工程：特征工程处理原始数据集

（3）建模：输入处理后的数据集进行模型训练

（4）调优：网格搜索对模型参数调优

（5）持久化模型

接下来我们细化特征工程的特征处理

特征处理分为以下三部分：

（1）数据预处理

（2）特征选择

（3）数据降维

二、数据预处理

通过特征提取，我们得到未经处理的特征信息，这些特征可能出现如下情况

（1）不属于同一个量纲

（2）定量特征的信息冗余：如学生的考试成绩，如果只关心“及格”和“不及格”，则可以将定量的考分，转化成"1"和“0”的离散值

（3）定性特征：如职业为医生、老师、银行职员等定性特征，可以进行自然数离散编码，也可以使用OneHot编码

（4）存在缺失值

我们把处理上述存在各种问题的原始数据的活动，称为数据预处理

原始数据为IRIS（鸢尾花）数据集

特征工程总览_第2张图片
原始数据

2.1、无量纲化

我们可能需要将不同量纲下的特征数据转化为同一个规格，常见的无量纲化方法有标准化和区间缩放法

2.1.1、标准化

利用均值和标准差，将原始数据转换成标准正态分布的无量纲数据

标准化
标准化
特征工程总览_第3张图片
标准化数据

2.1.2、区间缩放法

利用特征值的最小值和最大值进行缩放

区间缩放
区间缩放
特征工程总览_第4张图片
区间缩数据

2.2、定量特征二值化

我们可能需要将定量特征数据转化为离散数据，使用二值化方法来设定一个阈值，大于阈值的赋值为1，小于等于阈值的赋值为0

特征二值化
特征二值化
特征工程总览_第5张图片
二值化数据

2.3、特征哑编码

我们可能需要将离散值特征数据，转化为用整个离散空间的所有可能取值的位置表示，如总共[1，2，3]三种离散值情况，原始数据点值为2，则转化为[0，1，0]（对应第2个位置），这种方法称为特征哑编码，也称OneHot编码

OneHot编码
原始数据
特征工程总览_第6张图片
OneHot编码数据

2.4、缺失值计算

有些特征数据里会存在缺省值，常见处理缺省值的方法有：丢弃缺失值样本、均值/中位数补全，非线性插值，或者通过一些监督机器学习模型，如KNN、ARIMA等

2.4.1、均值补全

通过计算缺省值所对应特征的所有特征值的均值/中位数来补全缺省值

均值补全
特征工程总览_第7张图片
带缺省值的原始数据
特征工程总览_第8张图片
均值/中位数补全缺省数据

2.4.2、非线性插值补全

对于连续性变量，通过选取缺省值的邻域点，采用非线性插值补全缺省值，如牛顿插值、拉格朗插值等

特征工程总览_第9张图片
拉格朗插值
特征工程总览_第10张图片
带缺省值的原始数据
特征工程总览_第11张图片
非线性插值补全缺省数据

三、特征选择

当完成数据预处理活动后，我们需要在数据集中选择有意义的特征，输入机器学习模型训练，以提高学习效率和性能

通常从两个方面考虑如何选取有意义的特征（过滤无用噪音）

（1）特征是否发散：如果一个特征不发散，例如方差接近于0，也就是说样本在这个特征列上基本上没有差异，说明该特征对于训练目标的区分没什么用

（2）特征与目标的相关性：与训练目标相关性较高的特征，应当优选选择

一般有三种特征选择的方法：

（1）Filter

（2）Wrapper

（3）Embedded

3.1、Filter

Filter即过滤法，从传统统计学出发，按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择符合阈值条件的特征

包含下列统计量

特征工程总览_第12张图片
传统的统计量

3.1.1、方差选择法

通过计算各个特征的方差，然后根据阈值，选择方差大于阈值的特征

方差选择法
特征工程总览_第13张图片
方差选择法选择特征

3.1.2、相关系数法

通过计算各个特征对模型训练目标值的相关系数，然后根据阈值，选择相关系数大于阈值的特征

相关系数法
特征工程总览_第14张图片
相关系数法选择特征

3.1.3、卡方检验

通过计算定性自变量对定性因变量的相关性，然后根据阈值，选择相关性大于阈值的特征

卡方检验
特征工程总览_第15张图片
卡方检验选择特征

3.2、Wrapper

Wrapper即包装法，根据目标函数打分，每次选择若干特征，或者排除若干特征

3.2.1、RFE递归特征消除法

通过指定一个基模型，如LR或回归树来进行多轮训练，每轮训练后消除若干权值系数的特征，再基于新的特征集进行下一轮训练

递归特征消除法
特征工程总览_第16张图片
递归特征消除法选择特征

3.3、Embedded

Embedded即集成法，先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，再根据系数从大到小选择特征

和Filter不同点的在于：Filter是通过传统统计量来选择过滤特征，而Embedded是通过机器学习模型给特征打分来选择特征

3.3.1、基于惩罚项

通过选取带L1或L2惩罚项的基模型来筛选特征

基模型带l1惩罚项
特征工程总览_第17张图片
惩罚项的特征选择

3.3.2、基于树模型

通过选取如GBDT等树模型作为基模型来筛选特征

基于GBDT树模型
特征工程总览_第18张图片
基于GBDT树模型的特征选择

四、数据降维

当完成特征选择的活动后，可以直接输入模型进行训练了

但是此时可能会出现：由于选择出的特征矩阵过于庞大，导致模型计算量偏大，训练时间较长

因此我们可能需要对特征矩阵进行降维处理

降维意味着信息的丢失，不过鉴于数据之间常常存在相关性，因此我们在降维的同时要将信息的损失尽量降低。常见的降维算法有PCA、SVD和LDA

4.1、PCA降维

PCA即主成分分析法，属于无监督学习，使得降维后数据的方差变大

PCA降维
特征工程总览_第19张图片
PCA降维后的数据

4.2、LDA降维

LDA即线性判别分析法，属于监督学习，使得降维后数据有更好的分类性质（将高维分类数据投影到低维直线上，且使得不同分类点尽可能分开，相同类别点尽可能靠近）

LDA降维
特征工程总览_第20张图片
LDA降维后的数据

五、案例演示

下面我们结合特征工程，加入到机器学习的工程步骤中

还是以IRIS（鸢尾花）为数据集

初始我们模拟加入一行缺省值和一列随机特征值

数据获取
特征工程总览_第21张图片
特征工程
特征工程总览_第22张图片
建模
调优
结果

案例代码见：特征工程总览

你可能感兴趣的:(特征工程总览)

  • 信息系统安全相关概念(上) YuanDaima2048 课程笔记基础概念安全信息安全笔记
    文章总览：YuanDaiMa2048博客文章总览下篇:信息系统安全相关概念(下)信息系统安全相关概念[上]信息系统概述信息系统信息系统架构信息系统发展趋势：信息系统日趋大型化、复杂化信息系统面临的安全威胁信息系统安全架构设计--以云计算为例信息系统安全需求及安全策略自主访问控制策略DAC强制访问控制策略MAC信息系统概述信息系统用于收集、存储和处理数据以及传递信息、知识和数字产品的一组集成组件。几
  • [实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估pytorchpython机器学习
    文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
  • [实践应用] 深度学习之优化器 YuanDaima2048 深度学习工具使用pytorch深度学习人工智能机器学习python优化器
    文章总览：YuanDaiMa2048博客文章总览深度学习之优化器1.随机梯度下降（SGD）2.动量优化（Momentum）3.自适应梯度（Adagrad）4.自适应矩估计（Adam）5.RMSprop总结其他介绍在深度学习中，优化器用于更新模型的参数，以最小化损失函数。常见的优化函数有很多种，下面是几种主流的优化器及其特点、原理和PyTorch实现：1.随机梯度下降（SGD）原理:随机梯度下降通过
  • [实验室服务器使用]使用VSCode、PyCharm、MobaXterm和CMD连接远程服务器 YuanDaima2048 工具使用服务器vscodepycharmcmd代理模式机器学习实验
    文章总览：YuanDaiMa2048博客文章总览实验室服务器使用：使用VSCode、PyCharm、MobaXterm和CMD连接远程服务器在进行实验室工作时，远程连接服务器是常见的需求之一。本篇文章根据个人的一些使用介绍使用不同工具连接服务器的方法，并提供优化功能，使服务器能够使用本机代理的说明。准备服务器账号信息Host（主机）:10.XXX.XX.XXXPort（端口）:[SSHPort]U
  • 信息系统安全相关概念(下) YuanDaima2048 基础概念课程笔记安全
    文章总览：YuanDaiMa2048博客文章总览上篇指路：信息系统安全相关概念(上)信息系统安全相关概念[下]信息系统风险评估安全风险评估信息系统等级保护网络安全法等级保护等级保护工作流程环境安全信息系统风险评估安全风险评估对信息系统整体安全态势的感知和对重大安全事件的预警，实现“事前能预防，事中能控制，事后能处理”。安全风险组成的四要素：信息系统资产（Asset）信息系统脆弱性（Vulnerab
  • 基于VUE2-dataV和echarts实现的可视化大屏，百分比适配PC端 风流野趣fly echarts信息可视化前端vue.jsjavascriptvscode大数据
    可视化平台中，数据分别通过仪表盘、环状图、柱形图、曲线图、滚动表格等多种形式展示数据变化。可视化平台大致分为左、中、右三部分，左侧由能耗总览、耗能占比、库存预警构成，中间由数据总览、销售计划完成率构成，右侧由销售统计、销售排名（TOP8）、生产统计构成。平台右上角动态显示当前系统日期、星期、时间，格式。在管理端进行添加数据后，数据可视化图表进行相应变化。1.能耗总览仪表盘，统计分析耗电量、耗水量、
  • 新技术前沿-2024-国内主流AI大模型架构及应用场景深度分析 皮皮冰燃 新技术前沿人工智能
    参考国内主流AI大模型架构及应用场景深度分析20241厂商总览1.1国外(1)OpenAI：GPT-4【美国旧金山的人工智能研究公司】GPT-4于2023年3月14日发布，是千亿级参数的多模态预训练模型，能够支持图像和文本的输入。(2)Anthropic(人类的)：Claude【美国人工智能初创公司】Claude于2023年3月14日发布，是Anthropic开发的类似ChatGPT的聊天机器人，
  • 还不懂java六角结构的看过来 套马杆的程序员
    总览六角体系结构是一种软件体系结构，它使应用程序可以由用户，程序，自动测试或批处理脚本平等驱动，并且可以独立于其运行时目标系统进行开发。目的是创建一个无需用户界面或数据库即可运行的应用程序，以便我们可以对该应用程序运行自动回归测试，在运行时系统（例如数据库）不可用时使用该应用程序，或无需用户界面即可集成应用程序。动机许多应用程序有两个目的：用户端和服务器端，通常以两层，三层或n层体系结构设计。n层
  • java设计模式---中介者模式 奔跑的扫地僧 Java设计模式java
    首先我们了解下设计模式的总览：GoF提出的设计模式总共有23种，根据目的准则分类分为三大类：创建型模式，共五种：单例模式、工厂方法模式、抽象工厂模式、建造者模式、原型模式。结构型模式，共七种：适配器模式、装饰模式、代理模式、外观模式、桥接模式、组合模式、享元模式。行为型模式，共十一种：策略模式、模板方法模式、观察者模式、迭代器模式、责任链模式、命令模式、备忘录模式、状态模式、访问者模式、中介者模式
  • [快速入门] 使用 MybatisPlus 简化 CRUD 操作 YuanDaima2048 工具使用后端学习javaspringbootspringcloudmavenmybatismybatisplus
    文章总览：YuanDaiMa2048博客文章总览[快速入门]使用MybatisPlus简化CRUD操作在这个文章中，将介绍如何使用MybatisPlus来简化常见的CRUD（增删改查）操作。MybatisPlus是MyBatis的增强工具，提供了许多便利的功能，让我们能够更轻松地与数据库交互。下面将一步步介绍如何使用MybatisPlus完成基本的增删改查操作。(一)基本使用1.引入Mybatis
  • 第3篇：LangChain的架构总览与设计理念 Gemini技术窝 langchain架构大数据人工智能AIGCnlp
    LangChain库是一个专为自然语言处理（NLP）设计的强大工具包，致力于简化复杂语言模型链的构建和执行。在本文中，我们将深入解析LangChain库的架构，详细列出其核心组件、设计理念及其在不同场景中的应用，并讨论其优缺点。文章目录1.LangChain库简介2.核心组件2.1数据输入模块作用2.2数据预处理模块作用2.3数据增强模块作用2.4数据加载与批处理模块作用2.5模型训练模块作用2.
  • 【DeepSpeed 教程翻译】三，在 DeepSpeed 中使用 PyTorch Profiler做性能调试和Flops Profiler教程翻译 just_sort pytorch深度学习人工智能
    文章目录0x0.前言0x1.在DeepSpeed中使用PyTorchProfiler做性能调试Profile模型训练的循环标记任意代码范围ProfileCPU/GPU的活动Profile内存消耗0x2.FlopsProfiler总览Flops测量多GPU，多节点，数据并行和模型并行例子和DeepSpeed运行时一起使用在Megatron-LM中使用在DeepSpeed运行环境之外的使用方法在模型推
  • 【C语言】宏定义详解 LuckiBit C语言c语言c++宏定义definepragmainclude
    目录C语言宏定义详解1.宏定义关键词总览2.`#define`3.`#undef`4.`#ifdef`5.`#ifndef`6.`#if`7.`#else`8.`#elif`9.`#endif`10.`#include`11.`#error`12.`#pragma`12.1`#pragmaonce`12.2`#pragmapack`12.3`#pragmawarning`12.4`#pragmaG
  • Python 机器学习 基础 之 数据表示与特征工程 【分箱、离散化、线性模型与树 / 交互特征与多项式特征】的简单说明 仙魁XAN Python机器学习基础+实战案例机器学习python分箱离散化线性模型与树交互特征与多项式特征
    Python机器学习基础之数据表示与特征工程【分箱、离散化、线性模型与树/交互特征与多项式特征】的简单说明目录Python机器学习基础之数据表示与特征工程【分箱、离散化、线性模型与树/交互特征与多项式特征】的简单说明一、简单介绍二、分箱、离散化、线性模型与树三、交互特征与多项式特征附录一、参考文献一、简单介绍Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于
  • vLLM (3) - Sequence & SequenceGroup 戴昊光 人工智能languagemodelnlppythontransformer
    系列文章目录vLLM(1)-Qwen2推理&部署vLLM(2)-架构总览vLLM(3)-Sequence&SequenceGroup文章目录系列文章目录前言一、SequenceStage&SequenceStatus1.SeqenceStage2.SeqenceStatus二、SequenceData&Sequence1.SequenceData2.Sequence三、SequenceGroup&
  • windows基础 -- USB驱动架构总览 sz66cm windows架构
    Windows的USB驱动架构总览Windows的USB驱动架构主要包括以下几个部分，各自负责不同的功能模块，共同确保USB设备在系统中能够正常工作：1.USB核心驱动栈USB主控制器驱动(USBHostControllerDriver)：主控制器驱动负责管理USB主控制器，主要分为以下几类：UHCI(UniversalHostControllerInterface)：支持USB1.x。OHCI(
  • 顺利完成计划的方法 尼克鹏
    不是所有的事情都能按照计划顺顺利利的完成，总会出现偏差，所以做计划的时候一定要留有后手，多准备几套备用方案，确保计划完成。事物都是变化的，我们做事情都是在动态中进行的，所以计划没有变化快。在制定计划时一定要总览全局，尽量将可出现的变数想清楚并制定多个对策，以确保出现问题时有相应的解决方案。
  • ViewBuilder 闭包构造视图 View（SwiftUI中文文档手册） iCloudEnd
    ViewBuilder一个自定义参数属性，用于从闭包构造视图。structViewBuilder总览您通常将其用作产生子视图的闭合参数的参数属性，从而允许这些闭合提供多个子视图。例如，以下函数接受通过视图构建器生成一个或多个视图的闭包。funccontextMenu(@ViewBuildermenuItems:()->MenuItems)->someView此功能的客户端可以使用多语句闭包来提供多
  • 【好水灵·PPT模板】适合于：商业竞标+企业创业+总结汇报+演讲报告 LJ的学习笔记
    大家好，我是爱学习的瞄代表。今天给广大职场人带来一份水灵PPT模板（汇报版）。【总览图】：【PPT展示】：【PPT模板特点】：1、时尚简洁，打开即用，没有任何使用或学习成本；2、商务风格，更改配图就能像balala小魔仙一样变成适合你的行业的PPT模板；4、适合于：商业竞标+企业创业+总结汇报+演讲报告【获取方式】：微信公众号：LJ的读书笔记（ljdushubiji）回复关键词“142908”，即
  • 机器学习小组第三周：简单的数据预处理和特征工程 -Helslie 机器学习机器学习
    学习目标●无量纲化：最值归一化、均值方差归一化及sklearn中的Scaler●缺失值处理●处理分类型特征：编码与哑变量●处理连续型特征：二值化与分段学习资料首先，参考：《机器学习的敲门砖：归一化与KD树》及《特征工程系列：特征预处理（上）》中相关部分。其次，其他知识点可参考推荐博文：sklearn中的数据预处理和特征工程。20200311数据归一化在量纲不同的情况下，对于部分算法不能反映样本中每
  • opencv-python 函数总览 周子青
    函数名函数Chapterone：图片读入图像cv2.imread(filename[,flags])→retval显示图像cv2.imshow(winname,mat)→Nonecv2.waitKey([delay])→retval创建窗口cv2.namedWindow(winname[,flags])→None摧毁窗口cv2.destroyWindow(winname)→Nonecv2.dest
  • Linux内核(4)——Linux设备文件open函数从应用到内核全过程解析 Embedded-Xin Linux驱动/内核编程块设备驱动linux嵌入式c++物联网服务器
    学习并整理了下open等系统调用，从用户态如何调用到内核态的全过程。1.Linux内核目录总览2.Linux文件系统与设备驱动关系这是在Linux设备驱动开发详解里找的两张图，内容很形象。当用户程序通过系统调用陷入内核态时，会先经过VFS，也就是虚拟文件系统，使用不同的file_operations，在这里会根据操作的文件类型，来进行不同操作。3.系统调用完成内核调用全过程详解3.1用户态确认好自
  • 数据结构-顺序表-详解 夜泉_ly 数据结构c语言
    数据结构-顺序表-详解1.是什么2.静态顺序表2.1实现2.2缺点3.动态顺序表3.1总览3.2动态顺序表的创建3.3初始化3.4销毁3.5打印3.6插入尾插头插3.7删除尾删头删1.是什么顺序表是一种基本的数据结构，它使用一组连续的内存空间来存储数据元素，这些元素在逻辑上也是连续的。顺序表中，每个元素都占据一个特定的位置，可根据位置找到元素。在生活中常见于各种联系人列表，如QQ群的群成员列表。2
  • 大模型训练优化方法 少喝冰美式 人工智能大语言模型ai大模型大模型应用LLM大模型训练计算机技术
    写在前面在训练模型尤其是大模型的时候，如何加快训练速度以及优化显存利用率是一个很关键的问题。本文主要参考HF上的一篇文章：https://huggingface.co/docs/transformers/perf_train_gpu_one，以及笔者在实际训练中的一些经验，给出一些比较实用的方法。先看一个总览的表：方法加快训练速度优化显存利用率BatchsizechoiceYesYesGradie
  • 机器学习基础（四）——决策树与随机森林 Bayesian小孙 机器学习基础决策树机器学习随机森林
    决策树与随机森林文章目录决策树与随机森林一、知识概要（一）二、决策树使用的算法三、sklearn决策树API四、决策树的案例1.数据清洗2.特征工程3.调用决策树API五、集成学习方法-随机森林1.知识概要（二）2.集成学习API3.随机森林的案例importpandasaspdfromsklearn.feature_extractionimportDictVectorizerfromsklear
  • Qt Creator 界面 倔强的大蜗牛 QTqt开发语言c++
    博主主页：倔强的大蜗牛专栏分类：QT❤️感谢大家点赞收藏⭐评论✍️目录一、认识QtCreator界面1、总览2、左边栏3、代码编辑区4、UI设计界面5、构建区一、认识QtCreator界面1、总览2、左边栏在编辑模式下，左边竖排的两个窗口叫做"边栏"。①是项目文件管理窗口，②是打开文件列表窗口。在QtCreator菜单"控件"------->"ShowLeftSidebar"，或者使快捷键："Al
  • Spark MLlib 特征工程系列—特征转换VectorSizeHint 不二人生 Spark实战spark-ml机器学习spark
    SparkMLlib特征工程系列—特征转换VectorSizeHintVectorSizeHint是Spark提供的一个特征转换器，用于指定向量列的大小（即维度）。在一些特征转换和建模过程中，要求输入的向量必须有固定的大小。当数据中包含不同大小的向量时，Spark可能无法自动推断出向量的正确大小。这时，VectorSizeHint可以显式地声明向量的大小，确保后续的操作能够顺利进行。为什么需要使用
  • ECMWF的IFS的观测内容文档 中遥科 气象气象预报ECMWFIFS
    《ECMWF的IFS的观测文档》文档定义和描述欧洲中期天气预报中心（ECMWF）的集成预报系统（IFS）的观测部分的内容。今天先对每章节内容做概括j介绍，后续再作详细翻译。ECMWF的IFS的观测内容文档1.观测总览(Overview:theobservationworld)1.1引言(Introduction)1.2概念(Concepts)1.3数据流通过处理和筛选(Dataflowthroug
  • 【机器学习】特征提取 特征降维 de-feedback 机器学习人工智能
    特征工程特征工程是将原始数据转化为可以用于机器学习的数字特征，比如字典的特征提取，文档的特征提取等。字典特征提取把字典的每个唯一的键作为数据集特征的一个维度，有这个维度的就为1，没有就是0。其他相同的键，该维度的值就是其键值。这样的操作把字典样本的每一条数据转化为了矩阵，但是矩阵中含有大量的0（因为数据中的键和值有很多不同），所以称之为稀疏矩阵为了保存数据的高效，一般使用三元组表存储。保存非零数据
  • 【70页 】矢量图标，PPT制作必备扁平化图标 LJ的学习笔记
    大家好，我是爱学习的瞄代表。今天给广大职场人带来一份70页的矢量图标（可编辑）。【总览图】：【PPT部分展示】：【PPT模板特点】：1、【70页】矢量图标，PPT制作必备扁平化图标；2、几乎所有素材均可编辑，有型更有料；3、扁平设计，时下正流行；4、你的PPT我操碎的心【获取方式】：微信公众号：LJ的读书笔记（ljdushubiji）回复关键词“矢量图标”，即可获取。
  • JAVA中的Enum 周凡杨 javaenum枚举
    Enum是计算机编程语言中的一种数据类型---枚举类型。 在实际问题中，有些变量的取值被限定在一个有限的范围内。     例如，一个星期内只有七天 我们通常这样实现上面的定义： public String monday; public String tuesday; public String wensday; public String thursday
  • 赶集网mysql开发36条军规 Bill_chen mysql业务架构设计mysql调优mysql性能优化
    (一)核心军规 (1)不在数据库做运算    cpu计算务必移至业务层； (2)控制单表数据量    int型不超过1000w，含char则不超过500w；    合理分表；    限制单库表数量在300以内； (3)控制列数量    字段少而精，字段数建议在20以内
  • Shell test命令 daizj shell字符串test数字文件比较
    Shell test命令 Shell中的 test 命令用于检查某个条件是否成立，它可以进行数值、字符和文件三个方面的测试。 数值测试 参数 说明 -eq 等于则为真 -ne 不等于则为真 -gt 大于则为真 -ge 大于等于则为真 -lt 小于则为真 -le 小于等于则为真 实例演示： num1=100 num2=100if test $[num1]
  • XFire框架实现WebService(二) 周凡杨 javawebservice
       有了XFire框架实现WebService(一)，就可以继续开发WebService的简单应用。 Webservice的服务端(WEB工程)： 两个java bean类： Course.java    package cn.com.bean; public class Course {     private
  • 重绘之画图板 朱辉辉33 画图板
           上次博客讲的五子棋重绘比较简单，因为只要在重写系统重绘方法paint（）时加入棋盘和棋子的绘制。这次我想说说画图板的重绘。        画图板重绘难在需要重绘的类型很多，比如说里面有矩形，园，直线之类的，所以我们要想办法将里面的图形加入一个队列中，这样在重绘时就
  • Java的IO流 西蜀石兰 java
    刚学Java的IO流时，被各种inputStream流弄的很迷糊，看老罗视频时说想象成插在文件上的一根管道，当初听时觉得自己很明白，可到自己用时，有不知道怎么代码了。。。 每当遇到这种问题时，我习惯性的从头开始理逻辑，会问自己一些很简单的问题，把这些简单的问题想明白了，再看代码时才不会迷糊。 IO流作用是什么？ 答：实现对文件的读写，这里的文件是广义的； Java如何实现程序到文件
  • No matching PlatformTransactionManager bean found for qualifier 'add' - neither 林鹤霄
    java.lang.IllegalStateException: No matching PlatformTransactionManager bean found for qualifier 'add' - neither qualifier match nor bean name match!   网上找了好多的资料没能解决，后来发现：项目中使用的是xml配置的方式配置事务，但是
  • Row size too large (> 8126). Changing some columns to TEXT or BLOB aigo column
    原文：http://stackoverflow.com/questions/15585602/change-limit-for-mysql-row-size-too-large   异常信息： Row size too large (> 8126). Changing some columns to TEXT or BLOB or using ROW_FORMAT=DYNAM
  • JS 格式化时间 alxw4616 JavaScript
    /** * 格式化时间 2013/6/13 by 半仙 [email protected] * 需要 pad 函数 * 接收可用的时间值. * 返回替换时间占位符后的字符串 * * 时间占位符:年 Y 月 M 日 D 小时 h 分 m 秒 s 重复次数表示占位数 * 如 YYYY 4占4位 YY 占2位<p></p> * MM DD hh mm
  • 队列中数据的移除问题 百合不是茶 队列移除
         队列的移除一般都是使用的remov();都可以移除的,但是在昨天做线程移除的时候出现了点问题,没有将遍历出来的全部移除,  代码如下;      // package com.Thread0715.com; import java.util.ArrayList; public class Threa
  • Runnable接口使用实例 bijian1013 javathreadRunnablejava多线程
    Runnable接口 a.       该接口只有一个方法：public void run(); b.       实现该接口的类必须覆盖该run方法 c.       实现了Runnable接口的类并不具有任何天
  • oracle里的extend详解 bijian1013 oracle数据库extend
    扩展已知的数组空间，例： DECLARE TYPE CourseList IS TABLE OF VARCHAR2(10); courses CourseList; BEGIN -- 初始化数组元素，大小为3 courses := CourseList('Biol 4412 ', 'Psyc 3112 ', 'Anth 3001 '); --
  • 【httpclient】httpclient发送表单POST请求 bit1129 httpclient
    浏览器Form Post请求 浏览器可以通过提交表单的方式向服务器发起POST请求，这种形式的POST请求不同于一般的POST请求 1. 一般的POST请求，将请求数据放置于请求体中，服务器端以二进制流的方式读取数据，HttpServletRequest.getInputStream()。这种方式的请求可以处理任意数据形式的POST请求，比如请求数据是字符串或者是二进制数据 2. Form
  • 【Hive十三】Hive读写Avro格式的数据 bit1129 hive
     1. 原始数据 hive> select * from word; OK 1 MSN 10 QQ 100 Gtalk 1000 Skype      2. 创建avro格式的数据表   hive> CREATE TABLE avro_table(age INT, name STRING)STORE
  • nginx+lua+redis自动识别封解禁频繁访问IP ronin47
    在站点遇到攻击且无明显攻击特征，造成站点访问慢，nginx不断返回502等错误时，可利用nginx+lua+redis实现在指定的时间段 内，若单IP的请求量达到指定的数量后对该IP进行封禁，nginx返回403禁止访问。利用redis的expire命令设置封禁IP的过期时间达到在 指定的封禁时间后实行自动解封的目的。 一、安装环境： CentOS x64 release 6.4(Fin
  • java-二叉树的遍历-先序、中序、后序（递归和非递归）、层次遍历 bylijinnan java
    import java.util.LinkedList; import java.util.List; import java.util.Stack; public class BinTreeTraverse { //private int[] array={ 1, 2, 3, 4, 5, 6, 7, 8, 9 }; private int[] array={ 10,6,
  • Spring源码学习-XML 配置方式的IoC容器启动过程分析 bylijinnan javaspringIOC
    以FileSystemXmlApplicationContext为例，把Spring IoC容器的初始化流程走一遍： ApplicationContext context = new FileSystemXmlApplicationContext ("C:/Users/ZARA/workspace/HelloSpring/src/Beans.xml&q
  • [科研与项目]民营企业请慎重参与军事科技工程 comsci 企业
         军事科研工程和项目 并非要用最先进，最时髦的技术，而是要做到“万无一失”    而民营科技企业在搞科技创新工程的时候，往往考虑的是技术的先进性，而对先进技术带来的风险考虑得不够，在今天提倡军民融合发展的大环境下，这种“万无一失”和“时髦性”的矛盾会日益凸显。。。。。。所以请大家在参与任何重大的军事和政府项目之前，对
  • spring 定时器-两种方式 cuityang springquartz定时器
    方式一： 间隔一定时间 运行 <bean id="updateSessionIdTask" class="com.yang.iprms.common.UpdateSessionTask" autowire="byName" /> <bean id="updateSessionIdSchedule
  • 简述一下关于BroadView站点的相关设计 damoqiongqiu view
    终于弄上线了，累趴，戳这里http://www.broadview.com.cn   简述一下相关的技术点   前端：jQuery+BootStrap3.2+HandleBars，全站Ajax（貌似对SEO的影响很大啊！怎么破？），用Grunt对全部JS做了压缩处理，对部分JS和CSS做了合并（模块间存在很多依赖，全部合并比较繁琐，待完善）。   后端：U
  • 运维 PHP问题汇总 dcj3sjt126com windows2003
    1、Dede(织梦)发表文章时,内容自动添加关键字显示空白页 解决方法： 后台>系统>系统基本参数>核心设置>关键字替换（是/否），这里选择“是”。 后台>系统>系统基本参数>其他选项>自动提取关键字，这里选择“是”。   2、解决PHP168超级管理员上传图片提示你的空间不足 网站是用PHP168做的，反映使用管理员在后台无法
  • mac 下 安装php扩展 - mcrypt dcj3sjt126com PHP
    MCrypt是一个功能强大的加密算法扩展库，它包括有22种算法，phpMyAdmin依赖这个PHP扩展，具体如下： 下载并解压libmcrypt-2.5.8.tar.gz。 在终端执行如下命令： tar zxvf libmcrypt-2.5.8.tar.gz cd libmcrypt-2.5.8/ ./configure --disable-posix-threads --
  • MongoDB更新文档 [四] eksliang mongodbMongodb更新文档
    MongoDB更新文档 转载请出自出处：http://eksliang.iteye.com/blog/2174104 MongoDB对文档的CURD，前面的博客简单介绍了，但是对文档更新篇幅比较大，所以这里单独拿出来。 语法结构如下： db.collection.update( criteria, objNew, upsert, multi) 参数含义 参数   
  • Linux下的解压，移除，复制，查看tomcat命令 y806839048 tomcat
    重复myeclipse生成webservice有问题删除以前的，干净 1、先切换到：cd usr/local/tomcat5/logs 2、tail -f catalina.out 3、这样运行时就可以实时查看运行日志了 Ctrl+c 是退出tail命令。 有问题不明的先注掉   cp /opt/tomcat-6.0.44/webapps/g
  • Spring之使用事务缘由(3-XML实现) ihuning spring
      用事务通知声明式地管理事务   事务管理是一种横切关注点。为了在 Spring 2.x 中启用声明式事务管理，可以通过 tx Schema 中定义的 <tx:advice> 元素声明事务通知，为此必须事先将这个 Schema 定义添加到 <beans> 根元素中去。声明了事务通知后，就需要将它与切入点关联起来。由于事务通知是在 <aop:
  • GCD使用经验与技巧浅谈 啸笑天 GC
    前言 GCD(Grand Central Dispatch)可以说是Mac、iOS开发中的一大“利器”，本文就总结一些有关使用GCD的经验与技巧。 dispatch_once_t必须是全局或static变量 这一条算是“老生常谈”了，但我认为还是有必要强调一次，毕竟非全局或非static的dispatch_once_t变量在使用时会导致非常不好排查的bug，正确的如下： 1
  • linux（Ubuntu）下常用命令备忘录1 macroli linux工作ubuntu
    在使用下面的命令是可以通过--help来获取更多的信息1,查询当前目录文件列表：ls ls命令默认状态下将按首字母升序列出你当前文件夹下面的所有内容，但这样直接运行所得到的信息也是比较少的，通常它可以结合以下这些参数运行以查询更多的信息：  ls / 显示/.下的所有文件和目录  ls -l 给出文件或者文件夹的详细信息 ls -a 显示所有文件，包括隐藏文
  • nodejs同步操作mysql qiaolevip 学习永无止境每天进步一点点mysqlnodejs
    // db-util.js var mysql = require('mysql'); var pool = mysql.createPool({ connectionLimit : 10, host: 'localhost', user: 'root', password: '', database: 'test', port: 3306 });
  • 一起学Hive系列文章 superlxw1234 hiveHive入门
      [一起学Hive]系列文章 目录贴，入门Hive，持续更新中。   [一起学Hive]之一—Hive概述，Hive是什么 [一起学Hive]之二—Hive函数大全-完整版 [一起学Hive]之三—Hive中的数据库(Database)和表(Table) [一起学Hive]之四-Hive的安装配置 [一起学Hive]之五-Hive的视图和分区 [一起学Hive
  • Spring开发利器：Spring Tool Suite 3.7.0 发布 wiselyman spring
    Spring Tool Suite(简称STS)是基于Eclipse，专门针对Spring开发者提供大量的便捷功能的优秀开发工具。   在3.7.0版本主要做了如下的更新：   将eclipse版本更新至Eclipse Mars 4.5 GA Spring Boot(JavaEE开发的颠覆者集大成者，推荐大家学习)的配置语言YAML编辑器的支持(包含自动提示，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他