小鱼干儿♛
小鱼干儿♛

数据分析--数据预处理

数据预处理

  • 数据分类
    • 定量数据
    • 定性数据
  • 数据质量
  • 数据清洗
  • 特征工程
    • 特征选择
    • 特征构建
    • 特征提取

数据分类

定量数据

  • 离散变量
  • 连续变量

定性数据

  • 定序变量
  • 名义变量

  1. 集中趋势
    主要测度是均值，中位数，和众数

  2. 离散程度
    考虑变量的离散程度，主要考虑变量各个取值之间的差异，常见的测量有极差，方差和标准差

  3. 相关性测量

    • 数据可视化，将要分析的变量绘制成折线图或者散点图，做图表分析，可以对数据进行初步观察和分析
    • 计算变量间的协方差 协方差可以确定相关关系的正负，但没有关于关系的强度信息
    • 计算变量间的相关系数 相关系数是一个不受测量单位影响的相关关系统计量，理论上限是+1（或-1）表示完全线性相关
    • 进行元回归或多元线性回归分析

  4. 数据缺失
    数据集中不含缺失变量称为为完全变量，含有缺失值的变量称为不完全变量

  5. 噪声
    噪声是指被观测的变量的随机误差或方差
    噪声 = 观测值 - 真实数据

  6. 离群点
    数据集中包含这样一些数据对象，他们与数据的一般行为和模型不一致，这样的对象被称为离群点，离群点属于观测变量

数据质量

  1. 完整性
    数据信息是否存在缺失情况
  2. 一致性
    数据是否符合规范，数据集中的数据是否保持统一格式
  3. 准确性
    数据记录的信息是否存在异常或错误
  4. 及时性
    及时性是指数据从产生到可以查看的时间间隔

数据清洗

  1. 缺失值的处理
    常见的方法有，忽略有缺失值的数据，如果一个属性缺失的数据过多，则删除该属性
    对缺失值进行填补，可以填补固定值，平均值，和最有可能值， 最有可能值会利用到决策树，回归分析

  2. 噪声数据的处理
    分箱技术 通过考察相邻数据来确定最终值，可以实现异常或者噪声数据的平滑处理
    聚类技术
    聚类技术是将数据集分组为类似数据组成的多个簇，聚类技术主要用于找出并清除哪些落在簇之外的数据(孤立点）这些数据被视为噪点，不是适合用于平滑数据，聚类分析也可以用作数据分析

    回归技术
    回归技术是通过发现两个相关变量之间的数据关系并寻找合适的两个变量之江的映射关系来平滑数据，即通过数学模型来预测下一个数据，包括线性回归和非线性回归

  3. 不一致数据的处理
    使用相关资料进行修复数据，违反给定规则的数据根据实际情况可以运用知识工具进行修改，对于多个数据源集成处理时，不同数据源对某些含义相同的字段的编码规则可能存在差异此时需要对不同数据源的数据进行数据转化

  4. 异常数据的处理

特征工程

特征选择

考虑方面：特征是否发散、特征是否冗余、特征是否与分析结果相关
选择方法 过滤法、包装法、集成法

特征构建

特征构建是指从原始数据中人工构建新的特征

特征提取

特征提取是在原有的特征的基础上，自动构建新的特征，将原始特征转换成一组具有物理意义。统计意义。或者核的特征

  • 主成分分析法
    PCA是通过坐标轴转换，寻求数据分布的最优子空间，从而达到降维，去除数据间相关性的目的，
  • 独立成分分析法
  • 线性判别分析法
    LDA的原理是将有标签的数据通过投影的方法，投影到更低的空间，使得投影后的点按类分配，相同类别的点投影以后更接近，不同类别的点投影以后距离较远

你可能感兴趣的:(数据分析,数据挖掘)

  • 用Java提取Word文档表格数据
    Word文档作为一种广泛使用的文件格式，常常承载着丰富的表格信息，这些信息可能涉及到财务报表、项目规划、实验数据记录等多方面内容。将这些表格数据提取出来，能够方便进行数据分析以及内容再创作等场景。通过使用Java实现Word文档表格数据的提取，可以确保数据处理的一致性和准确性，同时大大减少所需的时间和成本。本文将介绍如何使用Java提取Word文档中的表格数据。用Java提取Word文档表格到文本
  • python面试情景题_50道python笔试面试真题大集合 我是史迪仔 python面试情景题
    Python爬虫人工智能100GBweb爬虫数据分析人工智能视频免费领题目后面有50道题答案领取方式哦1、一行代码实现1--100之和利用sum()函数求和2、如何在一个函数内部修改全局变量利用global修改全局变量3、列出5个python标准库os：提供了不少与操作系统相关联的函数sys:通常用于命令行参数re:正则匹配math:数学运算datetime:处理日期时间4、字典如何删除键和合并两
  • 数据分析 变异系数 やっはろ 数据分析数据分析数据挖掘
    目录变异系数的应用场景包括：特点：注意事项：np.nanvar——方差，np.sanstd标准差简单来讲就是平均值/标准差变异系数（CoefficientofVariation,CV）是一种相对量的变异指标，常用于衡量数据的离散程度。它通过标准差与均值的比值来表示，消除了单位差异的影响，使得不同量纲、均值不同的数据之间可以直接比较其离散程度。一般来说，变量值平均水平高，其离散程度的测度值越大，反之
  • C# 与.NET 日志变革：JSON 让程序“开口说清话” 步、步、为营 c#.netjson
    一、引言：日志新时代的开启在软件开发的漫长旅程中，日志一直是我们不可或缺的伙伴。它就像是应用程序的“黑匣子”，默默地记录着程序运行过程中的点点滴滴，为我们在调试、排查问题以及性能优化时提供关键线索。在早期，文本日志是我们最常用的记录方式，它简单直接，就像我们随手写下的日记，记录着事件发生的时间、内容等基本信息。然而，随着软件系统规模的不断扩大，架构日益复杂，尤其是在微服务、大数据分析以及云原生应用
  • python方差分析误差棒_一文讲透，带你学会用Python绘制带误差棒的柱状图和条形图... 加勒比考斯 python方差分析误差棒
    Python数据可视化，作为数据常用的必备技能，是目前大数据和数据分析的一个热门，而matplotlib库作为Python中最为常用和经典的二维绘图库，受到了很多人的青睐，最近已经和大家共同探讨了多种类型的图表的绘制，其中关于误差棒图，咱们已经在上次一起讨论过了，今天咱们继续深入研究误差棒图相关的知识。那今天咱们聊点什么呢？咱们一起探讨一下如何在Python中绘制带误差棒的柱状图和条形图吧！首先，
  • Apache Doris主要应用场景和一些实际案例 临水逸 apache
    ApacheDoris是一个现代化的分布式分析型数据库，具备高性能、实时性和高并发性等特点，被广泛应用于多种场景。以下是Doris的主要应用场景和一些实际案例。应用场景1.实时数据分析数据流处理：Doris可以实时ingest（引入）和分析数据流，适用于监控系统、实时用户行为分析等场景。实时仪表盘：Doris适用于构建实时可视化仪表盘，为运营和业务决策提供实时数据支持。2.数据仓库OLAP（在线分
  • Python绘制数据地图-MovingPandas 懒大王爱吃狼 Python数据可视化python信息可视化开发语言Python基础python学习
    MovingPandas是一个用于时空数据分析的Python库，它扩展了Pandas和GeoPandas，使得处理和分析带有时间戳的地理数据变得更加方便。虽然MovingPandas本身不直接提供数据可视化功能，但你可以结合其他库如matplotlib、folium或plotly来绘制数据地图。以下是一个简单的示例，展示如何使用MovingPandas和matplotlib来绘制带有时间戳的地理数
  • 镜舟科技荣登《2024 中国大数据产业年度「国产化」优秀代表厂商》榜单！ 数据库软件数据分析
    在近日于上海成功举办的“释放×数效应·共创智+未来”2024第七届金猿&魔方论坛上，镜舟科技凭借其在数据分析领域的卓越贡献和国产化技术实力，入选《2024中国大数据产业年度「国产化」优秀代表厂商》榜单，展现了其在国产化、信创道路上的成果。镜舟科技自2022年成立以来，始终致力于帮助中国企业建立卓越的数据分析系统，形成自身的“数据护城河”。基于开源项目StarRocks进行深度研发，镜舟科技推出2款
  • 高成长、高潜力、高社区影响！镜舟科技入选 2024 中国新锐技术先锋企业 数据库开源数据分析
    2024年12月4日，中国技术先锋年度评选|2024中国新锐技术先锋企业榜单正式发布。作为中国领先的新一代开发者社区，SegmentFault思否依托上千万开发者用户数据分析，各科技企业在国内技术领域的行为及影响力指标，最终评选出30家新锐技术先锋企业，镜舟科技作为领先的数据技术企业，入选30强之列。2024中国新锐技术先锋企业榜隶属于中国技术先锋年度评选，旨在挖掘信奉技术力量、敢于技术创新、践行
  • 【Python】Numpy详解 frimiku pythonnumpy开发语言大数据人工智能
    Numpy详解相关教程【Python】Numpy详解【Python】Pandas详解【Python】Matplotlib详解一、Numpy介绍数据分析三剑客之一的Numpy，是一个用于处理数组的Python包【基于数组对象的科学计算库】。其全名为“NumericPython”，是一款开源的Python库。Numpy相当于Python中的列表（List），但只能存放相同的数据类型。引入Numpy的目
  • python dash框架 时雨h 数学建模python信息可视化dash数据分析
    Dash是一个用于创建数据分析型web应用的Python框架。它由Plotly团队开发，并且可以用来构建交互式的web应用程序，这些应用能够包含图表、表格、地图等多种数据可视化组件。Dash的特点：易于使用：Dash使用Python语法，对于熟悉Python的用户来说很容易上手。交互性：Dash支持用户交互，例如点击事件、下拉列表选择等。服务器端渲染：Dash应用程序在服务器端渲染，然后将结果发送
  • pandas介绍 June � 可视化python数据分析大数据机器学习
    本文的主要内容是基于中国大学mooc（慕课）中的“Python数据分析与可视化”课程进行整理和总结。pandas是python第三方库，是基于Numpy的一种工具，经常与numpy与matplotlib一起使用，该工具是为了解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。它是
  • Google广告数据分析与优化总结 奔跑的栀子 计算广告广告计算广告数据分析数据可视化google
    一、概述广告优化师虽属于广告行业，但在实际的优化过程中无不考验着优化师的数据分析能力。不同的计划在不同时期情况不一样，具体的优化应当以当时的状态跟所处情形来进行，因此对于这个行业来讲没有百分之百奏效的优化方式，广告优化师能做的就是根据自己的经验分析和判断可能是什么原因导致了计划出现问题，以及通过尝试去改变效果不好的现状。以下是我曾经优化比较成功的案例之一，下面将分日期对计划所处的状态、猜测结果出现
  • 第17篇：python进阶：详解数据分析与处理 猿享天开 python从入门到精通python开发语言
    第17篇：数据分析与处理内容简介本篇文章将深入探讨数据分析与处理在Python中的应用。您将学习如何使用pandas库进行数据清洗与分析，掌握matplotlib和seaborn库进行数据可视化，以及处理大型数据集的技巧。通过丰富的代码示例和实战案例，您将能够高效地进行数据处理、分析和可视化，为数据驱动的决策提供有力支持。目录数据分析与处理概述什么是数据分析与处理数据分析的流程使用pandas进行
  • Python数据分析与可视化研究 阿尔法星球 pythonpython数据分析开发语言
    Python数据分析与可视化研究摘要随着大数据和人工智能技术的飞速发展，Python数据分析与可视化技术已成为现代科学研究、企业决策等领域不可或缺的工具。本研究全面梳理了Python在数据分析与可视化领域的基本理论框架和关键技术，系统分析了Pandas、NumPy等核心数据分析库以及Matplotlib、Seaborn等可视化库的应用优势与特点。通过实际案例，本研究深入探讨了Python在数据清洗
  • 在K8S中，如何使用EFK实现日志的统一管理？ Dusk_橙子 K8Skubernetes容器云原生
    在Kubernetes中，EFK是一种常见的日志统一管理方案。EFK堆栈允许你收集、存储、搜素、分析和可视化容器应用程序的日志。下面是如何在Kubernetes中使用EFK实现日志统一管理的详细步骤：部署Elasticsearchelasticsearch是一个分布式、RESTful风格的搜索和分析引擎，能够解决越来越多用例的查询语言，它通常用于日志和事件数据分析。首先，你需要再kubernete
  • ODBC的基本使用 种花的人_ 开发工具数据库
    前言在工作中，使用POWERBI做数据分析报表的时候用到ODBC，对于POWERBI语义模式实现连接数据库必须使用到ODBC，那什么是ODBC？1.ODBC的基本概念1.1ODBC驱动程序每种数据库都有相应的ODBC驱动程序，这些驱动程序负责处理与数据库的通信。驱动程序将ODBC调用转换为数据库特定的调用，并将结果返回给应用程序。1.2数据源名称(DSN)DSN是一个配置名称，用于保存连接到数据库
  • R数据分析：多分类问题预测模型的ROC做法及解释 公众号Codewar原创作者 R数据分析
    有同学做了个多分类的预测模型，结局有三个类别，做的模型包括多分类逻辑回归、随机森林和决策树，多分类逻辑回归是用ROC曲线并报告AUC作为模型评估的，后面两种模型报告了混淆矩阵，审稿人就提出要统一模型评估指标。那么肯定是统一成ROC了，刚好借这个机会给大家讲讲ROC在多分类问题情形下的具体使用和做法。ROC曲线回顾ROC曲线（ReceiverOperatingCharacteristicCurve）
  • R数据分析：有调节的中介与有中介的调节的整体介绍 公众号Codewar原创作者 算法人工智能
    单独的有调节的中介或者有中介的调节好多同学还大概能看明白，但是两个东西一起说我发现大部分同学就懵逼了。今天我就尝试将两种方法一起讲讲，重点帮助大家厘清两种方法的异同。先从整体上看下两者的概念：有中介的调节首先落脚在调节，调节作用必须是显著的，并且这个调节作用的实现过程要通过中介变量。theideal-typicalmediatedmoderationisfirstofallasignificant
  • 【数据挖掘实战】 房价预测 机器学习司猫白 数据挖掘人工智能python机器学习
    本次对kaggle中的入门级数据集，房价回归数据集进行数据挖掘，预测房屋价格。本人主页：机器学习司猫白机器学习专栏：机器学习实战PyTorch入门专栏：PyTorch入门深度学习实战：深度学习ok，话不多说，我们进入正题吧概述本次竞赛有79个解释变量（几乎）描述了爱荷华州艾姆斯住宅的各个方面，需要预测每套住宅的最终价格。数据集描述本次数据集已经上传，大家可以自行下载尝试文件说明train.csv-
  • 【dbt】数据加工大师浅谈 一盘胡椒鱼 dbt数据库数据仓库etl数据分析sql
    dbt是dbtlabs公司在2016年推出的一款基于Python的开源数据加工工具。从2019年开始，dbt的用户数量增涨十分迅速。dbtlabs凭借此工具，在2022年估值达到了42亿美金。dbt的价值dbt是面向分析工程师提供服务。【分析工程师】是dbt新定义的岗位，是基于DataOps思想，综合了数据工程师和数据分析师两者。即分析师也应该会代码开发（实际上，现在很多的数据分析师就是在做sql
  • 让旅游更智能：基于AR的旅游导览应用解析 Echo_Wish Python笔记Python算法旅游arrestful
    友友们好！我的新专栏《Python进阶》正式启动啦！这是一个专为那些渴望提升Python技能的朋友们量身打造的专栏，无论你是已经有一定基础的开发者，还是希望深入挖掘Python潜力的爱好者，这里都将是你不可错过的宝藏。在这个专栏中，你将会找到：●深入解析：每一篇文章都将深入剖析Python的高级概念和应用，包括但不限于数据分析、机器学习、Web开发等。●实战案例：通过丰富的实战案例，带你一步步实现
  • 税务门户网站系统：数据分析与税务政策传播 liuxin33445566 安全java开发语言数据库前端
    2.1SSM框架介绍本课题程序开发使用到的框架技术，英文名称缩写是SSM，在JavaWeb开发中使用的流行框架有SSH、SSM、SpringMVC等，作为一个课题程序采用SSH框架也可以，SSM框架也可以，SpringMVC也可以。SSH框架是属于重量级别的框架，配置繁琐，不够灵活，修改程序需要修改好多个文件，并且运行起来也占用内存较高，CPU使用率相对也高，SpringMVC是Spring开发的
  • 程序员转行做什么好：数据分析师、AI大模型工程师、产品经理和云计算工程师？ 雪碧没气阿 人工智能产品经理云计算大模型训练LLMAI大模型程序员
    程序员转行做什么好先给结论再说理由：数据分析师、AI大模型工程师、产品经理和云计算工程师。这些领域不仅因应了当前技术发展的趋势，也为程序员提供了转型的广阔舞台和职业发展的新机遇。一起来看看吧！数据分析师：数据驱动决策的关键程序员转行时，应考虑当前市场上的热门行业和岗位需求。例如，AI大模型工程师、数据分析师、前端开发工程师、全栈开发工程师等都是当前市场上需求量较大的职位。就拿数据分析师来说，因其在
  • 如何查看商品销量 API 接口的性能指标数据 前端后端运维数据挖掘api
    在当今电商蓬勃发展的时代，数据成为驱动业务决策的关键因素。商品销量作为衡量产品受欢迎程度和销售业绩的核心指标，其获取依赖于高效稳定的API接口。对于电商开发者、数据分析师以及业务决策者而言，了解如何查看商品销量API接口的性能指标数据至关重要。这些性能指标不仅能反映接口的运行状态，还能为优化接口、提升用户体验以及保障业务连续性提供有力依据。本文将深入探讨查看商品销量API接口性能指标数据的方法，并
  • 基于Python的三种主流网络爬虫技术 吃肉肉335 python爬虫开发语言
    一、网络爬虫是什么网络爬虫，通常也被称为网络蜘蛛或网络机器人，是一种按照一定方法，获取网络各种信息的自动化脚本程序，也可以将其理解为一个在互联网上自动提取网页信息并进行解析抓取的程序。网络爬虫的功能不仅局限于复制网页内容、下载音视频文件，更包括自动化执行行为链以及模拟用户登录等复杂操作。在当前大数据背景下，无论是人工智能应用还是数据分析工作，均依赖于海量的数据支持。如果仅依赖人工采集这一种方式，不
  • Bash语言的数据库交互 清妍琉璃 包罗万象golang开发语言后端
    Bash语言的数据库交互引言随着信息技术的飞速发展，数据库在各行各业中扮演着越来越重要的角色。无论是企业管理、数据分析，还是大数据处理，数据库都是基础设施的重要组成部分。对于开发者和系统管理员而言，能够高效地与数据库进行交互是一项必不可少的技能。在众多编程语言中，Bash作为一种脚本语言，以其简洁、高效和易用的特点，逐渐在数据库管理和交互中获得了一席之地。本文将深入探讨如何使用Bash进行数据库交
  • Java 大视界 -- Java 大数据文本分析与自然语言处理：从文本挖掘到智能对话 一只蜗牛儿 java大数据自然语言处理
    在当今的信息化时代，数据成为了重要的资源。特别是文本数据，随处可见，如社交媒体、新闻网站、技术文档、客户反馈等，这些都包含着大量的潜在信息。因此，如何从海量的文本中提取有价值的信息，成为了大数据分析领域的重要课题。Java作为一种高效、灵活的编程语言，在大数据文本分析与自然语言处理（NLP）中发挥着至关重要的作用。本文将介绍如何利用Java开发大数据文本分析和自然语言处理（NLP）应用，带领你从文
  • 数据挖掘：定义、挑战与应用 黑色叉腰丶大魔王 数据挖掘人工智能
    一、数据挖掘的定义（一）概念阐述数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。它融合了数据库技术、统计学、机器学习、人工智能等多学科的理论和方法，旨在通过对数据的深入分析和处理，发现有价值的模式、关联、趋势等，从而为决策提供支持。（二）与相关概念的区别与联系数据库管理：数据库管理侧重于数据的存储、组织、检索和维护
  • MDX语言的语法糖 ByteBlossom666 包罗万象golang开发语言后端
    MDX语言的语法糖及其应用分析引言在当今数据驱动的时代，大数据分析和数据可视化已成为企业决策中不可或缺的一部分。MDX（MultidimensionalExpressions，多维表达式）作为一门专为分析多维数据而设计的查询语言，广泛应用于商业智能（BI）工具中。随着技术的发展，MDX语言逐渐演变，形成了其独特的语法糖，以提高开发者的效率和可读性。本文将深入探讨MDX语言的语法糖特性及其在实际应用
  • 对股票分析时要注意哪些主要因素？ 会飞的奇葩猪 股票 分析 云掌股吧
    　　众所周知，对散户投资者来说，股票技术分析是应战股市的核心武器，想学好股票的技术分析一定要知道哪些是重点学习的，其实非常简单，我们只要记住三个要素：成交量、价格趋势、振荡指标。     一、成交量 　　大盘的成交量状态。成交量大说明市场的获利机会较多，成交量小说明市场的获利机会较少。当沪市的成交量超过150亿时是强市市场状态，运用技术找综合买点较准；
  • 【Scala十八】视图界定与上下文界定 bit1129 scala
    Context Bound，上下文界定，是Scala为隐式参数引入的一种语法糖，使得隐式转换的编码更加简洁。   隐式参数 首先引入一个泛型函数max，用于取a和b的最大值 def max[T](a: T, b: T) = { if (a > b) a else b }  因为T是未知类型，只有运行时才会代入真正的类型，因此调用a >
  • C语言的分支——Object-C程序设计阅读有感 darkblue086 applec框架cocoa
    自从1972年贝尔实验室Dennis Ritchie开发了C语言，C语言已经有了很多版本和实现，从Borland到microsoft还是GNU、Apple都提供了不同时代的多种选择，我们知道C语言是基于Thompson开发的B语言的，Object-C是以SmallTalk-80为基础的。和C++不同的是，Object C并不是C的超集，因为有很多特性与C是不同的。 Object-C程序设计这本书
  • 去除浏览器对表单值的记忆 周凡杨 html记忆autocompleteform浏览
                                       &n
  • java的树形通讯录 g21121 java
    最近用到企业通讯录，虽然以前也开发过，但是用的是jsf，拼成的树形，及其笨重和难维护。后来就想到直接生成json格式字符串，页面上也好展现。 // 首先取出每个部门的联系人 for (int i = 0; i < depList.size(); i++) { List<Contacts> list = getContactList(depList.get(i
  • Nginx安装部署 510888780 nginxlinux
    Nginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源
  • java servelet异步处理请求 墙头上一根草 ｊａｖａ异步返回ｓｅｒｖｌｅｔ
    servlet3.0以后支持异步处理请求，具体是使用AsyncContext ，包装httpservletRequest以及httpservletResponse具有异步的功能，        final AsyncContext ac = request.startAsync(request, response);   ac.s
  • 我的spring学习笔记8-Spring中Bean的实例化 aijuans Spring 3
    在Spring中要实例化一个Bean有几种方法： 1、最常用的（普通方法） <bean id="myBean" class="www.6e6.org.MyBean" /> 使用这样方法，按Spring就会使用Bean的默认构造方法，也就是把没有参数的构造方法来建立Bean实例。 （有构造方法的下个文细说） 2、还
  • 为Mysql创建最优的索引 annan211 mysql索引
    索引对于良好的性能非常关键，尤其是当数据规模越来越大的时候，索引的对性能的影响越发重要。 索引经常会被误解甚至忽略，而且经常被糟糕的设计。 索引优化应该是对查询性能优化最有效的手段了，索引能够轻易将查询性能提高几个数量级，最优的索引会比 较好的索引性能要好2个数量级。 1 索引的类型 (1) B-Tree 不出意外，这里提到的索引都是指 B-
  • 日期函数 百合不是茶 oraclesql日期函数查询
      ORACLE日期时间函数大全 TO_DATE格式(以时间:2007-11-02 13:45:25为例) Year: yy two digits 两位年 显示值:07 yyy three digits 三位年 显示值:007
  • 线程优先级 bijian1013 javathread多线程java多线程
    多线程运行时需要定义线程运行的先后顺序。 线程优先级是用数字表示，数字越大线程优先级越高，取值在1到10，默认优先级为5。 实例： package com.bijian.study; /** * 因为在代码段当中把线程B的优先级设置高于线程A,所以运行结果先执行线程B的run()方法后再执行线程A的run()方法 * 但在实际中，JAVA的优先级不准，强烈不建议用此方法来控制执
  • 适配器模式和代理模式的区别 bijian1013 java设计模式
    一.简介        适配器模式：适配器模式（英语：adapter pattern）有时候也称包装样式或者包装。将一个类的接口转接成用户所期待的。一个适配使得因接口不兼容而不能在一起工作的类工作在一起，做法是将类别自己的接口包裹在一个已存在的类中。      &nbs
  • 【持久化框架MyBatis3三】MyBatis3 SQL映射配置文件 bit1129 Mybatis3
     SQL映射配置文件一方面类似于Hibernate的映射配置文件，通过定义实体与关系表的列之间的对应关系。另一方面使用<select>,<insert>,<delete>，<update>元素定义增删改查的SQL语句， 这些元素包含三方面内容 1. 要执行的SQL语句 2. SQL语句的入参，比如查询条件 3. SQL语句的返回结果
  • oracle大数据表复制备份个人经验 bitcarter oracle大表备份大表数据复制
    前提：    数据库仓库A（就拿oracle11g为例）中有两个用户user1和user2,现在有user1中有表ldm_table1,且表ldm_table1有数据5千万以上，ldm_table1中的数据是从其他库B（数据源）中抽取过来的，前期业务理解不够或者需求有变，数据有变动需要重新从B中抽取数据到A库表ldm_table1中。    
  • HTTP加速器varnish安装小记 ronin47 http varnish 加速
    上午共享的那个varnish安装手册，个人看了下，有点不知所云，好吧~看来还是先安装玩玩！ 苦逼公司服务器没法连外网，不能用什么wget或yum命令直接下载安装，每每看到别人博客贴出的在线安装代码时，总有一股羡慕嫉妒“恨”冒了出来。。。好吧，既然没法上外网，那只能麻烦点通过下载源码来编译安装了！ Varnish 3.0.4下载地址： http://repo.varnish-cache.org/
  • java-73-输入一个字符串，输出该字符串中对称的子字符串的最大长度 bylijinnan java
    public class LongestSymmtricalLength { /* * Q75题目：输入一个字符串，输出该字符串中对称的子字符串的最大长度。 * 比如输入字符串“google”，由于该字符串里最长的对称子字符串是“goog”，因此输出4。 */ public static void main(String[] args) { Str
  • 学习编程的一点感想 Cb123456 编程感想Gis
           写点感想，总结一些，也顺便激励一些自己.现在就是复习阶段，也做做项目.      本专业是GIS专业，当初觉得本专业太水，靠这个会活不下去的，所以就报了培训班。学习的时候，进入状态很慢，而且当初进去的时候，已经上到Java高级阶段了，所以.....，呵呵，之后有点感觉了，不过，还是不好好写代码，还眼高手低的，有
  • [能源与安全]美国与中国 comsci 能源
         现在有一个局面：地球上的石油只剩下N桶，这些油只够让中国和美国这两个国家中的一个顺利过渡到宇宙时代，但是如果这两个国家为争夺这些石油而发生战争，其结果是两个国家都无法平稳过渡到宇宙时代。。。。而且在战争中，剩下的石油也会被快速消耗在战争中，结果是两败俱伤。。。       在这个大
  • SEMI-JOIN执行计划突然变成HASH JOIN了 的原因分析 cwqcwqmax9 oracle
    甲说： A B两个表总数据量都很大，在百万以上。 idx1  idx2字段表示是索引字段 A B 两表上都有 col1字段表示普通字段 select xxx from A where A.idx1 between mmm and nnn      and exists (select 1 from B where B.idx2 =
  • SpringMVC-ajax返回值乱码解决方案 dashuaifu AjaxspringMVCresponse中文乱码
      SpringMVC-ajax返回值乱码解决方案   一：（自己总结，测试过可行） ajax返回如果含有中文汉字，则使用：（如下例：） @RequestMapping(value="/xxx.do")       public @ResponseBody void getPunishReasonB
  • Linux系统中查看日志的常用命令 dcj3sjt126com OS
    因为在日常的工作中，出问题的时候查看日志是每个管理员的习惯，作为初学者，为了以后的需要，我今天将下面这些查看命令共享给各位 cat tail -f 日 志 文 件 说 明 /var/log/message 系统启动后的信息和错误日志，是Red Hat Linux中最常用的日志之一 /var/log/secure 与安全相关的日志信息 /var/log/maillog 与邮件相关的日志信
  • [应用结构]应用 dcj3sjt126com PHPyii2
    应用主体 应用主体是管理 Yii 应用系统整体结构和生命周期的对象。 每个Yii应用系统只能包含一个应用主体，应用主体在 入口脚本中创建并能通过表达式 \Yii::$app 全局范围内访问。 补充: 当我们说"一个应用"，它可能是一个应用主体对象，也可能是一个应用系统，是根据上下文来决定[译：中文为避免歧义，Application翻译为应
  • assertThat用法 eksliang JUnitassertThat
    junit4.0  assertThat用法 一般匹配符1、assertThat( testedNumber, allOf( greaterThan(8), lessThan(16) ) ); 注释： allOf匹配符表明如果接下来的所有条件必须都成立测试才通过，相当于“与”（&&） 2、assertThat( testedNumber, anyOf( g
  • android点滴2 gundumw100 应用服务器android网络应用OSHTC
    如何让Drawable绕着中心旋转？ Animation a = new RotateAnimation(0.0f, 360.0f, Animation.RELATIVE_TO_SELF, 0.5f, Animation.RELATIVE_TO_SELF,0.5f); a.setRepeatCount(-1); a.setDuration(1000); 如何控制Andro
  • 超简洁的CSS下拉菜单 ini htmlWeb工作html5css
    效果体验：http://hovertree.com/texiao/css/3.htmHTML文件： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title>简洁的HTML+CSS下拉菜单-HoverTree</title>
  • kafka consumer防止数据丢失 kane_xie kafkaoffset commit
    kafka最初是被LinkedIn设计用来处理log的分布式消息系统，因此它的着眼点不在数据的安全性（log偶尔丢几条无所谓），换句话说kafka并不能完全保证数据不丢失。   尽管kafka官网声称能够保证at-least-once，但如果consumer进程数小于partition_num，这个结论不一定成立。   考虑这样一个case，partiton_num=2
  • @Repository、@Service、@Controller 和 @Component mhtbbx DAOspringbeanprototype
    @Repository、@Service、@Controller 和 @Component 将类标识为Bean Spring 自 2.0 版本开始，陆续引入了一些注解用于简化 Spring 的开发。@Repository注解便属于最先引入的一批，它用于将数据访问层 (DAO 层 ) 的类标识为 Spring Bean。具体只需将该注解标注在 DAO类上即可。同时，为了让 Spring 能够扫描类
  • java 多线程高并发读写控制 误区 qifeifei java thread
    先看一下下面的错误代码，对写加了synchronized控制，保证了写的安全，但是问题在哪里呢？ public class testTh7 { private String data; public String read(){ System.out.println(Thread.currentThread().getName() + "read data "
  • mongodb replica set(副本集)设置步骤 tcrct javamongodb
    网上已经有一大堆的设置步骤的了，根据我遇到的问题，整理一下，如下： 首先先去下载一个mongodb最新版，目前最新版应该是2.6 cd /usr/local/bin wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.6.0.tgz tar -zxvf mongodb-linux-x86_64-2.6.0.t
  • rust学习笔记 wudixiaotie 学习笔记
    1.rust里绑定变量是let，默认绑定了的变量是不可更改的，所以如果想让变量可变就要加上mut。 let x = 1; let mut y = 2; 2.match 相当于erlang中的case，但是case的每一项后都是分号，但是rust的match却是逗号。 3.match 的每一项最后都要加逗号，但是最后一项不加也不会报错，所有结尾加逗号的用法都是类似。 4.每个语句结尾都要加分
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他