May--J--Oldhu
May--J--Oldhu

Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell）

NoSQL综述及Apache HBase基础

  • 一.HBase
    • 1.HBase概述
    • 2.HBase发展历史
    • 3.HBase应用场景
      • 3.1增量数据-时间序列数据
      • 3.2信息交换-消息传递
      • 3.3内容服务-Web后端应用程序
      • 3.4HBase应用场景示例
    • 4.Apache HBase生态圈
    • 5.HBase物理架构
      • 5.1 HMaster
      • 5.2RegionServer
      • 5.3Region和Table
    • 6.HBase逻辑架构 - Row
    • 7.HBase数据管理
    • 8.HBase架构特点
    • 9.HBase Shell
      • 9.1创建表：create
      • 9. 2查看所有表：list，describe
      • 9.3添加数据：put
      • 9.4扫描表：scan
      • 9.5获取数据：get
      • 9.6删除数据：delete
      • 9.7修改表：alter
      • 9.8删除表drop

一.HBase

1.HBase概述

  • HBase是一个领先的NoSQL数据库
    是一个面向列存储的数据库
    是一个分布式hash map
    基于Google Big Table论文
    使用HDFS作为存储并利用其可靠性
  • HBase特点
    数据访问速度快，响应时间约2-20毫秒
    支持随机读写，每个节点20k~100k+ ops/s
    可扩展性，可扩展到20,000+节点

2.HBase发展历史

时间 事件
2006年 Google发表了关于Big Table论文
2007年 第一个版本的HBase和Hadoop0.15.0一起发布
2008年 HBase成为Hadoop的子项目
2010年 HBase成为Apache顶级项目
2011年 Cloudera基于HBase0.90.1推出CDH3
2012年 HBase发布了0.94版本
2013-2014 HBase先后发布了0.96版本/0.98版本
2015-2016 HBase先后发布了1.0版本、1.1版本和1.2.4版本
2017年 HBase发布1.3版本
2018年 HBase先后发布了1.4版本和2.0版本

3.HBase应用场景

3.1增量数据-时间序列数据

​ 高容量，高速写入

Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell）_第1张图片

3.2信息交换-消息传递

高容量，高速读写

Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell）_第2张图片

3.3内容服务-Web后端应用程序

高容量，高速读写

Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell）_第3张图片

3.4HBase应用场景示例

  • Facebook
    9000 memcached instances，4000 shards mysql
    2011全部迁移到HBase
  • Alibaba
    自2010年以来，HBase一直为阿里搜索系统的核心存储
    当前规模
    3 个集群，每个有1000+ nodes
    在Yarn上与Flink共享
    每天提供超过10M+ ops/s 的服务

4.Apache HBase生态圈

HBase生态圈技术
Lily – 基于HBase的CRM
OpenTSDB – HBase面向时间序列数据管理
Kylin – HBase上的OLAP
Phoenix – SQL操作HBase工具
Splice Machine – 基于HBase的OLTP
Apache Tephra – HBase事务支持
TiDB – 分布式SQL DB
Apache Omid - 优化事务管理
Yarn application timeline server v.2 迁移到HBase
Hive metadata存储可以迁移到HBase
Ambari Metrics Server将使用HBase做数据存储

5.HBase物理架构

HBase采用Master/Slave架构

  • HMaster
  • RegionServer
  • Zookeeper
  • HBase Client
  • Region

Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell）_第4张图片

5.1 HMaster

HMaster的作用：

  • 是HBase集群的主节点，可以配置多个，用来实现HA
  • 管理和分配Region
  • 负责RegionServer的负载均衡
  • 发现失效的RegionServer并重新分配其上的Region

5.2RegionServer

RegionServer负责管理维护Region

  • 一个RegionServer包含一个WAL、一个BlockCache (读缓存)和多个Region
  • 一个Region包含多个存储区，每个存储区对应一个列族
  • 一个存储区由多个StoreFile和MemStore组成（MemStore内存）
  • 一个StoreFile对应于一个HFile和一个列族
  • HFile和WAL作为序列文件保存在HDFS上
  • Client与RegionServer交互

功能：

  • 负责管理HBase的实际数据

  • 处理分配给它的Region

  • 刷新缓存到HDFS

  • 维护HLog

  • 执行Compaction

  • 负责处理Region分片

Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell）_第5张图片

5.3Region和Table

  • 单个Table（表）被分区成大小大致相同的Region
  • Region是HBase集群分布数据的最小单位
  • Region被分配给集群中的RegionServer
  • 一个Region只能分配给一个RegionServer

HRegion

HBase使用表（table）存储数据集，表由行和列组成，这与关系型数据库类似。但是在HBase，当表的大小超过设定值时，HBase会自动将表划分为不同的区域（Region),每个区域成为HRegion，它是HBase集群上分布式存储和负载均衡的最小单位，在这一点上，表和HRegion类似于HDFS中文件和文件块的概念。一个HRgion中保存一个表中一段连续的数据，通过表名和主键范围（开始主键~结束主键）来区分每一个HRgion。

Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell）_第6张图片

6.HBase逻辑架构 - Row

  • Rowkey（行键）是唯一的并已排序
  • Schema可以定义何时插入记录
  • 每个Row都可以定义自己的列，即使其他Row不使用
    相关列定义为列族
  • 使用唯一时间戳维护多个Row版本
    在不同版本中值类型可以不同
  • HBase数据全部以字节存储

Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell）_第7张图片

7.HBase数据管理

  • 数据管理目录
    系统目录表hbase:meta
    存储元数据等
    HDFS目录中的文件
    Servers上的region实例
  • HBase数据在HDFS上
    可以通过HDFS进行修复File
    修复路径：
    RegionServer->Table->Region->RowKey->列族

Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell）_第8张图片

8.HBase架构特点

  • 强一致性
  • 自动扩展
    当Region变大会自动分割
    使用HDFS扩展数据并管理空间
  • 写恢复
    使用WAL(Write Ahead Log)
  • 与Hadoop集成

你可能感兴趣的:(HBase,HBase,shell,hbase物理架构,hbase逻辑架构,hbase)

  • 写作练习十二——故事架构 楚丹丹
    第一步：声音，想像两个人的对话，写满两页。甲：我今天觉得不舒服。乙：是吗，你怎么了？甲：我头疼。乙：你头疼啊？昨天晚上给没睡好，还是吹风了。甲：我也不知道，大概是没睡好吧。乙：哦，睡的太晚了吧，我有时候睡的晚了也会头疼。甲：哦，可能吧。乙：你要喝点热水吗？甲：好的，谢谢。乙：喝茶叶还是白水，我家有茶叶，不过我觉得白水对你好一点。甲：白水就行。乙：好的。给你，小心点烫。甲：谢谢。乙：你需要休息一下吗
  • 一夜爆红的AI革命：Manus如何定义“智能体”新纪元？ 莫非技术栈 人工智能
    一夜爆红的AI革命：Manus如何定义“智能体”新纪元？——技术突破、资本狂欢与未来挑战全解析一、技术革新：从“对话助手”到“行动代理”的质变Manus的爆火并非偶然，其核心技术架构突破了传统AI工具的边界，重新定义了人机协作模式：多智能体协同框架Manus采用动态调度系统，据其技术白皮书显示，系统可调用多领域专业模型（官方未公布具体模型名称），通过实时评估模型响应速度、准确率、成本等指标，自动分
  • 【LeetCode 3136. 有效单词】解析
    目录LeetCode中国站原文原始题目题目描述示例1：示例2：示例3：提示：讲解化繁为简：如何优雅地“盘”逻辑判断题第一部分：算法思想——“清单核对”与“一票否决”第二部分：代码实现——清晰的逻辑翻译实现一：常规判断逻辑实现二：使用正则表达式（一行代码的“炫技”）第三部分：总结LeetCode中国站原文https://leetcode.cn/problems/valid-word/原始题目题目描述
  • 【实操】信息安全工程师系列-第22关 网站安全需求分析与安全保护工程 披荆斩棘的GG 安全
    【实操】信息安全工程师系列-第22关网站安全需求分析与安全保护工程********永远不要信任用户输入。—安全编程格言一、网站安全基础概念与威胁分（一）核心定义**网站安全目标：**保障机密性（数据不泄露）、完整性（数据不被篡改）、可用性（服务不中断）和可控性（管理可控制）。**技术架构：**基于B/S架构，涉及网络通信、操作系统、数据库、Web服务器（如Apache、IIS）、Web应用及相关协
  • iOS 苹果开发最全 架构总结 实践
    源码仓库地址：https://github.com/lagoueduCol/iOS-linyongjianiOS工程化实践：告别手工时代，构建高效开发体系背景与挑战：自动化与工程化的必然趋势传统的iOS开发模式常受限于封闭系统和工具链的缺失，导致大量重复性工作依赖手工操作。这种模式效率低下、错误率高、维护成本高昂，已无法满足现代企业对开发速度、质量和稳定性的更高要求。自动化与工程化已成为必然选择。
  • MTK平台--如何查询手机连接的TX速率和带宽 专业开发者 WIFI智能手机
    一前言经常我们分析手机连接的状态的时候，需要实时读取手机WiFi的Txrate和带宽，其实可以使用以下ADB指令来读取当前手机WiFi的TX速率和带宽信息二操作命令和对查询WiFi的TX速率和带宽信息解析adbshelliwprivwlan0driverstat执行上述指令后，系统会返回一系列WiFi状态信息，其中包括TX速率和带宽。以下是一个示例输出：wlan0driver:WlanIdx=2-
  • Docker架构深度解析：从核心概念到企业级实践
    Docker架构深度解析：从核心概念到企业级实践一、Docker架构全景图1.1整体架构示意图二、核心组件深度解析2.1DockerDaemon工作机制三、镜像与容器原理3.1镜像分层结构3.2容器生命周期四、网络架构详解4.1网络模式对比4.2Bridge网络实现原理五、存储架构与实践5.1存储驱动对比5.2数据卷使用模式六、企业级实践方案6.1高可用架构设计七、安全最佳实践7.1安全防护体系八
  • CAS中的ABA问题
    一、什么是CAS?CAS（compareandset）操作是多线程环境处理并发的原子操作，更新一个值前先比较，如果与预期值一样则更新，否则失败。CAS底层是通过汇编层面的原语调用cpu指令实现的，同时结合了内存屏障，具体依赖CPU的指令，如cmpxchg指令（X86架构）二、什么是ABA问题？现有线程t1和线程t2，共享变量str="A"①首先读取str，那么t1中缓存值为A，t2中缓存值也为A，
  • 初识linux（一）：全面了解linux目录结构&基础操作指令详解 whelloworldw linux系统编程linux运维服务器
    今天小风将带着大家进行有关liunx部分章节的学习，由于是第一节初识linux部分的内容，所以内容理解起来并不会太过困难。在本篇博客中，小风将向大家具体讲解一下内容：初识Linux操作系统初识Xshell登录命令,简单了解一下操作系统基本概念使用常用Linux命令，了解linux系统目录结构和访问方式一、初识linux操作系统1.linux发展史1991年10月5日，赫尔辛基大学的一名研究生Lin
  • USB （四）基于 STM32 USB的开发
    文章目录官网demo基于官网demo考虑的事情usb代码的架构及接口USB数据流程USB中断枚举复位挂起唤醒usbdevice收数据以MSC为例usbdevice发数据以MSC为例应用处理流程其他描述符官网demo软件代码在官网是存在的:STSW-STM32046开发板对应的是:en.stm32_f105-07_f2_f4_usb-host-device_lib\Project\USB_Devic
  • 【原则——综合分析现实、理解如何行动的最好工具是逻辑、理性和常识】读后感 野生俊
    卡尔.荣格说：除非你意识到你的潜意识，否则潜意识将主导你的人生，而你将其称为命运。成功的组织都有组织文化，确保基于证据的决策是常规而非例外。1.常识：意思是普通人都知道的知识，就是指心智健全的成年人都知道的知识，也可以理解为一个人生存必须懂得的基本知识。2.逻辑：就是指一个人思维的规律。在生活或工作中，一个人到了中年都没有成功过的经历，如果没有大的改变，大概率也很难有成功的机会。一个人的成败与否，
  • 前端：优秀架构的坟墓
    你是否曾经见过那个设计精良的后端系统——界限分明、模式优雅、抽象层层递进——让人不禁感叹，这一定是极致享受的工作环境？然后，你打开了前端代码。顿时，你陷入了全局状态的迷宫，深度嵌套的组件，半途而废的Hooks，以及用十七种挫败方言“喊叫”的CSS之中。优秀的架构一路走过后端，经过DevOps的打磨，成功在云端扩展……却在React的某个上下文里因为一个下拉菜单绊倒，彻底崩溃。我干这一行够久了，见过
  • 淡定 李庆建
    自拍，请注意看后面的画“爸爸，爸爸，宝宝烧到39.5度了！”睁开困意十足的眼睛，脑袋空白了1，2秒，看着爱人焦急的样子，赶紧在脑袋里搜索用什么词回复她。“物理降温了吗？这么晚送到医院也没有好的医生，我们再观察下。”摸摸宝宝的额头、脖子，确实很烫。宝宝因而也很烦躁，一直哭，脸蛋也变得通红。边安抚，边观察宝宝的体温变化，宝宝终于慢慢安静下来了，再次上床前看看墙上的钟，时间指向两点半。第二天醒来，爱人说
  • LINDDUN威胁建模 原理和架构及案例 hao_wujing 人工智能
    大家读完觉得有帮助记得关注和点赞！！！LINDDUN威胁建模框架是专注于隐私风险分析的系统化方法论，其名称源自七类隐私威胁的首字母缩写（Linking,Identifying,Non-repudiation,Detectability,Disclosure,Unawareness,Non-compliance）。以下从原理、架构及典型案例三方面展开深度解析：一、核心原理：隐私威胁分类与数据流分析1
  • 嵌入式单片机开发实战指南： 从RISC-V到TinyML全栈技术 CodeMicro 单片机单片机risc-v嵌入式硬件
    前言：嵌入式单片机的2025年技术浪潮2025年，嵌入式系统正经历开源架构与边缘智能的双重革命。RISC-V指令集打破ARM垄断，国产芯片如兆易创新GD32VF103、先楫HPM6750实现工业级可靠性；TinyML技术让STM32L4系列在1MB内存下运行神经网络；低功耗设计使物联网节点电池寿命突破10年。本文将从架构选型→开发环境→核心技术→实战项目，全方位拆解嵌入式开发的热门技术，带你从入门
  • 挖矿病毒（基于SMB漏洞传播）分析 艾旎米提颉
    本文旨在对SMB挖矿病毒传播机制做分析。网络中的计算机出现由SMB漏洞传播的挖矿病毒，基于目前黑客技术上流行的非PE攻击模式。攻击性质较为隐蔽，完全依赖Windows本身的系统组件。攻击目的较为单一，即通过消耗系统资源集中算力挖矿牟利。本次着重分析的基于WindowsPowerShell的挖矿模式，是基于网页挖矿的一种分支。较早的时候还是基于JS。从攻击者的角度分析，JS过度依赖浏览器，相比Pow
  • LLM系统性学习完全指南（初学者必看系列） GA琥珀 LLM学习人工智能语言模型
    前言这篇文章将系统性的讲解LLM（LargeLanguageModels,LLM）的知识和应用。我们将从支撑整个领域的数学与机器学习基石出发，逐步剖析自然语言处理（NLP）的经典范式，深入探究引发革命的Transformer架构，并按时间顺序追溯从BERT、GPT-2到GPT-4、Llama及Gemini等里程碑式模型的演进。随后，我们将探讨如何将这些强大的基础模型转化为实用、安全的应用，涵盖对齐
  • 什么是高防 IP？从技术原理到实战部署的深度解析 快快网络-三七 业务安全服务器ip快快网络高防IP快快云弹性云云计算
    目录前言一、高防IP的定义与核心价值二、高防IP的技术原理与架构2.1流量牵引技术2.2流量清洗引擎2.3回源机制三、高防IP的核心防护技术详解3.1DDoS攻击防御技术3.2高防IP的弹性带宽设计四、实战：基于Linux的高防IP环境配置4.1配置高防IP回源白名单4.2配置TCP抗攻击参数4.3高防IP与Nginx的配合配置五、高防IP的选型与部署建议总结前言在网络攻击日益频繁的今天，DDoS
  • 我是谜《梨花落2之旧时忆》剧本杀剧透+真相答案复盘解析攻略 VX搜_奶茶剧本杀
    本文为我是谜《梨花落2之旧时忆》剧本杀测评+部分真相复盘，获取完整真相复盘只需两步：①、关注微信公众号【奶茶剧本杀】→②、回复我是谜《梨花落2之旧时忆》即可获取查看我是谜《梨花落2之旧时忆》剧本杀真相答案复盘+凶手剧透：以下是玩家评测+部分关键证据，凶手，时间线，复盘解析，推理逻辑-----------------------------------------------------------
  • 探索OpenCV 3.2源码：计算机视觉的架构与实现 轩辕姐姐
    本文还有配套的精品资源，点击获取简介：OpenCV是一个全面的计算机视觉库，提供广泛的功能如图像处理、对象检测和深度学习支持。OpenCV3.2版本包含了改进的深度学习和GPU加速特性，以及丰富的示例程序。本压缩包文件提供了完整的OpenCV3.2源代码，对于深入学习计算机视觉算法和库实现机制十分宝贵。源码的模块化设计、C++接口、算法实现、多平台支持和性能优化等方面的深入理解，都将有助于开发者的
  • 《金字塔原理》读书笔记 猫呢wyh
    主要内容：此书教授我们使用金字塔原理，搭建表达的逻辑，想清楚，说明白，知道说什么，怎么说。本书呈现四大逻辑——表达的逻辑、思考的逻辑、解决问题的逻辑、演示的逻辑。什么是金字塔原理：金字塔原理是一种重点突出、逻辑清晰、层次分明、简单易懂的思考、沟通方式。金字塔原理的基本结构：结论先行，以上统下，归类分组，逻辑递进。（全书精华）先重要后次要，先总结后具体，先框架后细节，先结论后原因，先结构后过程，先论
  • 20250718-2-Kubernetes 应用程序生命周期管理-Pod对象：基本概念(豌豆荚)_笔记 Andy杨 CKA-专栏kubernetes容器笔记
    二、Kubernetes应用程序生命周期管理1.课程内容概述主要内容：Pod资源共享实现机制管理命令应用自修复（重启策略+健康检查）环境变量Initcontainer静态Pod2.Pod对象介绍1）Pod基本概念定义：Pod是Kubernetes创建和管理的最小单元，一个逻辑抽象概念组成：由一个或多个容器组成特点：可理解为一个应用实例容器始终部署在同一个节点上容器间共享网络和存储资源设计灵
  • Java8新特性
    1.Lambda表达式Lambda表达式是JDK8引入的一种函数式编程特性，允许以简洁的语法实现函数式接口（只有一个抽象方法的接口）。(parameters)->expression或(parameters)->{statements;}参数列表：可省略参数类型（编译器自动推断），空参数时保留括号。箭头符号->：分隔参数和实现逻辑。表达式或代码块：单行表达式可省略大括号和return；多行语句需用
  • GPU网络运维 一行代码通万物 网络运维GPU
    一、GPU网络架构与核心技术GPU集群网络需适配分布式训练中“多节点数据同步”（如all-reduce、broadcast）的高频、大流量需求，主流技术方案及特点如下：网络技术核心优势适用场景运维重点InfiniBand低延迟（~1us）、高带宽（400Gb/s）、原生RDMA支持超大规模集群（≥1000节点）、千亿参数模型训练子网管理、固件兼容性、链路健康RoCE（RDMAoverConverg
  • RN 新架构到底牛在哪？一张图看懂「砍线程、省 Bridge、帧率拉满」 wayne214 架构reactnative
    新旧架构的核心区别“新架构把原来基于Bridge的异步JSON通信，变成了基于JSI的同步直接调用，并拆掉了启动时全量初始化、按需加载模块”。下面从6个维度把差异展开说明。维度旧架构（≤0.67）新架构（Fabric+TurboModules）通信模型Bridge：JS→JSON→原生，异步、串行、易阻塞JSI：JS直接持有C++HostObject引用，可同步调用渲染管线JS线程→Shadow线
  • 云原生环境中Consul的动态服务发现实践 AI云原生与云计算技术学院 AI云原生与云计算云原生consul服务发现ai
    云原生环境中Consul的动态服务发现实践关键词：云原生,服务发现,Consul,微服务,动态注册,健康检查,Raft算法摘要：本文深入探讨云原生环境下Consul在动态服务发现中的核心原理与实践方法。通过剖析Consul的架构设计、核心算法和关键机制，结合具体代码案例演示服务注册、发现和健康检查的全流程。详细阐述在Kubernetes、Docker等云原生技术栈中的集成方案，分析实际应用场景中的
  • Java-Script学习笔记-1 许我写余生ღ JavaScript学习javascript前端
    文章目录前言JavaScript基本介绍一、js的嵌入方法内嵌式外链式行内式二、js简单语法语句注释变量JavaScript保留关键字三、JavaScript作用域Javascrpt局部变量JavaScript全局变量四、运算符算术运算符比较运算符赋值运算符逻辑运算符五、JavaScript数据类型JavaScript如何判断数据类型数字类型（Number）字符串型（string）布尔类型（boo
  • 清朗网络空间 gene嗯嗯
    近来娱乐圈个别“流量明星”触碰国人底线的行为相继被媒体披露，随后粉丝圈中一些被带偏的未成年人的言行令人警醒，折射出“饭圈文化”中存在价值观混乱的问题。网络空间不是法外之地，通过网络参与追星同样要在宪法和法律范围内进行，抵制“饭圈”乱象是清朗网络空间的应有之意。“饭圈文化”形成，其背后有着现实又复杂的原因。一方面部分艺人或经纪公司在信奉“流量为王”的商业逻辑下，盲目追求“流量效益”，获取流量的过程中
  • Synergizing RAG and Reasoning: A Systematic Review-RAG与推理能力深度结合-新方向 数据分析能量站 机器学习人工智能
    欢迎关v：数据分析能量站0论文小结一、研究背景与核心问题大语言模型（LLM）在处理复杂任务时面临两大瓶颈：知识局限性：纯LLM存在“知识幻觉”（编造事实）和“领域知识缺口”；推理浅度：传统检索增强生成（RAG）仅通过关键词匹配获取信息，无法处理多跳推理、语义歧义等复杂需求。核心主张：RAG与推理的深度整合（RAG+Reasoning）是突破上述瓶颈的关键，通过“检索提供实时知识，推理赋予逻辑能力”
  • CentOS下配置java环境变量classpath 天海华兮 javaSEjavacentos环境变量clsspath
    CentOS下配置java环境变量classpathhttp://t.zoukankan.com/bincoding-p-6159847.htmlPATH和CLASSPATHPATH环境变量。作用是指定命令搜索路径，在shell下面执行命令时，它会到PATH变量所指定的路径中查找看是否能找到相应的命令程序。我们需要把jdk安装目录下的bin目录增加到现有的PATH变量中，CLASSPATH环境变量
  • java封装继承多态等 麦田的设计者 javaeclipsejvmcencapsulatopn
           最近一段时间看了很多的视频却忘记总结了，现在只能想到什么写什么了，希望能起到一个回忆巩固的作用。     1、final关键字       译为：最终的        &
  • F5与集群的区别 bijian1013 weblogic集群F5
            http请求配置不是通过集群，而是F5；集群是weblogic容器的，如果是ejb接口是通过集群。         F5同集群的差别，主要还是会话复制的问题，F5一把是分发http请求用的，因为http都是无状态的服务，无需关注会话问题，类似
  • LeetCode[Math] - #7 Reverse Integer Cwind java题解MathLeetCodeAlgorithm
    原题链接：#7 Reverse Integer   要求： 按位反转输入的数字 例1： 输入 x = 123, 返回 321 例2： 输入 x = -123, 返回 -321   难度：简单   分析： 对于一般情况，首先保存输入数字的符号，然后每次取输入的末位（x%10）作为输出的高位（result = result*10 + x%10）即可。但
  • BufferedOutputStream 周凡杨
         首先说一下这个大批量，是指有上千万的数据量。      例子：      有一张短信历史表，其数据有上千万条数据，要进行数据备份到文本文件，就是执行如下SQL然后将结果集写入到文件中！      select t.msisd
  • linux下模拟按键输入和鼠标 被触发 linux
    查看/dev/input/eventX是什么类型的事件， cat /proc/bus/input/devices 设备有着自己特殊的按键键码，我需要将一些标准的按键，比如0－9，X－Z等模拟成标准按键，比如KEY_0,KEY-Z等，所以需要用到按键 模拟，具体方法就是操作/dev/input/event1文件，向它写入个input_event结构体就可以模拟按键的输入了。 linux/in
  • ContentProvider初体验 肆无忌惮_ ContentProvider
    ContentProvider在安卓开发中非常重要。与Activity，Service，BroadcastReceiver并称安卓组件四大天王。 在android中的作用是用来对外共享数据。因为安卓程序的数据库文件存放在data/data/packagename里面，这里面的文件默认都是私有的，别的程序无法访问。 如果QQ游戏想访问手机QQ的帐号信息一键登录，那么就需要使用内容提供者COnte
  • 关于Spring MVC项目（maven）中通过fileupload上传文件 843977358 mybatisspring mvc修改头像上传文件upload
    Spring MVC 中通过fileupload上传文件，其中项目使用maven管理。   1.上传文件首先需要的是导入相关支持jar包：commons-fileupload.jar,commons-io.jar 因为我是用的maven管理项目，所以要在pom文件中配置（每个人的jar包位置根据实际情况定） <!-- 文件上传 start by zhangyd-c --&g
  • 使用svnkit api，纯java操作svn，实现svn提交，更新等操作 aigo svnkit
     原文：http://blog.csdn.net/hardwin/article/details/7963318   import java.io.File; import org.apache.log4j.Logger; import org.tmatesoft.svn.core.SVNCommitInfo; import org.tmateso
  • 对比浏览器，casperjs，httpclient的Header信息 alleni123 爬虫crawlerheader
    @Override protected void doGet(HttpServletRequest req, HttpServletResponse res) throws ServletException, IOException { String type=req.getParameter("type"); Enumeration es=re
  • java.io操作 DataInputStream和DataOutputStream基本数据流 百合不是茶 java流
    1，java中如果不保存整个对象，只保存类中的属性，那么我们可以使用本篇文章中的方法，如果要保存整个对象  先将类实例化  后面的文章将详细写到     2，DataInputStream 是java.io包中一个数据输入流允许应用程序以与机器无关方式从底层输入流中读取基本 Java 数据类型。应用程序可以使用数据输出流写入稍后由数据输入流读取的数据。
  • 车辆保险理赔案例 bijian1013 车险
    理赔案例： 一货运车，运输公司为车辆购买了机动车商业险和交强险，也买了安全生产责任险，运输一车烟花爆竹，在行驶途中发生爆炸，出现车毁、货损、司机亡、炸死一路人、炸毁一间民宅等惨剧，针对这几种情况，该如何赔付。 赔付建议和方案： 客户所买交强险在这里不起作用，因为交强险的赔付前提是：“机动车发生道路交通意外事故”； 如果是交通意外事故引发的爆炸，则优先适用交强险条款进行赔付，不足的部分由商业
  • 学习Spring必学的Java基础知识(5)—注解 bijian1013 javaspring
            文章来源：http://www.iteye.com/topic/1123823，整理在我的博客有两个目的：一个是原文确实很不错，通俗易懂，督促自已将博主的这一系列关于Spring文章都学完；另一个原因是为免原文被博主删除，在此记录，方便以后查找阅读。           有必要对
  • 【Struts2一】Struts2 Hello World bit1129 Hello world
    Struts2 Hello World应用的基本步骤 创建Struts2的Hello World应用，包括如下几步： 1.配置web.xml 2.创建Action 3.创建struts.xml，配置Action 4.启动web server，通过浏览器访问   配置web.xml <?xml version="1.0" encoding="
  • 【Avro二】Avro RPC框架 bit1129 rpc
    1. Avro RPC简介 1.1. RPC RPC逻辑上分为二层，一是传输层，负责网络通信；二是协议层，将数据按照一定协议格式打包和解包 从序列化方式来看，Apache Thrift 和Google的Protocol Buffers和Avro应该是属于同一个级别的框架，都能跨语言，性能优秀，数据精简，但是Avro的动态模式（不用生成代码，而且性能很好）这个特点让人非常喜欢，比较适合R
  • lua　set get cookie ronin47 lua cookie
    lua: local access_token = ngx.var.cookie_SGAccessToken if access_token then ngx.header["Set-Cookie"] = "SGAccessToken="..access_token.."; path=/;Max-Age=3000" end
  • java-打印不大于N的质数 bylijinnan java
    public class PrimeNumber { /** * 寻找不大于N的质数 */ public static void main(String[] args) { int n=100; PrimeNumber pn=new PrimeNumber(); pn.printPrimeNumber(n); System.out.print
  • Spring源码学习-PropertyPlaceholderHelper bylijinnan javaspring
    今天在看Spring 3.0.0.RELEASE的源码，发现PropertyPlaceholderHelper的一个bug 当时觉得奇怪，上网一搜，果然是个bug，不过早就有人发现了，且已经修复： 详见： http://forum.spring.io/forum/spring-projects/container/88107-propertyplaceholderhelper-bug
  • [逻辑与拓扑]布尔逻辑与拓扑结构的结合会产生什么? comsci 拓扑
       如果我们已经在一个工作流的节点中嵌入了可以进行逻辑推理的代码,那么成百上千个这样的节点如果组成一个拓扑网络,而这个网络是可以自动遍历的,非线性的拓扑计算模型和节点内部的布尔逻辑处理的结合,会产生什么样的结果呢?    是否可以形成一种新的模糊语言识别和处理模型呢?  大家有兴趣可以试试,用软件搞这些有个好处,就是花钱比较少,就算不成
  • ITEYE 都换百度推广了 cuisuqiang GoogleAdSense百度推广广告外快
    以前ITEYE的广告都是谷歌的Google AdSense，现在都换成百度推广了。   为什么个人博客设置里面还是Google AdSense呢？   都知道Google AdSense不好申请，这在ITEYE上也不是讨论了一两天了，强烈建议ITEYE换掉Google AdSense。至少，用一个好申请的吧。   什么时候能从ITEYE上来点外快，哪怕少点
  • 新浪微博技术架构分析 dalan_123 新浪微博架构
    新浪微博在短短一年时间内从零发展到五千万用户，我们的基层架构也发展了几个版本。第一版就是是非常快的，我们可以非常快的实现我们的模块。我们看一下技术特点，微博这个产品从架构上来分析，它需要解决的是发表和订阅的问题。我们第一版采用的是推的消息模式，假如说我们一个明星用户他有10万个粉丝，那就是说用户发表一条微博的时候，我们把这个微博消息攒成10万份，这样就是很简单了，第一版的架构实际上就是这两行字。第
  • 玩转ARP攻击 dcj3sjt126com r
    我写这片文章只是想让你明白深刻理解某一协议的好处。高手免看。如果有人利用这片文章所做的一切事情，盖不负责。 网上关于ARP的资料已经很多了，就不用我都说了。 用某一位高手的话来说，“我们能做的事情很多，唯一受限制的是我们的创造力和想象力”。 ARP也是如此。 以下讨论的机子有 一个要攻击的机子：10.5.4.178 硬件地址：52:54:4C:98
  • PHP编码规范 dcj3sjt126com 编码规范
    一、文件格式 1. 对于只含有 php 代码的文件，我们将在文件结尾处忽略掉 "?>" 。这是为了防止多余的空格或者其它字符影响到代码。例如：<?php$foo = 'foo';2. 缩进应该能够反映出代码的逻辑结果，尽量使用四个空格，禁止使用制表符TAB，因为这样能够保证有跨客户端编程器软件的灵活性。例
  • linux 脱机管理（nohup） eksliang linux nohupnohup
    脱机管理 nohup 转载请出自出处：http://eksliang.iteye.com/blog/2166699 nohup可以让你在脱机或者注销系统后，还能够让工作继续进行。他的语法如下 nohup [命令与参数] --在终端机前台工作 nohup [命令与参数] & --在终端机后台工作   但是这个命令需要注意的是，nohup并不支持bash的内置命令，所
  • BusinessObjects Enterprise Java SDK greemranqq javaBOSAPCrystal Reports
    最近项目用到oracle_ADF  从SAP/BO 上调用 水晶报表，资料比较少，我做一个简单的分享，给和我一样的新手 提供更多的便利。   首先，我是尝试用JAVA JSP 去访问的。   官方API：http://devlibrary.businessobjects.com/BusinessObjectsxi/en/en/BOE_SDK/boesdk_ja
  • 系统负载剧变下的管控策略 iamzhongyong 高并发
    假如目前的系统有100台机器，能够支撑每天1亿的点击量（这个就简单比喻一下），然后系统流量剧变了要，我如何应对，系统有那些策略可以处理，这里总结了一下之前的一些做法。 1、水平扩展 这个最容易理解，加机器，这样的话对于系统刚刚开始的伸缩性设计要求比较高，能够非常灵活的添加机器，来应对流量的变化。 2、系统分组 假如系统服务的业务不同，有优先级高的，有优先级低的，那就让不同的业务调用提前分组
  • BitTorrent DHT 协议中文翻译 justjavac bit
    前言 做了一个磁力链接和BT种子的搜索引擎 {Magnet & Torrent}，因此把 DHT 协议重新看了一遍。 BEP: 5Title: DHT ProtocolVersion: 3dec52cb3ae103ce22358e3894b31cad47a6f22bLast-Modified: Tue Apr 2 16:51:45 2013 -070
  • Ubuntu下Java环境的搭建 macroli java工作ubuntu
    配置命令： 　　$sudo apt-get install ubuntu-restricted-extras 　　再运行如下命令： 　　$sudo apt-get install sun-java6-jdk 　　待安装完毕后选择默认Java. 　　$sudo update- alternatives --config java 　　安装过程提示选择，输入“2”即可，然后按回车键确定。
  • js字符串转日期（兼容IE所有版本） qiaolevip TODateStringIE
    /** * 字符串转时间（yyyy-MM-dd HH:mm:ss） * result （分钟） */ stringToDate : function(fDate){ var fullDate = fDate.split(" ")[0].split("-"); var fullTime = fDate.split("
  • 【数据挖掘学习】关联规则算法Apriori的学习与SQL简单实现购物篮分析 superlxw1234 sql数据挖掘关联规则
    关联规则挖掘用于寻找给定数据集中项之间的有趣的关联或相关关系。 关联规则揭示了数据项间的未知的依赖关系，根据所挖掘的关联关系，可以从一个数据对象的信息来推断另一个数据对象的信息。 例如购物篮分析。牛奶 ⇒ 面包 [支持度：3%，置信度：40%] 支持度3%：意味3%顾客同时购买牛奶和面包。 置信度40%：意味购买牛奶的顾客40%也购买面包。 规则的支持度和置信度是两个规则兴
  • Spring 5.0 的系统需求，期待你的反馈 wiselyman spring
                   Spring 5.0将在2016年发布。Spring5.0将支持JDK 9。          Spring 5.0的特性计划还在工作中，请保持关注，所以作者希望从使用者得到关于Spring 5.0系统需求方面的反馈。  
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他