卡卡xx
卡卡xx

HBase学习笔记

在对HBase进行操作之前，首先学习一下HBase的基础架构和运行原理。这里讲解了

  • HBase 在大数据生态圈中的位置
  • HBase 与传统关系数据库的区别
  • HBase 相关的模块以及 HBase 表格的特性
  • row-key,hfile,cloumn-family,Master,Region Server相关概念
  • zookeeper在其中的作用
  • HBase存数据的原理
  • row-key设计方案

1、Row Key
与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行，只有三种方式：

  • 通过单个row key访问
  • 通过row key的range
  • 全表扫描

Row key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，row key保存为字节数组。
存储时，数据按照Row key的字典序(byte order)排序存储。设计key时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)

字典序对int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行键必须用0作左填充。
行的一次读写是原子操作 (不论一次读写多少列)。这个设计决策能够使用户很容易的理解程序在对同一个行进行并发更新操作时的行为。

2、列族 column family
hbase表中的每个列，都归属与某个列族。列族是表的chema的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如courses:history，courses:math都属于courses这个列族。
访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中，列族上的控制权限能帮助我们管理不同类型的应用：我们允许一些应用可以添加新的基本数据、一些应用可以读取基本数据并创建继承的列族、一些应用则只允许浏览数据（甚至可能因为隐私的原因不能浏览所有数据）。

3、单元 Cell
HBase中通过row和columns确定的为一个存贮单元称为cell。由{row key, column( = +

4、时间戳 timestamp
每个cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。

为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase提供了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。


HBase学习笔记_第1张图片
hbase命令

安装HBase

HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。所以安装HBase之前还需要安装zookeeper和hdfs。

如果是Apache hadoop就下载相应文件并修改配置文件安装。我用的是cloudera hadoo就直接在集群管理界面添加服务。
HBase学习笔记_第2张图片

HBase shell命令使用

HBase shell是HBase的一套命令行工具，类似传统数据中的sql概念，可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后，如果配置了HBase的环境变量，只要在shell中执行hbase shell就可以进入命令行界面。需要注意的是HBase的交互界面删除键改为了Ctrl + Backspace组合

HBase学习笔记_第3张图片
用status命令看一下集群是否正常

查看HBase版本

  • 创建数据库（命名空间）
    在HBase中，namespace命名空间指对一组表的逻辑分组，类似RDBMS中的database，方便对表在业务上划分。HBase系统默认定义了两个缺省的namespace
    1.hbase：系统内建表，包括namespace和meta表
    2.default：用户建表时未指定namespace的表都创建在此
    使用名list_namespace列出所有的namespace

    HBase学习笔记_第4张图片

    使用命令create_namespace 'my_test'创建数据库（命名空间）
    HBase学习笔记_第5张图片

  • 删除数据库
    使用命令drop_namespace 'my_test'创建数据库（命名空间）

    HBase学习笔记_第6张图片

  • 创建学生信息表
    rowkey要求是学号，一个列簇，包含姓名、性别、年龄、地址。
    语法：create ‘

    ’,’’通过list命令查看所有表。

    HBase学习笔记_第7张图片

  • 删除表
    首先使用命令disable '表名'禁用表，禁用表之后，仍然可以通过 list 和exists命令查看到。
    然后使用命令drop '表名'删除表

    HBase学习笔记_第8张图片

  • 插入记录
    命令put 'student','2016211883','info:name','stu1'表示插入表名为student，rowkey为2016211880（没有则创建）的行，列簇info下面的列name的值为stu1.
    按照此格式依次添加10个学生，rowkey依次为2016211880-2016211889，并同时添加姓名、性别、年龄、地址。

    HBase学习笔记_第9张图片

  • 删除记录
    删除某个属性的记录delete ‘

    • ’, ‘’, ‘’, ‘
    删除行deleteall 'table_name','row'

  • 修改记录
    命令put ‘table name’,’row ’,'Column family:column name',’new value’
    将rowkey为2016211880的info簇的name属性修改为stu1

    HBase学习笔记_第10张图片

  • 查询记录
    使用命令get 'student','2016211883'查看是否成功插入记录。
    其中第一个字段填写查询记录的表，第二字段填写记录的rowkey

    HBase学习笔记_第11张图片

    也可以使用命令get 'student','2016211883','info'获取指定rowkey和列簇的信息

  • 扫描
    scan 命令用于查看HTable数据。使用 scan 命令可以得到表中的数据。它的语法如下：
    scan ‘

    • ’

    HBase学习笔记_第12张图片

  • 统计表的行数
    count 'table_name'

  • 清空表
    truncate 'table_name'

    • Python对HBase的操作

    启动thrift

    thrift是用于可伸缩的跨语言服务开发框架。
    首先需要安装thrift，而安装thrift之前还需要安装thrift的很多依赖，详见这里。
    但是很多情况下已经帮你安装好了thrift（可能是安装操作系统或者安装hadoop的时候），所以你只需要去开启就是了，不能开启再去安装。

    HBase学习笔记_第13张图片

    第一次开启报了个这个错，原因是JAVA_HOME没有配置或者低于1.7，所以去/etc/profile或者hbase的conf下hbase-env.sh加上JAVA_HOME就可以了。


    就成功启动了thrift。

    编写python程序

    这里需要用pip导入需要的包

    pip install thrift
pip install hbase-thrift

    编写好后运行说语法错误，但是自己的语法并没有错，跟着错误点进了hbase包的源码，发现是python2版本的语法，在网上搜了一下，说是把hbase里的Hbase.py和ttypes.py换成python3的即可，于是去python存放第三方包的地方换了，随后就可以了。

    from thrift.transport import TSocket,TTransport
from thrift.protocol import TBinaryProtocol
from hbase import Hbase

# thrift默认端口是9090
socket = TSocket.TSocket('192.168.233.100',9090)
socket.setTimeout(5000)

transport = TTransport.TBufferedTransport(socket)
protocol = TBinaryProtocol.TBinaryProtocol(transport)

client = Hbase.Client(protocol)
socket.open()

print(client.getTableNames())
print(client.get('student','2016211880','info:name'))

    HBase学习笔记_第14张图片

    其他的操作和HBase shell差不多，只要拿到了 client = Hbase.Client(protocol)中的client，其它的操作只是换成了函数调用形式而已。

    • 获取所有表
      getTableNames()可以获取所有表

    • 创建表
      createTable(tbaleName,columnFamilies)：创建表，无返回值
      tableName：表名
      columnFamilies：列族信息，为一个ColumnDescriptor列表

    column = ColumnDescriptor(name='row1')
client.createTable('tb1',[column])

    这里需要注意，不能直接像HBase shell一样传入字符串作为列簇，而是要先用函数ColumnDescriptor（需要导入from hbase.ttypes import ColumnDescriptor）生成列簇对象，然后作为参数传入进去。

    • 删除表
      disableTable(tbaleName)首先禁用表
      deleteTable(tbaleName)删除指定表
    print('before',client.getTableNames())
client.disableTable('tb1')
client.deleteTable('tb1')
print('after',client.getTableNames())
    • 插入记录
      mutateRow(tableName,row,mutations)：在表中指定行执行一系列的变化操作。如果抛出异常，则事务被中止。使用默认的当前时间戳，所有条目将具有相同的时间戳。无返回值
      tableName：表名
      row：行
      mutations：变化,list
    print('before',client.get('student','2016000','info:name'))
mutation = Mutation(column='info:name',value='inset_name') 这里需要注意，以前的参数是name和value，现在改为了column和value
client.mutateRow('student','2016000',[mutation])
print('after',client.get('student','2016000','info:name'))

    先把需要插入的列簇信息封装为Mutation对象（需要导入from hbase.ttypes import Mutation），再插入表student，2016000行。

    • 修改记录
      修改记录和刚刚上面的插入记录一样，只是把需要修改的信息封装在Mutation即可。
    print('before',client.get('student','2016000','info:name'))
mutation = Mutation(column='info:name',value='update_name')
client.mutateRow('student','2016000',[mutation])
print('after',client.get('student','2016000','info:name'))
    • 查询记录
      getRow(tableName,row)：获取表中指定行在最新时间戳上的数据。返回一个hbase.ttypes.TRowResult对象列表，如果行号不存在返回一个空列表
      tableName：表名
      row：行
      print(client.getRow('student','2016211880'))
      [TRowResult(row='2016211880', columns={'info:add': TCell(value='xxx', timestamp=1534856603503), 'info:age': TCell(value='20', timestamp=1534856521857), 'info:gender': TCell(value='m', timestamp=1534856178334), 'info:name': TCell(value='stu0', timestamp=1534860070457)})]
      这样可以获取一个列的所有信息，也可以获取指定信息。
      print(client.get('student','2016211880','info:name'))
      [TCell(value='stu0', timestamp=1534860070457)]
      还可以获取所有信息后一个一个取出来
    # 行
row = '2016211880'
# 查询结果
result = client.getRow('student',row)      # result为一个列表
for item in result:                     # item为hbase.ttypes.TRowResult对象
    print(item.row)
    print(item.columns.get('info:name').value )       # 获取值。item.columns.get('cf:a')为一个hbase.ttypes.TCell对象
    print(item.columns.get('info:name').timestamp )   # 获取时间戳。item.columns.get('cf:a')为一个hbase.ttypes.TCell对象
    HBase学习笔记_第15张图片
    • 扫描
      scannerOpen(tableName,startRow,columns)：在指定表中，从指定行开始扫描，到表中最后一行结束，扫描指定列的数据。返回一个ScannerID，int类型
      tableName：表名
      startRow：起始行
      columns：列名列表,list类型
      scannerId = client.scannerOpen('student','2016211880',["info:name","info:age"])
      获取ScannerID后，根据ScannerID来获取结果，scannerGet(id)：返回一个hbase.ttypes.TRowResult对象列表
    scannerId = client.scannerOpen('student','2016211880',["info:name","info:age"])
while True:
    result = client.scannerGet(scannerId)
    if not result:
        break
    print(result)

    结果

    [TRowResult(row='2016211880', columns={'info:age': TCell(value='20', timestamp=1534856521857), 'info:name': TCell(value='stu0', timestamp=1534860070457)})]
[TRowResult(row='2016211881', columns={'info:age': TCell(value='18', timestamp=1534856521887), 'info:name': TCell(value='stu1', timestamp=1534855473518)})]
[TRowResult(row='2016211882', columns={'info:age': TCell(value='18', timestamp=1534856521912), 'info:name': TCell(value='stu2', timestamp=1534855311597)})]
[TRowResult(row='2016211883', columns={'info:age': TCell(value='18', timestamp=1534856521940), 'info:name': TCell(value='stu3', timestamp=1534855469567)})]
[TRowResult(row='2016211884', columns={'info:age': TCell(value='18', timestamp=1534856521969), 'info:name': TCell(value='stu4', timestamp=1534855469670)})]
[TRowResult(row='2016211885', columns={'info:age': TCell(value='18', timestamp=1534856521993), 'info:name': TCell(value='stu5', timestamp=1534855469700)})]
[TRowResult(row='2016211886', columns={'info:age': TCell(value='19', timestamp=1534856522018), 'info:name': TCell(value='stu6', timestamp=1534855469732)})]
[TRowResult(row='2016211887', columns={'info:age': TCell(value='21', timestamp=1534856522042), 'info:name': TCell(value='stu7', timestamp=1534855469761)})]
[TRowResult(row='2016211888', columns={'info:age': TCell(value='22', timestamp=1534856522191), 'info:name': TCell(value='stu8', timestamp=1534855469791)})]
[TRowResult(row='2016211889', columns={'info:age': TCell(value='21', timestamp=1534856523296), 'info:name': TCell(value='stu9', timestamp=1534855469828)})]

    其它的操作都和shell差不多，只是换成了函数形式，使用时可以查阅API文档。

    HBase预分区

    HBase中，表会被划分为1…n个Region，被托管在RegionServer中。Region二个重要的属性:StartKey与 EndKey表示这个Region维护的rowKey范围，当我们要读/写数据时，如果rowKey落在某个start-end key范围内，那么就会定位到目标region并且读/写到相关的数据。
    HBase默认建表时有一个region，这个region的rowkey是没有边界的，即没有startkey和endkey，在数据写入时，所有数据都会写入这个默认的region，随着数据量的不断 增加，此region已经不能承受不断增长的数据量，会进行split，分成2个region。在此过程中，会产生两个问题：1.数据往一个region上写,会有写热点问题。2.region split会消耗宝贵的集群I/O资源。基于此我们可以控制在建表的时候，创建多个空region，并确定每个region的起始和终止rowky，这样只要我们的rowkey设计能均匀的命中各个region，就不会存在写热点问题。自然split的几率也会大大降低。当然随着数据量的不断增长，该split的还是要进行split。像这样预先创建hbase表分区的方式，称之为预分区。

    预分区步骤

    1. 规划hbase预分区
      首先就是要想明白数据的key是如何分布的，然后规划一下要分成多少region，每个region的startkey和endkey是多少，然后将规划的key写到一个文件中。比如，key的前几位字符串都是从2016211880~2016211889的数字，这样可以分成4个region，划分key的文件如下：
    #只是在分区比较多的时候需要这么做。分区少的情况下可以直接在生成表的时候直接用SPLITS分区
2016211882|
2016211884|
2016211886|
2016211888|

    因为在ASCII码中，"|"的值是124，大于所有的数字和字母等符号，当然也可以用“~”（ASCII-126）。分隔文件的第一行为第一个region的stopkey，每行依次类推，最后一行不仅是倒数第二个region的stopkey，同时也是最后一个region的startkey。也就是说分区文件中填的都是key取值范围的分隔点。

    1. HBase中建分区表，指定分区文件
      和以前创建普通表一样，只是创建的时候多了一个参数，指明了分区的信息。
      create 'sort_table','info',SPLITS=>['2016211882','2016211884','2016211886','2016211888']
      这里的分区表示方法也可以换成文件替代。
      create 'split_table_test', 'cf', {SPLITS_FILE => 'region_split_info.txt'}
      去主节点60010端口下查看分区成功。
      HBase学习笔记_第16张图片

      接着插入一条数据试一试
      put 'sort_table','2016211885','info:add','xxx'
      HBase学习笔记_第17张图片

      数据插入到了指定的分区当中。

    你可能感兴趣的:(HBase学习笔记)

    • 【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数 广龙宇 一起学Rust#Rust设计模式rust设计模式开发语言
      提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
    • 四章-32-点要素的聚合 彩云飘过
      本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
    • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
      Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    • 语文主题教学学习笔记之87 东哥杂谈
      “语文主题教学”学习笔记之八十七（0125）今天继续学习小学语文主题教学的实践样态。板块三：教学中体现“书艺”味道。作为四大名著之一的《水浒传》，堪称我国文学宝库之经典。对从《水浒传》中摘选的单元，教师就要了解其原生态，即评书体特点。这也要求教师要了解一些常用的评书行话术语，然后在教学时适时地加入一些，让学生体味其文本中原有的特色。学生也要尽可能地通过朗读的方式，而不单是分析讲解的方式进行学习。细
    • 《转介绍方法论》学习笔记 小可乐的妈妈
      一、高效转介绍的流程：价值观---执行----方案一）转介绍发生的背景：1、对象：谁向谁转介绍？全员营销，人人参与。①员工的激励政策、客户的转介绍诱因制作客户画像：a信任；支付能力；意愿度；便利度（根据家长具备四个特征的个数分为四类）B性格分类C职业分类D年龄性别②执行：套路，策略，方法，流程2、诱因：为什么要转介绍？认同信任；多方共赢；传递美好；零风险承诺打动人心，超越期待。选择做教育，就是选择
    • JAVA学习笔记之23种设计模式学习 victorfreedom Java技术设计模式androidjava常用设计模式
      博主最近买了《设计模式》这本书来学习，无奈这本书是以C++语言为基础进行说明，整个学习流程下来效率不是很高，虽然有的设计模式通俗易懂，但感觉还是没有充分的掌握了所有的设计模式。于是博主百度了一番，发现有大神写过了这方面的问题，于是博主迅速拿来学习。一、设计模式的分类总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器
    • 浅谈MapReduce Android路上的人 Hadoop分布式计算mapreduce分布式框架hadoop
      从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
    • 新能源汽车 BMS 学习笔记篇—BMS 基本定义及分类 WPG大大通 其他笔记汽车BMS经验分享新能源电池
      一、BMS定义1、概念：BMS（BatteryManagementSystem）即电池管理系统，其管理对象是二次电池（充电电池或蓄电池），其主要目的是电池的利用率，防止电池出现过度充电和过度放电，可应用于电动汽车、电瓶车、机器人、无人机等图片来源：腾讯网https://new.qq.com《标准普尔警告，电动汽车电池生产面临供应链和地缘政治风险》2、四大功能①感知和测量：检测电池的电压、电流、温度
    • 吴恩达深度学习笔记(30)-正则化的解释 极客Array
      正则化（Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少你的网络误差。如果你怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，这也是非常
    • 个人学习笔记7-6：动手学深度学习pytorch版-李沐 浪子L 深度学习深度学习笔记计算机视觉python人工智能神经网络pytorch
      #人工智能##深度学习##语义分割##计算机视觉##神经网络#计算机视觉13.11全卷积网络全卷积网络（fullyconvolutionalnetwork，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。引入l转置卷积（transposedconvolution）实现的，输出的类别预测与输入图像在像素级别上具有一一对应关系：通道维的输出即该位置对应像素的类别预测。13.11.1构造模型下
    • golang学习笔记--MPG模型 xxzed golang#学习笔记学习笔记golang
      MPG模式：M（Machine）：操作系统的主线程P（Processor）：协程执行需要的资源（上下文context），可以看作一个局部的调度器，使go代码在一个线程上跑，他是实现从N：1到N：M映射的关键G（Goroutine）：协程，有自己的栈。包含指令指针（instructionpointer）和其它信息（正在等待的channel等等），用于调度。一个P下面可以有多个G1、当前程序有三个M,
    • 碎片化学习笔记分享 剑客写作
      现在生活节奏很快，学习力成为了我们拥有的最大财富。碎片化学习是最好的。首先，不要太过自信，学会虚心学习，是我们面对现实的好方法，才能够常保新鲜。平时我们要拥有什么工具呢？1.思维导图2.写在印象笔记里3.听书，消燥耳机4.教学输出5.录音笔里面最好的方式就是教学输出法，记忆里最好。当输出时我们集中精力记忆里最好。有人认为缩短睡眠时间来学习，其实最好的方式是保持最好的睡眠，记忆力会更好。剥夺睡眠，会
    • 《随园诗话》学习笔记三百零六 飞鸿雪舞
      卷五凡诗之传者，都在灵性五、五斗米与诗【原文】丁丑，余觅一抄书人，或荐黄生，名之纪，号星岩者，人甚朴野。偶过其案头，得句云；“破庵僧卖临街瓦，独井人争向晚泉。”余大奇之，即饷米五斗。自此欣然大用力于诗。五言句云：“云开日脚直，雨落水纹圆。竹锐穿泥壁，蝇酣落酒尊。钓久知鱼性，樵多识树名。笔残芦并用，墨尽指同磨。＂七言云：＂小窗近水寒偏觉，古木遮天曙不知。旧生萍处泥犹绿，新落花时水亦香。旧甓恐闲都贮水
    • D15 论语学习笔记 许小兔Angelina
      悟：上级对下级的宽容：凡事成定局，就不你说了；已接近完结的事，也没必要匡正和挽回了；既然是过去的事，也没必要追究得失和责任了。对待孩子教育也是，不用“问责制”，这样容易让孩子因为害怕担责而说谎。应当循循善诱，避免再犯错才是最重要的。3.16：【原文】子曰：“射不主皮，为力不同科，古之道也。”【译文】孔子说：“射箭比赛不以射透为主，而主要看是否射得准确，因为人的力量不同，自古如此。”3.17：【原文
    • hbase介绍 CrazyL- 云计算+大数据hbase
      hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用hadoopmapreduce来处理hbase、中的海量数据hbase利用zookeeper作为分布式系统服务特点：数据量大：一个表可以有上亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的
    • Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell） May--J--Oldhu HBaseHBaseshellhbase物理架构hbase逻辑架构hbase
      NoSQL综述及ApacheHBase基础一.HBase1.HBase概述2.HBase发展历史3.HBase应用场景3.1增量数据-时间序列数据3.2信息交换-消息传递3.3内容服务-Web后端应用程序3.4HBase应用场景示例4.ApacheHBase生态圈5.HBase物理架构5.1HMaster5.2RegionServer5.3Region和Table6.HBase逻辑架构-Row7.
    • 网络工程师学习笔记（一） 专业白嫖怪 网络工程师学习笔记学习笔记网络
      为了备战下半年的软考——网络工程师，利用每天的下班的闲暇时间看书听课，然后自己手敲整理的系列资料。希望能够对你们有所帮助第一章__计算机网络概述计算机网络的定义：将分散的具有独立运算功能的计算机系统，通过通信线路和通信设备进行连接起来的实现资源的共享。ARPAnet网络的特征：资源共享、分散控制、分组交换1946年第一台通用计算机—埃尼亚克能够相互连通进行数据交换。1960年提出巨型网络，出现了对
    • K8S学习笔记02——K8S组件 沉淅尘 #Docker#K8Skubernetes
      Kubernetes组件一、控制平面组件（ControlPlaneComponents）(1)kube-apiserver(2)etcd(3)kube-scheduler(4)kube-controller-manager(5)cloud-controller-manager二、Node组件1.kubelet2.kube-proxy3.容器运行时（ContainerRuntime）三、插件（Add
    • 「Python」2020.04.08学习笔记 | 第六章文件（a+）模式+把随机手机号写入文件小练习 Yetta的书影屋
      学习测试开发的Day97，真棒！学习时间为40M第九次全天课(下午视频二20M-50M）>>>fp.seek(0)0>>>fp.read()'你好11你好12你好13你好14你好15\n你好16\n你好17\n你好18\n'>>>fp.seek(0,0)0>>>fp.write("*********************************\n")34>>>fp.seek(0,0)0>>>f
    • 《金文成〈中庸〉学习笔记401。2020-2-24》 金吾生
      《金文成〈中庸〉学习笔记401。2020-2-24》今天是庚子年戊寅月丁酉日，二月初二，2020年2月24日星期一。二月二龙抬头。第二十二章【唯天下至诚，为能尽其性；能尽其性，则能尽人之性；能尽人之性，则能尽物之性；能尽物之性，则能赞天地之化育；能赞天地之化育，则可以与天地参矣。】上一节，船山讲解说，性作为天用之本体，于圣人和匹夫匹妇而言并无二致，区别来自于诚。诚的区别来自于纯粹与掺杂。掺杂什么呢
    • CDGA学习笔记三-《数据安全》 zy_chris 网络安全
      七、数据安全7.1引言数据安全包括安全策略和过程的规划、建立与执行，为数据和信息资产提供正确的身份验证、授权、访问和审计。要求来自以下方面：（1）利益相关方（2）政府法规（3）特定业务关注点（4）合法访问需求（5）合同义务7.1.1业务驱动因素1、降低风险信息安全首先对组织数据进行分级分类，对组织数据进行分类分级的整个流程：1）识别敏感数据资产并分类分级2）在企业中查找敏感数据3）确定保护每项资产
    • HBase（一）——HBase介绍 weixin_30595035 大数据数据库数据结构与算法
      HBase介绍1、关系型数据库与非关系型数据库（1）关系型数据库关系型数据库最典型的数据机构是表，由二维表及其之间的联系所组成的一个数据组织优点：1、易于维护：都是使用表结构，格式一致2、使用方便：SQL语言通用，可用于复杂查询3、复杂操作：支持SQL，可用于一个表以及多个表之间非常复杂的查询缺点：1、读写性能比较差，尤其是海量数据的高效率读写2、固定的表结构，灵活度稍欠3、高并发读写需求，传统关
    • HBase介绍 mingyu1016 数据库
      概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。HBase的表结构HBase以表的形式存储数据。表有行和列组成。列划分为
    • vue学习笔记——关于对Vue3 ref(), toRef(), toRefs(), unref(), isRef(), reactive()方法的理解。 chen_sir_sh vue学习笔记javascript前端vue
      VUE3出现了很多新的API，下面是自己的一些理解进行的总结。欢迎大家一起交流补充。ref()使用ref创建一个数据类型，ref有value这个属性constname1={age:"14",name:"bob1"};constname2=ref({name:"bob2"});//使用ref创建一个数据类型相对于reactive，ref有value属性name2.value="bob3"consol
    • 遇到僵尸进程，怎么处理---学习笔记 summer@彤妈 性能优化linux
      僵尸进程解释当iowait升高时，进程很可能因为得不到硬件的响应，而长时间处于不可中断状态。从ps或者top命令的输出中，你可以发现它们都处于D状态，也就是不可中断状态（UninterruptibleSleep）。既然说到了进程的状态，进程有哪些状态你还记得吗？我们先来回顾一下。top和ps是最常用的查看进程状态的工具，我们就从top的输出开始。下面是一个top命令输出的示例，S列（也就是Stat
    • C++学习笔记----6、内存管理（五）---- 智能指针（3） 王俊山IT c++学习笔记开发语言
      2、shared_ptr有时候吧，有些对象或者一部分代码需要同一个指针的拷贝。那么unique_ptr不能被拷贝，因此就不能用于些场景。这样的话，std::shared_ptr就是一个支持能够被拷贝的拥有共享属主的智能指针。但是，如果有指向同一个资源的多个shared_ptr实例，那么怎么知道什么时候去释放资源呢？这可以通过对于引用记数来解决，这个我们以后再聊。首先，让我们看一下怎么构造与使用sh
    • 【学习笔记】武志红心理学—潜意识决定命运 万万千千
      冰山一角什么构成了我们的命运？命运是由我们的显意识和潜意识来决定的。我们可以用一张图做一个比喻。看过“冰山一角”图片的都知道，潜意识就是水面以下的部分，显意识是水面以上的部分，从体积来看，潜意识占了大部分，而显意识只是冰山一角，纵向来看，庞大的潜意识支撑着冰山一角的显意识，才得以让冰山漂浮在水面。延伸到我们的人生，我们对自己显意识层面的想法很容易感知到，所以我们会说这是“我”自己做的选择。而潜意识
    • Prism 教程 yang_B621 PrismIOC
      http://t.csdnimg.cn/VXSSvhttps://blog.csdn.net/u010476739/article/details/119341731Prism-随笔分类-Hello——寻梦者！-博客园(cnblogs.com)C#IoC学习笔记-缥缈的尘埃-博客园(cnblogs.com)WPF_SchuylerEX的博客-CSDN博客
    • 绘本讲师训练营【第30期】2/21阅读原创《绘本之力》学习笔记2 郑贤钰
      30028郑贤钰今天读了绘本之力《留在灵魂里的东西》读了心里有非常大的感触！两个年幼什么都不懂的孩子，为了自己心爱的东西，攒下来自己的零花钱，却买了一个自己不知道怎么用的东西，当他们觉得这个东西根本就不好，准备扔掉的时候，这是故事中的有趣有爱的老爷爷出现了，帮助孩子们再一次发现之前别人拉出优美的音乐，原来自己买的这一个琴，自认为没用的琴也能够经过老爷爷熟练的演奏也能拉出这样优美的声音，这让孩子们十
    • 仿老师悟 耕海者
      毕业十年了，今天去拜访老师，看到老师的学习笔记，看到老师努力学习，积极提高的状态，我觉着自己真是有些懈怠了，孩子们，老师的老师都在孜孜不倦，我们岂能偷懒！
    • 深入浅出Java Annotation(元注解和自定义注解） Josh_Persistence Java Annotation元注解自定义注解
      一、基本概述     　　 Annontation是Java5开始引入的新特征。中文名称一般叫注解。它提供了一种安全的类似注释的机制，用来将任何的信息或元数据（metadata）与程序元素（类、方法、成员变量等）进行关联。   　　更通俗的意思是为程序的元素（类、方法、成员变量）加上更直观更明了的说明，这些说明信息是与程序的业务逻辑无关，并且是供指定的工具或
    • mysql优化特定类型的查询 annan211 java工作mysql
      本节所介绍的查询优化的技巧都是和特定版本相关的，所以对于未来mysql的版本未必适用。 1 优化count查询 对于count这个函数的网上的大部分资料都是错误的或者是理解的都是一知半解的。在做优化之前我们先来看看 真正的count()函数的作用到底是什么。 count()是一个特殊的函数，有两种非常不同的作用，他可以统计某个列值的数量，也可以统计行数。 在统
    • MAC下安装多版本JDK和切换几种方式 棋子chessman jdk
      环境： MAC AIR,OS X 10.10,64位   历史： 过去 Mac 上的 Java 都是由 Apple 自己提供，只支持到 Java 6，并且OS X 10.7 开始系统并不自带（而是可选安装）（原自带的是1.6）。 后来 Apple 加入 OpenJDK 继续支持 Java 6，而 Java 7 将由 Oracle 负责提供。   在终端中输入jav
    • javaScript （1） Array_06 JavaScriptjava浏览器
      JavaScript 1、运算符 　　运算符就是完成操作的一系列符号，它有七类： 　　赋值运算符（=,+=,-=,*=,/=,%=,<<=,>>=,|=,&=）、算术运算符(+,-,*,/,++,--,%)、比较运算符(>,<,<=,>=,==,===,!=,!==)、逻辑运算符(||,&&,!)、条件运算(?:)、位
    • 国内顶级代码分享网站 袁潇含 javajdkoracle.netPHP
             现在国内很多开源网站感觉都是为了利益而做的                  当然利益是肯定的,否则谁也不会免费的去做网站      &
    • Elasticsearch、MongoDB和Hadoop比较 随意而生 mongodbhadoop搜索引擎
        IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性，避免落大部队太远，我们看到了不同技术之间的边际的模糊化。假如你有诸如Elasticsearch或者Solr这样的搜索引擎，它们存储着JSON文档，MongoDB存着JSON文档，或者一堆JSON文档存放在一个Hadoop集群的HDFS中。你可以使用这三种配
    • mac os 系统科研软件总结 张亚雄 mac os
      1.1 Microsoft Office for Mac 2011      大客户版，自行搜索。      1.2 Latex （MacTex）:      系统环境：https://tug.org/mactex/     &nb
    • Maven实战（四）生命周期 AdyZhang maven
      1. 三套生命周期     Maven拥有三套相互独立的生命周期，它们分别为clean，default和site。 每个生命周期包含一些阶段，这些阶段是有顺序的，并且后面的阶段依赖于前面的阶段，用户和Maven最直接的交互方式就是调用这些生命周期阶段。 以clean生命周期为例，它包含的阶段有pre-clean, clean 和 post
    • Linux下Jenkins迁移 aijuans Jenkins
      1. 将Jenkins程序目录copy过去      源程序在/export/data/tomcatRoot/ofctest-jenkins.jd.com下面            tar -cvzf jenkins.tar.gz ofctest-jenkins.jd.com &
    • request.getInputStream()只能获取一次的问题 ayaoxinchao requestInputstream
      问题：在使用HTTP协议实现应用间接口通信时，服务端读取客户端请求过来的数据，会用到request.getInputStream()，第一次读取的时候可以读取到数据，但是接下来的读取操作都读取不到数据   原因： 1. 一个InputStream对象在被读取完成后，将无法被再次读取，始终返回-1； 2. InputStream并没有实现reset方法（可以重
    • 数据库SQL优化大总结之 百万级数据库优化方案 BigBird2012 SQL优化
      网上关于SQL优化的教程很多，但是比较杂乱。近日有空整理了一下，写出来跟大家分享一下，其中有错误和不足的地方，还请大家纠正补充。 这篇文章我花费了大量的时间查找资料、修改、排版，希望大家阅读之后，感觉好的话推荐给更多的人，让更多的人看到、纠正以及补充。 1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where
    • jsonObject的使用 bijian1013 javajson
              在项目中难免会用java处理json格式的数据，因此封装了一个JSONUtil工具类。 JSONUtil.java package com.bijian.json.study; import java.util.ArrayList; import java.util.Date; import java.util.HashMap;
    • [Zookeeper学习笔记之六]Zookeeper源代码分析之Zookeeper.WatchRegistration bit1129 zookeeper
      Zookeeper类是Zookeeper提供给用户访问Zookeeper service的主要API，它包含了如下几个内部类     首先分析它的内部类，从WatchRegistration开始，为指定的znode path注册一个Watcher，   /** * Register a watcher for a particular p
    • 【Scala十三】Scala核心七：部分应用函数 bit1129 scala
      何为部分应用函数？ Partially applied function: A function that’s used in an expression and that misses some of its arguments.For instance, if function f has type Int => Int => Int, then f and f(1) are p
    • Tomcat Error listenerStart 终极大法 ronin47 tomcat
      Tomcat报的错太含糊了，什么错都没报出来，只提示了Error listenerStart。为了调试，我们要获得更详细的日志。可以在WEB-INF/classes目录下新建一个文件叫logging.properties，内容如下 Java代码  handlers = org.apache.juli.FileHandler, java.util.logging.ConsoleHa
    • 不用加减符号实现加减法 BrokenDreams 实现
              今天有群友发了一个问题，要求不用加减符号(包括负号)来实现加减法。         分析一下，先看最简单的情况，假设1+1，按二进制算的话结果是10，可以看到从右往左的第一位变为0，第二位由于进位变为1。    
    • 读《研磨设计模式》-代码笔记-状态模式-State bylijinnan java设计模式
      声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /* 当一个对象的内在状态改变时允许改变其行为，这个对象看起来像是改变了其类 状态模式主要解决的是当控制一个对象状态的条件表达式过于复杂时的情况 把状态的判断逻辑转移到表示不同状态的一系列类中，可以把复杂的判断逻辑简化 如果在
    • CUDA程序block和thread超出硬件允许值时的异常 cherishLC CUDA
      调用CUDA的核函数时指定block 和 thread大小，该大小可以是dim3类型的（三维数组），只用一维时可以是usigned int型的。 以下程序验证了当block或thread大小超出硬件允许值时会产生异常！！！GPU根本不会执行运算！！！ 所以验证结果的正确性很重要！！！ 在VS中创建CUDA项目会有一个模板，里面有更详细的状态验证。 以下程序在K5000GPU上跑的。
    • 诡异的超长时间GC问题定位 chenchao051 jvmcmsGChbaseswap
      HBase的GC策略采用PawNew+CMS, 这是大众化的配置，ParNew经常会出现停顿时间特别长的情况，有时候甚至长到令人发指的地步，例如请看如下日志： 2012-10-17T05:54:54.293+0800: 739594.224: [GC 739606.508: [ParNew: 996800K->110720K(996800K), 178.8826900 secs] 3700
    • maven环境快速搭建 daizj 安装mavne环境配置
      一 下载maven 安装maven之前，要先安装jdk及配置JAVA_HOME环境变量。这个安装和配置java环境不用多说。 maven下载地址：http://maven.apache.org/download.html，目前最新的是这个apache-maven-3.2.5-bin.zip，然后解压在任意位置，最好地址中不要带中文字符，这个做java 的都知道，地址中出现中文会出现很多
    • PHP网站安全，避免PHP网站受到攻击的方法 dcj3sjt126com PHP
      对于PHP网站安全主要存在这样几种攻击方式:1、命令注入(Command Injection)2、eval注入(Eval Injection)3、客户端脚本攻击(Script Insertion)4、跨网站脚本攻击(Cross Site Scripting, XSS)5、SQL注入攻击(SQL injection)6、跨网站请求伪造攻击(Cross Site Request Forgerie
    • yii中给CGridView设置默认的排序根据时间倒序的方法 dcj3sjt126com GridView
      public function searchWithRelated() {         $criteria = new CDbCriteria;         $criteria->together = true; //without th
    • Java集合对象和数组对象的转换 dyy_gusi java集合
          在开发中，我们经常需要将集合对象（List，Set）转换为数组对象，或者将数组对象转换为集合对象。Java提供了相互转换的工具，但是我们使用的时候需要注意，不能乱用滥用。 1、数组对象转换为集合对象     最暴力的方式是new一个集合对象，然后遍历数组，依次将数组中的元素放入到新的集合中，但是这样做显然过
    • nginx同一主机部署多个应用 geeksun nginx
      近日有一需求，需要在一台主机上用nginx部署2个php应用，分别是wordpress和wiki，探索了半天，终于部署好了，下面把过程记录下来。 1.   在nginx下创建vhosts目录，用以放置vhost文件。 mkdir vhosts   2.   修改nginx.conf的配置， 在http节点增加下面内容设置，用来包含vhosts里的配置文件 #
    • ubuntu添加admin权限的用户账号 hongtoushizi ubuntuuseradd
      ubuntu创建账号的方式通常用到两种：useradd 和adduser . 本人尝试了useradd方法，步骤如下： 1:useradd    使用useradd时，如果后面不加任何参数的话，如：sudo useradd sysadm 创建出来的用户将是默认的三无用户：无home directory ,无密码,无系统shell。 顾应该如下操作：  
    • 第五章 常用Lua开发库2-JSON库、编码转换、字符串处理 jinnianshilongnian nginxlua
        JSON库   在进行数据传输时JSON格式目前应用广泛，因此从Lua对象与JSON字符串之间相互转换是一个非常常见的功能；目前Lua也有几个JSON库，本人用过cjson、dkjson。其中cjson的语法严格（比如unicode \u0020\u7eaf），要求符合规范否则会解析失败（如\u002），而dkjson相对宽松，当然也可以通过修改cjson的源码来完成
    • Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解 yaerfeng1989 timerquartz定时器
      原创整理不易，转载请注明出处：Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解 代码下载地址：http://www.zuidaima.com/share/1772648445103104.htm 有两种流行Spring定时器配置：Java的Timer类和OpenSymphony的Quartz。 1.Java Timer定时 首先继承jav
    • Linux下df与du两个命令的差别？ pda158 linux
      　一、df显示文件系统的使用情况，与du比較，就是更全盘化。 　　最经常使用的就是 df -T，显示文件系统的使用情况并显示文件系统的类型。 　　举比例如以下： 　　[root@localhost ~]# df -T 　　Filesystem                   Type &n
    • [转]SQLite的工具类 ---- 通过反射把Cursor封装到VO对象 ctfzh VOandroidsqlite反射Cursor
      在写DAO层时，觉得从Cursor里一个一个的取出字段值再装到VO(值对象)里太麻烦了，就写了一个工具类，用到了反射，可以把查询记录的值装到对应的VO里，也可以生成该VO的List。   使用时需要注意： 考虑到Android的性能问题，VO没有使用Setter和Getter，而是直接用public的属性。 表中的字段名需要和VO的属性名一样，要是不一样就得在查询的SQL中
    • 该学习笔记用到的Employee表 vipbooks oraclesql工作
          这是我在学习Oracle是用到的Employee表，在该笔记中用到的就是这张表，大家可以用它来学习和练习。 drop table Employee; -- 员工信息表 create table Employee( -- 员工编号 EmpNo number(3) primary key, -- 姓