卡卡xx
卡卡xx

HBase学习笔记

在对HBase进行操作之前，首先学习一下HBase的基础架构和运行原理。这里讲解了

  • HBase 在大数据生态圈中的位置
  • HBase 与传统关系数据库的区别
  • HBase 相关的模块以及 HBase 表格的特性
  • row-key,hfile,cloumn-family,Master,Region Server相关概念
  • zookeeper在其中的作用
  • HBase存数据的原理
  • row-key设计方案

1、Row Key
与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行，只有三种方式：

  • 通过单个row key访问
  • 通过row key的range
  • 全表扫描

Row key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，row key保存为字节数组。
存储时，数据按照Row key的字典序(byte order)排序存储。设计key时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)

字典序对int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行键必须用0作左填充。
行的一次读写是原子操作 (不论一次读写多少列)。这个设计决策能够使用户很容易的理解程序在对同一个行进行并发更新操作时的行为。

2、列族 column family
hbase表中的每个列，都归属与某个列族。列族是表的chema的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如courses:history，courses:math都属于courses这个列族。
访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中，列族上的控制权限能帮助我们管理不同类型的应用：我们允许一些应用可以添加新的基本数据、一些应用可以读取基本数据并创建继承的列族、一些应用则只允许浏览数据（甚至可能因为隐私的原因不能浏览所有数据）。

3、单元 Cell
HBase中通过row和columns确定的为一个存贮单元称为cell。由{row key, column( = +

4、时间戳 timestamp
每个cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。

为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase提供了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。


HBase学习笔记_第1张图片
hbase命令

安装HBase

HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。所以安装HBase之前还需要安装zookeeper和hdfs。

如果是Apache hadoop就下载相应文件并修改配置文件安装。我用的是cloudera hadoo就直接在集群管理界面添加服务。
HBase学习笔记_第2张图片

HBase shell命令使用

HBase shell是HBase的一套命令行工具，类似传统数据中的sql概念，可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后，如果配置了HBase的环境变量，只要在shell中执行hbase shell就可以进入命令行界面。需要注意的是HBase的交互界面删除键改为了Ctrl + Backspace组合

HBase学习笔记_第3张图片
用status命令看一下集群是否正常

查看HBase版本

  • 创建数据库（命名空间）
    在HBase中，namespace命名空间指对一组表的逻辑分组，类似RDBMS中的database，方便对表在业务上划分。HBase系统默认定义了两个缺省的namespace
    1.hbase：系统内建表，包括namespace和meta表
    2.default：用户建表时未指定namespace的表都创建在此
    使用名list_namespace列出所有的namespace

    HBase学习笔记_第4张图片

    使用命令create_namespace 'my_test'创建数据库（命名空间）
    HBase学习笔记_第5张图片

  • 删除数据库
    使用命令drop_namespace 'my_test'创建数据库（命名空间）

    HBase学习笔记_第6张图片

  • 创建学生信息表
    rowkey要求是学号，一个列簇，包含姓名、性别、年龄、地址。
    语法：create ‘

    ’,’’通过list命令查看所有表。

    HBase学习笔记_第7张图片

  • 删除表
    首先使用命令disable '表名'禁用表，禁用表之后，仍然可以通过 list 和exists命令查看到。
    然后使用命令drop '表名'删除表

    HBase学习笔记_第8张图片

  • 插入记录
    命令put 'student','2016211883','info:name','stu1'表示插入表名为student，rowkey为2016211880（没有则创建）的行，列簇info下面的列name的值为stu1.
    按照此格式依次添加10个学生，rowkey依次为2016211880-2016211889，并同时添加姓名、性别、年龄、地址。

    HBase学习笔记_第9张图片

  • 删除记录
    删除某个属性的记录delete ‘

    • ’, ‘’, ‘’, ‘
    删除行deleteall 'table_name','row'

  • 修改记录
    命令put ‘table name’,’row ’,'Column family:column name',’new value’
    将rowkey为2016211880的info簇的name属性修改为stu1

    HBase学习笔记_第10张图片

  • 查询记录
    使用命令get 'student','2016211883'查看是否成功插入记录。
    其中第一个字段填写查询记录的表，第二字段填写记录的rowkey

    HBase学习笔记_第11张图片

    也可以使用命令get 'student','2016211883','info'获取指定rowkey和列簇的信息

  • 扫描
    scan 命令用于查看HTable数据。使用 scan 命令可以得到表中的数据。它的语法如下：
    scan ‘

    • ’

    HBase学习笔记_第12张图片

  • 统计表的行数
    count 'table_name'

  • 清空表
    truncate 'table_name'

    • Python对HBase的操作

    启动thrift

    thrift是用于可伸缩的跨语言服务开发框架。
    首先需要安装thrift，而安装thrift之前还需要安装thrift的很多依赖，详见这里。
    但是很多情况下已经帮你安装好了thrift（可能是安装操作系统或者安装hadoop的时候），所以你只需要去开启就是了，不能开启再去安装。

    HBase学习笔记_第13张图片

    第一次开启报了个这个错，原因是JAVA_HOME没有配置或者低于1.7，所以去/etc/profile或者hbase的conf下hbase-env.sh加上JAVA_HOME就可以了。


    就成功启动了thrift。

    编写python程序

    这里需要用pip导入需要的包

    pip install thrift
pip install hbase-thrift

    编写好后运行说语法错误，但是自己的语法并没有错，跟着错误点进了hbase包的源码，发现是python2版本的语法，在网上搜了一下，说是把hbase里的Hbase.py和ttypes.py换成python3的即可，于是去python存放第三方包的地方换了，随后就可以了。

    from thrift.transport import TSocket,TTransport
from thrift.protocol import TBinaryProtocol
from hbase import Hbase

# thrift默认端口是9090
socket = TSocket.TSocket('192.168.233.100',9090)
socket.setTimeout(5000)

transport = TTransport.TBufferedTransport(socket)
protocol = TBinaryProtocol.TBinaryProtocol(transport)

client = Hbase.Client(protocol)
socket.open()

print(client.getTableNames())
print(client.get('student','2016211880','info:name'))

    HBase学习笔记_第14张图片

    其他的操作和HBase shell差不多，只要拿到了 client = Hbase.Client(protocol)中的client，其它的操作只是换成了函数调用形式而已。

    • 获取所有表
      getTableNames()可以获取所有表

    • 创建表
      createTable(tbaleName,columnFamilies)：创建表，无返回值
      tableName：表名
      columnFamilies：列族信息，为一个ColumnDescriptor列表

    column = ColumnDescriptor(name='row1')
client.createTable('tb1',[column])

    这里需要注意，不能直接像HBase shell一样传入字符串作为列簇，而是要先用函数ColumnDescriptor（需要导入from hbase.ttypes import ColumnDescriptor）生成列簇对象，然后作为参数传入进去。

    • 删除表
      disableTable(tbaleName)首先禁用表
      deleteTable(tbaleName)删除指定表
    print('before',client.getTableNames())
client.disableTable('tb1')
client.deleteTable('tb1')
print('after',client.getTableNames())
    • 插入记录
      mutateRow(tableName,row,mutations)：在表中指定行执行一系列的变化操作。如果抛出异常，则事务被中止。使用默认的当前时间戳，所有条目将具有相同的时间戳。无返回值
      tableName：表名
      row：行
      mutations：变化,list
    print('before',client.get('student','2016000','info:name'))
mutation = Mutation(column='info:name',value='inset_name') 这里需要注意，以前的参数是name和value，现在改为了column和value
client.mutateRow('student','2016000',[mutation])
print('after',client.get('student','2016000','info:name'))

    先把需要插入的列簇信息封装为Mutation对象（需要导入from hbase.ttypes import Mutation），再插入表student，2016000行。

    • 修改记录
      修改记录和刚刚上面的插入记录一样，只是把需要修改的信息封装在Mutation即可。
    print('before',client.get('student','2016000','info:name'))
mutation = Mutation(column='info:name',value='update_name')
client.mutateRow('student','2016000',[mutation])
print('after',client.get('student','2016000','info:name'))
    • 查询记录
      getRow(tableName,row)：获取表中指定行在最新时间戳上的数据。返回一个hbase.ttypes.TRowResult对象列表，如果行号不存在返回一个空列表
      tableName：表名
      row：行
      print(client.getRow('student','2016211880'))
      [TRowResult(row='2016211880', columns={'info:add': TCell(value='xxx', timestamp=1534856603503), 'info:age': TCell(value='20', timestamp=1534856521857), 'info:gender': TCell(value='m', timestamp=1534856178334), 'info:name': TCell(value='stu0', timestamp=1534860070457)})]
      这样可以获取一个列的所有信息，也可以获取指定信息。
      print(client.get('student','2016211880','info:name'))
      [TCell(value='stu0', timestamp=1534860070457)]
      还可以获取所有信息后一个一个取出来
    # 行
row = '2016211880'
# 查询结果
result = client.getRow('student',row)      # result为一个列表
for item in result:                     # item为hbase.ttypes.TRowResult对象
    print(item.row)
    print(item.columns.get('info:name').value )       # 获取值。item.columns.get('cf:a')为一个hbase.ttypes.TCell对象
    print(item.columns.get('info:name').timestamp )   # 获取时间戳。item.columns.get('cf:a')为一个hbase.ttypes.TCell对象
    HBase学习笔记_第15张图片
    • 扫描
      scannerOpen(tableName,startRow,columns)：在指定表中，从指定行开始扫描，到表中最后一行结束，扫描指定列的数据。返回一个ScannerID，int类型
      tableName：表名
      startRow：起始行
      columns：列名列表,list类型
      scannerId = client.scannerOpen('student','2016211880',["info:name","info:age"])
      获取ScannerID后，根据ScannerID来获取结果，scannerGet(id)：返回一个hbase.ttypes.TRowResult对象列表
    scannerId = client.scannerOpen('student','2016211880',["info:name","info:age"])
while True:
    result = client.scannerGet(scannerId)
    if not result:
        break
    print(result)

    结果

    [TRowResult(row='2016211880', columns={'info:age': TCell(value='20', timestamp=1534856521857), 'info:name': TCell(value='stu0', timestamp=1534860070457)})]
[TRowResult(row='2016211881', columns={'info:age': TCell(value='18', timestamp=1534856521887), 'info:name': TCell(value='stu1', timestamp=1534855473518)})]
[TRowResult(row='2016211882', columns={'info:age': TCell(value='18', timestamp=1534856521912), 'info:name': TCell(value='stu2', timestamp=1534855311597)})]
[TRowResult(row='2016211883', columns={'info:age': TCell(value='18', timestamp=1534856521940), 'info:name': TCell(value='stu3', timestamp=1534855469567)})]
[TRowResult(row='2016211884', columns={'info:age': TCell(value='18', timestamp=1534856521969), 'info:name': TCell(value='stu4', timestamp=1534855469670)})]
[TRowResult(row='2016211885', columns={'info:age': TCell(value='18', timestamp=1534856521993), 'info:name': TCell(value='stu5', timestamp=1534855469700)})]
[TRowResult(row='2016211886', columns={'info:age': TCell(value='19', timestamp=1534856522018), 'info:name': TCell(value='stu6', timestamp=1534855469732)})]
[TRowResult(row='2016211887', columns={'info:age': TCell(value='21', timestamp=1534856522042), 'info:name': TCell(value='stu7', timestamp=1534855469761)})]
[TRowResult(row='2016211888', columns={'info:age': TCell(value='22', timestamp=1534856522191), 'info:name': TCell(value='stu8', timestamp=1534855469791)})]
[TRowResult(row='2016211889', columns={'info:age': TCell(value='21', timestamp=1534856523296), 'info:name': TCell(value='stu9', timestamp=1534855469828)})]

    其它的操作都和shell差不多，只是换成了函数形式，使用时可以查阅API文档。

    HBase预分区

    HBase中，表会被划分为1…n个Region，被托管在RegionServer中。Region二个重要的属性:StartKey与 EndKey表示这个Region维护的rowKey范围，当我们要读/写数据时，如果rowKey落在某个start-end key范围内，那么就会定位到目标region并且读/写到相关的数据。
    HBase默认建表时有一个region，这个region的rowkey是没有边界的，即没有startkey和endkey，在数据写入时，所有数据都会写入这个默认的region，随着数据量的不断 增加，此region已经不能承受不断增长的数据量，会进行split，分成2个region。在此过程中，会产生两个问题：1.数据往一个region上写,会有写热点问题。2.region split会消耗宝贵的集群I/O资源。基于此我们可以控制在建表的时候，创建多个空region，并确定每个region的起始和终止rowky，这样只要我们的rowkey设计能均匀的命中各个region，就不会存在写热点问题。自然split的几率也会大大降低。当然随着数据量的不断增长，该split的还是要进行split。像这样预先创建hbase表分区的方式，称之为预分区。

    预分区步骤

    1. 规划hbase预分区
      首先就是要想明白数据的key是如何分布的，然后规划一下要分成多少region，每个region的startkey和endkey是多少，然后将规划的key写到一个文件中。比如，key的前几位字符串都是从2016211880~2016211889的数字，这样可以分成4个region，划分key的文件如下：
    #只是在分区比较多的时候需要这么做。分区少的情况下可以直接在生成表的时候直接用SPLITS分区
2016211882|
2016211884|
2016211886|
2016211888|

    因为在ASCII码中，"|"的值是124，大于所有的数字和字母等符号，当然也可以用“~”（ASCII-126）。分隔文件的第一行为第一个region的stopkey，每行依次类推，最后一行不仅是倒数第二个region的stopkey，同时也是最后一个region的startkey。也就是说分区文件中填的都是key取值范围的分隔点。

    1. HBase中建分区表，指定分区文件
      和以前创建普通表一样，只是创建的时候多了一个参数，指明了分区的信息。
      create 'sort_table','info',SPLITS=>['2016211882','2016211884','2016211886','2016211888']
      这里的分区表示方法也可以换成文件替代。
      create 'split_table_test', 'cf', {SPLITS_FILE => 'region_split_info.txt'}
      去主节点60010端口下查看分区成功。
      HBase学习笔记_第16张图片

      接着插入一条数据试一试
      put 'sort_table','2016211885','info:add','xxx'
      HBase学习笔记_第17张图片

      数据插入到了指定的分区当中。

    你可能感兴趣的:(HBase学习笔记)

    • 使用Couchbase实现高效的AI应用缓存与数据存储 scaFHIO 人工智能缓存python
      在当今AI应用的开发中，除了模型本身的性能，数据存储和缓存的效率也至关重要。Couchbase作为一款分布式NoSQL云数据库，其性能、可扩展性以及对AI、边缘计算应用的支持能力，使其成为优秀的选择。在本文中，我们将探讨如何通过Couchbase来实现高效的数据存储与缓存，尤其是在AI应用中。技术背景介绍随着AI应用规模的扩大和复杂度的增加，我们需要可靠的数据存储解决方案来满足实时性要求，同时减少
    • CCNP之IGP学习笔记（2022） 码龄4年 审核中 笔记OSPFRIPEIGRPIGPCCNP
      evecommunityedition2.0.3-92_v1.4.1.ovaOVF（OpenVirtualizationFormat：开放虚拟化格式）和OVA（OpenVirtualizationAppliance：开放虚拟化设备）appliance器具collaborative合作的；协力完成的translation翻译；译文；译本；转化CollaborativeTranslationFrame
    • 计算机基础：编码04，认识反码和补码 水饺编程 MFC学习笔记Win32学习笔记windowsc++mfcc语言
      专栏导航本节文章分别属于《Win32学习笔记》和《MFC学习笔记》两个专栏，故划分为两个专栏导航。读者可以自行选择前往哪个专栏。（一）WIn32专栏导航上一篇：计算机基础：编码03，根据十进制数，求其原码回到目录下一篇：无（二）MFC专栏导航上一篇：计算机基础：编码03，根据十进制数，求其原码回到目录下一篇：无本节前言在前两节，我讲解了关于原码的知识。本节，我来讲解反码和补码。在学习本节之前，你需
    • 图像质量评价学习笔记02：IQA模型性能评价指标（PLCC、SROCC、KROCC、RMSE） 可靠的豆包蟹同志 图像质量评估IQA图像处理计算机视觉人工智能算法
      性能好的图像质量评价（IQA）算法，其质量评测分数会与主观质量分数高度一致，IQA有许多评价指标，为了衡量方法测试结果与主观评价之间的一致性，视频质量专家组VQEG（VideoQualityExpertsGroup，目前国际上对视频质量进行标准化及性能测试的权威组织）提出了四个可以验证客观评价结果和主观评价结果之间的紧密程度的四个指标：PLCC、SROCC、KROCC和RMSE，也是目前最常用的I
    • 计算机基础：编码01，无符号数编码 水饺编程 MFC学习笔记Win32学习笔记mfcc++visualstudiowindows
      专栏导航本节文章分别属于《Win32学习笔记》和《MFC学习笔记》两个专栏，故划分为两个专栏导航。读者可以自行选择前往哪个专栏。（一）WIn32专栏导航上一篇：计算机基础：二进制基础13，十六进制与二进制的相互转换回到目录下一篇：计算机基础：编码02，有符号数编码，原码（二）MFC专栏导航上一篇：计算机基础：二进制基础13，十六进制与二进制的相互转换回到目录下一篇：计算机基础：编码02，有符号数编
    • 先验地图--slam学习笔记 超级璐璐 人工智能机器学习
      先验信息(PriorInformation)先验信息指的是在收集新数据之前已有的知识或假设。这种信息可以来自之前的实验、历史数据、理论模型或专家意见。地图信息：在无人驾驶中，车辆通常会预先加载高精度地图数据，这些地图数据提供了道路布局、车道线位置、交叉口结构等信息。这些信息就是先验信息。车辆动力学模型：车辆的动力学模型，包括车辆的物理特性（如质量、轮胎摩擦系数等），这些模型可以帮助预测车辆的行为。
    • Xilinx系ZYNQ学习笔记（二）ZYNQ入门及点亮LED灯 贾saisai FPGA学习学习笔记fpga开发
      系列文章目录文章目录系列文章目录前言简单介绍简称xc7z020型号FPGAZYNQ实操通用IO点亮LED灯硬件逻辑基础前言简单入门一下ZYNQ是何种架构，如何编程，至于深入了解应该要分开深入学习Linux和FPGA简单介绍其基本架构都是在同一个硅片上集成FPGA和CPU，并通过高速、高带宽的互联架构连接起来。ARM的顺序控制、丰富外设，开源驱动、FPGA的并行运算、高速接口、灵活定制、数字之王的特
    • ZYNQ学习笔记_GPIO之输入输出 凌星星星星星 ZYNQ学习笔记gpiomiofpga嵌入式单片机
      ZYNQ学习笔记_GPIO之输入输出GPIO介绍MIO介绍EMIO介绍控制GPIO接口的寄存器原理_输入输出部分GPIO介绍GPIO的英文全称为General-purposeinput/output，即一种通用外设，可以通过MIO（MultiuseI/O）模块对器件的引脚做观测（input）和控制（output）。ZYNQ的PS端上的GPIO也可以通过EMIO（ExtraMIO）模块对PL端的IP
    • zynq设计学习笔记2——GPIO之MIO控制LED实验 墨漓_lyl FPGA之zynq设计学习笔记嵌入式fpga
      vivado软件操作步骤与学习笔记1——helloworld差不多，这里不再过多赘述，不同点是在zynq的设置中添加上GPIO的设置即可。进入SDK软件后，程序如下：#include"stdio.h"#include"xparameters.h"#include"xgpiops.h"#include"sleep.h"#defineGPIO_DEVICE_IDXPAR_XGPIOPS_0_DEVIC
    • linux+docker安装常见中间件+shell学习笔记 芦屋花绘 linuxdocker中间件
      初始设置下载虚拟机软件：选择适合的虚拟机软件（如VirtualBox或VMware）。下载操作系统ISO映像文件：选择并下载你想安装的Linux发行版（例如Ubuntu、CentOS等）的ISO文件。ISO映像文件：是包含了完整光盘内容的文件，包含引导记录、文件系统、数据文件和目录结构。导入ISO文件到虚拟机，并进行相关配置，如分配内存、硬盘空间等。了解基本linuxLinux常见目录及其用途Li
    • Apache大数据旭哥优选大数据选题 Apache大数据旭 大数据定制选题javahadoopspark开发语言ideahive数据库架构
      定制旭哥服务，一对一，无中介包安装+答疑+售后态度和技术都很重要定制按需求做要求不高就实惠一点定制需提前沟通好怎么做，这样才能避免不必要的麻烦python、flask、Django、mapreduce、mysqljava、springboot、vue、echarts、hadoop、spark、hive、hbase、flink、SparkStreaming、kafka、flume、sqoop分析+推
    • mysql数据库学号数据类型_MySQL数据库学习笔记（二）----MySQL数据类型 艾萨里昂之光 mysql数据库学号数据类型
      【正文】上一章节中，我们学习了MySQL软件的安装，既然软件都装好了，现在就正式开始MySQL的基础知识的学习吧，即使是零基础，也要一步一个脚印。恩，首先要学习的就是MySQL的数据类型。一、数据类型：1、整型(xxxint)2、浮点型(float和double)3、定点数(decimal)4、字符串(char,varchar,xxxtext)5、二进制数据(xxxBlob)6、日期时间类型二、数
    • 学习笔记——GPU 鹤岗小串 gpu算力分布式信息与通信系统架构硬件架构运维笔记
      本文为学习笔记，故只对知识点依据自己的理解作概要总结，方便以后复习激活记忆。注：本文中GPU的讲解以A100型号为例，V100跟A100的架构差别不大也可适用，但是其他架构可能会有所出入。一、GPU硬件结构NVIDIAA100GPU的硬件结构HBM2：显存MemoryController：负责控制HBM2和L2Cache之间的通信High-SpeedHub：GPU总线，将NVLink、PCIE、E
    • 侯捷 C++ 课程学习笔记：深入掌握 C++ 高阶特性 —— 实践与心得分享 清水白石008 C++学习笔记课程教程c++学习笔记
      侯捷C++课程学习笔记：深入掌握C++高阶特性——实践与心得分享自从开始接触侯捷C++系列精品课程以来，我对C++语言有了全新的认识与深入理解。这套课程不仅系统地梳理了C++的基础知识，更从实际案例中展示了许多高阶特性和工程实战技巧。作为一名长期从事C++开发的专业人士，我深深感受到侯捷老师讲解中那种由浅入深、逻辑严密的魅力，也正是这种教学风格让我在短时间内掌握了不少难以琢磨的知识点。今天，我将结
    • 达梦数据库学习笔记 lwq979991632 数据库
      达梦数据库学习资料一、操作系统安装1、配置信息CPU：4核心内存：4G网络：NAT2.安装包选择选择带GUI的服务器，勾选Java平台、KDE二、安装前准备1.数据库远程访问：关闭防火墙systemctlstopfirewalld（禁用）systemctldisablefirewalld(停止，关闭开机自启动)systemctlstatusfirewalld（查看状态）2.安装gcc包rpm-qa
    • 【Azure 架构师学习笔记】- Azure Networking(1) -- Service Endpoint 和 Private Endpoint 發糞塗牆 Azure架构师学习笔记Azure网络安全azureNetwork
      本文属于【Azure架构师学习笔记】系列。本文属于【AzureNetworking】系列。前言最近公司的安全部门在审计云环境安全性时经常提到serviceendpoint（SE）和priavateendpoint（PE）的术语，为此做了一些研究储备。云计算的本质就是网络，默认情况下资源间及外部都是通过公网也就是互联网访问。为了安全，Azure引入了SE和PE等服务。云环境网络流动主要有两个：inb
    • 计算机基础：编码02，有符号数编码，原码 水饺编程 MFC学习笔记Win32学习笔记c++windowsmfcc语言
      专栏导航本节文章分别属于《Win32学习笔记》和《MFC学习笔记》两个专栏，故划分为两个专栏导航。读者可以自行选择前往哪个专栏。（一）WIn32专栏导航上一篇：计算机基础：编码01，无符号数编码回到目录下一篇：计算机基础：编码03，根据十进制数，求其原码（二）MFC专栏导航上一篇：计算机基础：编码01，无符号数编码回到目录下一篇：计算机基础：编码03，根据十进制数，求其原码本节前言上一节，我是讲解
    • 「Kubernetes Objects」- Service（学习笔记） @20210227 k4nzdroid
      Service，服务，用于暴露Pod以供访问。官方文档及手册KubernetesAPIv1.18/Servicev1coreService?Pod会被创建，并且还会消失，这由ReplicaSets控制。每个Pod都有自己的IP地址，但是这些IP地址不能视为可靠的。那么，如果前端的一部分Pod依赖于后端的Pod，那前端的这些Pod如何找出并追踪后端的Pod？ServiceService是一个抽象，定
    • k8s学习笔记（3）--- kubernetes核心技术概念 梦谜 k8s基础知识k8基本核心概念
      kubernetes核心技术概念1.容器（Container）2.API对象3.集群（Cluster）4.Master5.Node6.Pod7.复制控制器（ReplicationController，RC）8.副本集（ReplicaSet，RS）9.部署(Deployment)10.服务（Service）11.任务（Job）12.定时任务（CronJob）13.后台支撑服务集（DaemonSet）
    • HBase安装 lianhedaxue Hadoophbase
      HBase安装本章将介绍如何安装HBase和初始配置。需要用Java和Hadoop来处理HBase，所以必须下载java和Hadoop并安装系统中。安装前设置安装Hadoop在Linux环境下之前，需要建立和使用LinuxSSH(安全Shell)。按照下面设立Linux环境提供的步骤。创建一个用户首先，建议从Unix创建一个单独的Hadoop用户，文件系统隔离Hadoop文件系统。按照下面给出创建
    • 关于Go那些懒得看又不得不知道的东西 Hock2024 golang开发语言后端
      写在前面当开始学习go，亦或是cpp、还是java向go进行转职，这部分内容都是比较重要的。go的编译环境，模块管理以及一些基本的语法我认为还是很有必要去学习的，因此重新学习了这个部分并且写下下面的学习笔记！如果有写错或者不全面的地方，还希望大家及时纠正和指导。连接环境首先，作为一个后端er，能使用linux系统是必备的技能，这里我建议可以使用Xshell连接云服务器的方案来完成。云服务器建议使用
    • HBase的架构介绍，安装及简单操作 pk_xz123456 大数据hbase架构数据库
      一、HBase安装1.环境准备Java环境：确保系统中已经安装了Java8或更高版本。可以通过在命令行中输入java-version来检查Java版本。Hadoop环境：HBase依赖于Hadoop，需要先安装并配置好Hadoop集群。确保Hadoop的相关服务（如HDFS、YARN等）已经正常启动。2.下载HBase从HBase官方网站（https://hbase.apache.org/）下载适
    • Eagle_Wood-滤波方式学习笔记 OverflowSummer 嵌入式泛用知识学习笔记人工智能算法嵌入式硬件笔记学习
      //1.移动平均滤波器（信号处理）#defineWINDOW_SIZE5floatmoving_average(float*buffer,floatnew_sample){  staticfloatsum=0;  staticintindex=0;  staticfloatsamples[WINDOW_SIZE]={0};     sum-=samples[index];  samples[ind
    • AWS SAP学习笔记-概念 HainesFreeman AWSaws
      1、什么是ETL应用程序，举个例子说明？ETL（Extract,Transform,Load）应用程序是一种用于数据处理和迁移的工具或程序，它主要负责从多个数据源提取数据，对数据进行转换和清洗，然后将处理后的数据加载到目标数据仓库或数据库中。ETL应用程序广泛应用于数据集成、数据仓库构建、数据分析和数据迁移等场景。ETL的三个主要步骤：Extract（提取）：从各种数据源（如数据库、文件、API等
    • Effective Modern C++ 条款6：auto推导若非己愿，使用显式类型初始化惯用法 举个栗子2 EffectiveModernC++c++
      更多C++学习笔记，关注wx公众号：cpp读书笔记Item6:Usetheexplicitlytypedinitializeridiomwhenautodeducesundesiredtypes在Item5中解释了比起显式指定类型使用auto声明变量有若干技术优势，但是有时当你想向左转auto却向右转。举个例子，假如我有一个函数，参数为Widget，返回一个std::vector，这里的bool表
    • Linux内核学习之 -- epoll()一族系统调用分析笔记 lagransun linux学习笔记
      背景linux4.19epoll()也是一种I/O多路复用的技术，但是完全不同于select()/poll()。更加高效，高效的原因其他博客也都提到了，这篇笔记主要是从源码的角度来分析一下实现过程。作为自己的学习笔记，分析都在代码注释中，后续回顾的时候看注释好一点。相关链接：Linux内核学习之–ARMv8架构的系统调用笔记Linux内核学习之–系统调用open()和write()的实现笔记Lin
    • Spring Boot 与 Couchbase 整合教程 嘵奇 提升自己springboot后端java
      精心整理了最新的面试资料和简历模板，有需要的可以自行获取点击前往百度网盘获取点击前往夸克网盘获取SpringBoot与Couchbase整合教程环境要求JDK8+SpringBoot2.7.xCouchbaseServer7.xMaven/Gradle步骤1：创建SpringBoot项目使用start.spring.io创建项目，添加以下依赖：SpringWeb（可选，用于RESTAPI）Spri
    • Linux内核srio驱动,Zynq—Linux移植学习笔记（十四）：RapidIO驱动开发 weixin_39942572 Linux内核srio驱动
      #defineDRIVER_NAME"xiic-rio"#defineSRIO_ZYNQ_BASEADDR0x40000000#defineSRIO_ZYNQ_NODE_BASEADDR0x10100#defineSRIO_ZYNQ_MAX_HOPCOUNT13structxiic_rio{structmutexlock;u8*data;};/*Weneedglobalvarriableforma
    • Kubernetes学习笔记-移除Nacos迁移至K8s 人生偌只如初见 KubernetesJ2EEkubernetesk8sjava
      项目服务的配置管理和服务注册发现由原先的Nacos全面迁移到Kubernetes上。一、移除Nacos移除Nacos组件依赖。com.alibaba.cloudspring-cloud-starter-alibaba-nacos-discoverycom.alibaba.cloudspring-cloud-starter-alibaba-nacos-configorg.springframewor
    • Sqoop安装部署 愿与狸花过一生 大数据sqoophadoophive
      ApacheSqoop简介Sqoop（SQL-to-Hadoop）是Apache开源项目，主要用于：将关系型数据库中的数据导入Hadoop分布式文件系统（HDFS）或相关组件（如Hive、HBase）。将Hadoop处理后的数据导出回关系型数据库。核心特性批量数据传输支持从数据库表到HDFS/Hive的全量或增量数据迁移。并行化处理基于MapReduce实现并行导入导出，提升大数据量场景的效率。自
    • 深入浅出Java Annotation(元注解和自定义注解） Josh_Persistence Java Annotation元注解自定义注解
      一、基本概述     　　 Annontation是Java5开始引入的新特征。中文名称一般叫注解。它提供了一种安全的类似注释的机制，用来将任何的信息或元数据（metadata）与程序元素（类、方法、成员变量等）进行关联。   　　更通俗的意思是为程序的元素（类、方法、成员变量）加上更直观更明了的说明，这些说明信息是与程序的业务逻辑无关，并且是供指定的工具或
    • mysql优化特定类型的查询 annan211 java工作mysql
      本节所介绍的查询优化的技巧都是和特定版本相关的，所以对于未来mysql的版本未必适用。 1 优化count查询 对于count这个函数的网上的大部分资料都是错误的或者是理解的都是一知半解的。在做优化之前我们先来看看 真正的count()函数的作用到底是什么。 count()是一个特殊的函数，有两种非常不同的作用，他可以统计某个列值的数量，也可以统计行数。 在统
    • MAC下安装多版本JDK和切换几种方式 棋子chessman jdk
      环境： MAC AIR,OS X 10.10,64位   历史： 过去 Mac 上的 Java 都是由 Apple 自己提供，只支持到 Java 6，并且OS X 10.7 开始系统并不自带（而是可选安装）（原自带的是1.6）。 后来 Apple 加入 OpenJDK 继续支持 Java 6，而 Java 7 将由 Oracle 负责提供。   在终端中输入jav
    • javaScript （1） Array_06 JavaScriptjava浏览器
      JavaScript 1、运算符 　　运算符就是完成操作的一系列符号，它有七类： 　　赋值运算符（=,+=,-=,*=,/=,%=,<<=,>>=,|=,&=）、算术运算符(+,-,*,/,++,--,%)、比较运算符(>,<,<=,>=,==,===,!=,!==)、逻辑运算符(||,&&,!)、条件运算(?:)、位
    • 国内顶级代码分享网站 袁潇含 javajdkoracle.netPHP
             现在国内很多开源网站感觉都是为了利益而做的                  当然利益是肯定的,否则谁也不会免费的去做网站      &
    • Elasticsearch、MongoDB和Hadoop比较 随意而生 mongodbhadoop搜索引擎
        IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性，避免落大部队太远，我们看到了不同技术之间的边际的模糊化。假如你有诸如Elasticsearch或者Solr这样的搜索引擎，它们存储着JSON文档，MongoDB存着JSON文档，或者一堆JSON文档存放在一个Hadoop集群的HDFS中。你可以使用这三种配
    • mac os 系统科研软件总结 张亚雄 mac os
      1.1 Microsoft Office for Mac 2011      大客户版，自行搜索。      1.2 Latex （MacTex）:      系统环境：https://tug.org/mactex/     &nb
    • Maven实战（四）生命周期 AdyZhang maven
      1. 三套生命周期     Maven拥有三套相互独立的生命周期，它们分别为clean，default和site。 每个生命周期包含一些阶段，这些阶段是有顺序的，并且后面的阶段依赖于前面的阶段，用户和Maven最直接的交互方式就是调用这些生命周期阶段。 以clean生命周期为例，它包含的阶段有pre-clean, clean 和 post
    • Linux下Jenkins迁移 aijuans Jenkins
      1. 将Jenkins程序目录copy过去      源程序在/export/data/tomcatRoot/ofctest-jenkins.jd.com下面            tar -cvzf jenkins.tar.gz ofctest-jenkins.jd.com &
    • request.getInputStream()只能获取一次的问题 ayaoxinchao requestInputstream
      问题：在使用HTTP协议实现应用间接口通信时，服务端读取客户端请求过来的数据，会用到request.getInputStream()，第一次读取的时候可以读取到数据，但是接下来的读取操作都读取不到数据   原因： 1. 一个InputStream对象在被读取完成后，将无法被再次读取，始终返回-1； 2. InputStream并没有实现reset方法（可以重
    • 数据库SQL优化大总结之 百万级数据库优化方案 BigBird2012 SQL优化
      网上关于SQL优化的教程很多，但是比较杂乱。近日有空整理了一下，写出来跟大家分享一下，其中有错误和不足的地方，还请大家纠正补充。 这篇文章我花费了大量的时间查找资料、修改、排版，希望大家阅读之后，感觉好的话推荐给更多的人，让更多的人看到、纠正以及补充。 1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where
    • jsonObject的使用 bijian1013 javajson
              在项目中难免会用java处理json格式的数据，因此封装了一个JSONUtil工具类。 JSONUtil.java package com.bijian.json.study; import java.util.ArrayList; import java.util.Date; import java.util.HashMap;
    • [Zookeeper学习笔记之六]Zookeeper源代码分析之Zookeeper.WatchRegistration bit1129 zookeeper
      Zookeeper类是Zookeeper提供给用户访问Zookeeper service的主要API，它包含了如下几个内部类     首先分析它的内部类，从WatchRegistration开始，为指定的znode path注册一个Watcher，   /** * Register a watcher for a particular p
    • 【Scala十三】Scala核心七：部分应用函数 bit1129 scala
      何为部分应用函数？ Partially applied function: A function that’s used in an expression and that misses some of its arguments.For instance, if function f has type Int => Int => Int, then f and f(1) are p
    • Tomcat Error listenerStart 终极大法 ronin47 tomcat
      Tomcat报的错太含糊了，什么错都没报出来，只提示了Error listenerStart。为了调试，我们要获得更详细的日志。可以在WEB-INF/classes目录下新建一个文件叫logging.properties，内容如下 Java代码  handlers = org.apache.juli.FileHandler, java.util.logging.ConsoleHa
    • 不用加减符号实现加减法 BrokenDreams 实现
              今天有群友发了一个问题，要求不用加减符号(包括负号)来实现加减法。         分析一下，先看最简单的情况，假设1+1，按二进制算的话结果是10，可以看到从右往左的第一位变为0，第二位由于进位变为1。    
    • 读《研磨设计模式》-代码笔记-状态模式-State bylijinnan java设计模式
      声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /* 当一个对象的内在状态改变时允许改变其行为，这个对象看起来像是改变了其类 状态模式主要解决的是当控制一个对象状态的条件表达式过于复杂时的情况 把状态的判断逻辑转移到表示不同状态的一系列类中，可以把复杂的判断逻辑简化 如果在
    • CUDA程序block和thread超出硬件允许值时的异常 cherishLC CUDA
      调用CUDA的核函数时指定block 和 thread大小，该大小可以是dim3类型的（三维数组），只用一维时可以是usigned int型的。 以下程序验证了当block或thread大小超出硬件允许值时会产生异常！！！GPU根本不会执行运算！！！ 所以验证结果的正确性很重要！！！ 在VS中创建CUDA项目会有一个模板，里面有更详细的状态验证。 以下程序在K5000GPU上跑的。
    • 诡异的超长时间GC问题定位 chenchao051 jvmcmsGChbaseswap
      HBase的GC策略采用PawNew+CMS, 这是大众化的配置，ParNew经常会出现停顿时间特别长的情况，有时候甚至长到令人发指的地步，例如请看如下日志： 2012-10-17T05:54:54.293+0800: 739594.224: [GC 739606.508: [ParNew: 996800K->110720K(996800K), 178.8826900 secs] 3700
    • maven环境快速搭建 daizj 安装mavne环境配置
      一 下载maven 安装maven之前，要先安装jdk及配置JAVA_HOME环境变量。这个安装和配置java环境不用多说。 maven下载地址：http://maven.apache.org/download.html，目前最新的是这个apache-maven-3.2.5-bin.zip，然后解压在任意位置，最好地址中不要带中文字符，这个做java 的都知道，地址中出现中文会出现很多
    • PHP网站安全，避免PHP网站受到攻击的方法 dcj3sjt126com PHP
      对于PHP网站安全主要存在这样几种攻击方式:1、命令注入(Command Injection)2、eval注入(Eval Injection)3、客户端脚本攻击(Script Insertion)4、跨网站脚本攻击(Cross Site Scripting, XSS)5、SQL注入攻击(SQL injection)6、跨网站请求伪造攻击(Cross Site Request Forgerie
    • yii中给CGridView设置默认的排序根据时间倒序的方法 dcj3sjt126com GridView
      public function searchWithRelated() {         $criteria = new CDbCriteria;         $criteria->together = true; //without th
    • Java集合对象和数组对象的转换 dyy_gusi java集合
          在开发中，我们经常需要将集合对象（List，Set）转换为数组对象，或者将数组对象转换为集合对象。Java提供了相互转换的工具，但是我们使用的时候需要注意，不能乱用滥用。 1、数组对象转换为集合对象     最暴力的方式是new一个集合对象，然后遍历数组，依次将数组中的元素放入到新的集合中，但是这样做显然过
    • nginx同一主机部署多个应用 geeksun nginx
      近日有一需求，需要在一台主机上用nginx部署2个php应用，分别是wordpress和wiki，探索了半天，终于部署好了，下面把过程记录下来。 1.   在nginx下创建vhosts目录，用以放置vhost文件。 mkdir vhosts   2.   修改nginx.conf的配置， 在http节点增加下面内容设置，用来包含vhosts里的配置文件 #
    • ubuntu添加admin权限的用户账号 hongtoushizi ubuntuuseradd
      ubuntu创建账号的方式通常用到两种：useradd 和adduser . 本人尝试了useradd方法，步骤如下： 1:useradd    使用useradd时，如果后面不加任何参数的话，如：sudo useradd sysadm 创建出来的用户将是默认的三无用户：无home directory ,无密码,无系统shell。 顾应该如下操作：  
    • 第五章 常用Lua开发库2-JSON库、编码转换、字符串处理 jinnianshilongnian nginxlua
        JSON库   在进行数据传输时JSON格式目前应用广泛，因此从Lua对象与JSON字符串之间相互转换是一个非常常见的功能；目前Lua也有几个JSON库，本人用过cjson、dkjson。其中cjson的语法严格（比如unicode \u0020\u7eaf），要求符合规范否则会解析失败（如\u002），而dkjson相对宽松，当然也可以通过修改cjson的源码来完成
    • Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解 yaerfeng1989 timerquartz定时器
      原创整理不易，转载请注明出处：Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解 代码下载地址：http://www.zuidaima.com/share/1772648445103104.htm 有两种流行Spring定时器配置：Java的Timer类和OpenSymphony的Quartz。 1.Java Timer定时 首先继承jav
    • Linux下df与du两个命令的差别？ pda158 linux
      　一、df显示文件系统的使用情况，与du比較，就是更全盘化。 　　最经常使用的就是 df -T，显示文件系统的使用情况并显示文件系统的类型。 　　举比例如以下： 　　[root@localhost ~]# df -T 　　Filesystem                   Type &n
    • [转]SQLite的工具类 ---- 通过反射把Cursor封装到VO对象 ctfzh VOandroidsqlite反射Cursor
      在写DAO层时，觉得从Cursor里一个一个的取出字段值再装到VO(值对象)里太麻烦了，就写了一个工具类，用到了反射，可以把查询记录的值装到对应的VO里，也可以生成该VO的List。   使用时需要注意： 考虑到Android的性能问题，VO没有使用Setter和Getter，而是直接用public的属性。 表中的字段名需要和VO的属性名一样，要是不一样就得在查询的SQL中
    • 该学习笔记用到的Employee表 vipbooks oraclesql工作
          这是我在学习Oracle是用到的Employee表，在该笔记中用到的就是这张表，大家可以用它来学习和练习。 drop table Employee; -- 员工信息表 create table Employee( -- 员工编号 EmpNo number(3) primary key, -- 姓