在对HBase进行操作之前,首先学习一下HBase的基础架构和运行原理。这里讲解了
HBase 在大数据生态圈中的位置
HBase 与传统关系数据库的区别
HBase 相关的模块以及 HBase 表格的特性
row-key,hfile,cloumn-family,Master,Region Server相关概念
zookeeper在其中的作用
HBase存数据的原理
row-key设计方案
1、Row Key 与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行,只有三种方式:
通过单个row key访问
通过row key的range
全表扫描
Row key行键 (Row key)可以是任意字符串(最大长度是 64KB,实际应用中长度一般为 10-100bytes),在hbase内部,row key保存为字节数组。 存储时,数据按照Row key的字典序(byte order)排序存储。设计key时,要充分排序存储这个特性,将经常一起读取的行存储放到一起。(位置相关性)
字典序对int排序的结果是 1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序,行键必须用0作左填充。 行的一次读写是原子操作 (不论一次读写多少列)。这个设计决策能够使用户很容易的理解程序在对同一个行进行并发更新操作时的行为。
2、列族 column family hbase表中的每个列,都归属与某个列族。列族是表的chema的一部分(而列不是),必须在使用表之前定义。列名都以列族作为前缀。例如courses:history,courses:math都属于courses这个列族。 访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中,列族上的控制权限能帮助我们管理不同类型的应用:我们允许一些应用可以添加新的基本数据、一些应用可以读取基本数据并创建继承的列族、一些应用则只允许浏览数据(甚至可能因为隐私的原因不能浏览所有数据)。
3、单元 Cell HBase中通过row和columns确定的为一个存贮单元称为cell。由{row key, column( = + ), version} 唯一确定的单元。cell中的数据是没有类型的,全部是字节码形式存贮。
4、时间戳 timestamp 每个cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值,此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突,就必须自己生成具有唯一性的时间戳。每个cell中,不同版本的数据按照时间倒序排序,即最新的数据排在最前面。
为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担,hbase提供了两种数据版本回收方式。一是保存数据的最后n个版本,二是保存最近一段时间内的版本(比如最近七天)。用户可以针对每个列族进行设置。
安装HBase
HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。所以安装HBase之前还需要安装zookeeper和hdfs。
如果是Apache hadoop就下载相应文件并修改配置文件安装。我用的是cloudera hadoo就直接在集群管理界面添加服务。
HBase shell命令使用
HBase shell是HBase的一套命令行工具,类似传统数据中的sql概念,可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后,如果配置了HBase的环境变量,只要在shell中执行hbase shell
就可以进入命令行界面。需要注意的是HBase的交互界面删除键改为了Ctrl + Backspace组合
用status命令看一下集群是否正常
查看HBase版本
创建数据库(命名空间) 在HBase中,namespace命名空间指对一组表的逻辑分组,类似RDBMS中的database,方便对表在业务上划分。HBase系统默认定义了两个缺省的namespace 1.hbase:系统内建表,包括namespace和meta表 2.default:用户建表时未指定namespace的表都创建在此 使用名list_namespace
列出所有的namespace
使用命令create_namespace 'my_test'
创建数据库(命名空间)
删除数据库 使用命令drop_namespace 'my_test'
创建数据库(命名空间)
创建学生信息表 rowkey要求是学号,一个列簇,包含姓名、性别、年龄、地址。 语法:create ‘
’,’’
通过list命令查看所有表。
删除表 首先使用命令disable '表名'
禁用表,禁用表之后,仍然可以通过 list 和exists命令查看到。 然后使用命令drop '表名'
删除表
插入记录 命令put 'student','2016211883','info:name','stu1'
表示插入表名为student,rowkey为2016211880(没有则创建)的行,列簇info下面的列name的值为stu1. 按照此格式依次添加10个学生,rowkey依次为2016211880-2016211889,并同时添加姓名、性别、年龄、地址。
删除记录 删除某个属性的记录delete ‘
’, ‘’, ‘’, ‘’
删除行deleteall 'table_name','row'
修改记录 命令put ‘table name’,’row ’,'Column family:column name',’new value’
将rowkey为2016211880的info簇的name属性修改为stu1
查询记录 使用命令get 'student','2016211883'
查看是否成功插入记录。 其中第一个字段填写查询记录的表,第二字段填写记录的rowkey
也可以使用命令get 'student','2016211883','info'
获取指定rowkey和列簇的信息
扫描 scan 命令用于查看HTable数据。使用 scan 命令可以得到表中的数据。它的语法如下: scan ‘
’
统计表的行数 count 'table_name'
清空表 truncate 'table_name'
Python对HBase的操作 启动thrift thrift是用于可伸缩的跨语言服务开发框架。 首先需要安装thrift,而安装thrift之前还需要安装thrift的很多依赖,详见这里。 但是很多情况下已经帮你安装好了thrift(可能是安装操作系统或者安装hadoop的时候),所以你只需要去开启就是了,不能开启再去安装。
第一次开启报了个这个错,原因是JAVA_HOME没有配置或者低于1.7,所以去/etc/profile或者hbase的conf下hbase-env.sh加上JAVA_HOME就可以了。
就成功启动了thrift。
编写python程序 这里需要用pip导入需要的包
pip install thrift
pip install hbase-thrift
编写好后运行说语法错误,但是自己的语法并没有错,跟着错误点进了hbase包的源码,发现是python2版本的语法,在网上搜了一下,说是把hbase里的Hbase.py和ttypes.py换成python3的即可,于是去python存放第三方包的地方换了,随后就可以了。
from thrift.transport import TSocket,TTransport
from thrift.protocol import TBinaryProtocol
from hbase import Hbase
# thrift默认端口是9090
socket = TSocket.TSocket('192.168.233.100',9090)
socket.setTimeout(5000)
transport = TTransport.TBufferedTransport(socket)
protocol = TBinaryProtocol.TBinaryProtocol(transport)
client = Hbase.Client(protocol)
socket.open()
print(client.getTableNames())
print(client.get('student','2016211880','info:name'))
其他的操作和HBase shell差不多,只要拿到了
client = Hbase.Client(protocol)
中的client,其它的操作只是换成了函数调用形式而已。
获取所有表 getTableNames()
可以获取所有表
创建表 createTable(tbaleName,columnFamilies):
创建表,无返回值 tableName:表名 columnFamilies:列族信息,为一个ColumnDescriptor列表
column = ColumnDescriptor(name='row1')
client.createTable('tb1',[column])
这里需要注意,不能直接像HBase shell一样传入字符串作为列簇,而是要先用函数ColumnDescriptor(需要导入from hbase.ttypes import ColumnDescriptor
)生成列簇对象,然后作为参数传入进去。
删除表 disableTable(tbaleName)
首先禁用表 deleteTable(tbaleName)
删除指定表
print('before',client.getTableNames())
client.disableTable('tb1')
client.deleteTable('tb1')
print('after',client.getTableNames())
插入记录 mutateRow(tableName,row,mutations):在表中指定行执行一系列的变化操作。如果抛出异常,则事务被中止。使用默认的当前时间戳,所有条目将具有相同的时间戳。无返回值 tableName:表名 row:行 mutations:变化,list
print('before',client.get('student','2016000','info:name'))
mutation = Mutation(column='info:name',value='inset_name') 这里需要注意,以前的参数是name和value,现在改为了column和value
client.mutateRow('student','2016000',[mutation])
print('after',client.get('student','2016000','info:name'))
先把需要插入的列簇信息封装为Mutation对象(需要导入from hbase.ttypes import Mutation
),再插入表student,2016000行。
修改记录 修改记录和刚刚上面的插入记录一样,只是把需要修改的信息封装在Mutation即可。
print('before',client.get('student','2016000','info:name'))
mutation = Mutation(column='info:name',value='update_name')
client.mutateRow('student','2016000',[mutation])
print('after',client.get('student','2016000','info:name'))
查询记录 getRow(tableName,row):获取表中指定行在最新时间戳上的数据。返回一个hbase.ttypes.TRowResult对象列表,如果行号不存在返回一个空列表 tableName:表名 row:行 print(client.getRow('student','2016211880'))
[TRowResult(row='2016211880', columns={'info:add': TCell(value='xxx', timestamp=1534856603503), 'info:age': TCell(value='20', timestamp=1534856521857), 'info:gender': TCell(value='m', timestamp=1534856178334), 'info:name': TCell(value='stu0', timestamp=1534860070457)})]
这样可以获取一个列的所有信息,也可以获取指定信息。 print(client.get('student','2016211880','info:name'))
[TCell(value='stu0', timestamp=1534860070457)]
还可以获取所有信息后一个一个取出来
# 行
row = '2016211880'
# 查询结果
result = client.getRow('student',row) # result为一个列表
for item in result: # item为hbase.ttypes.TRowResult对象
print(item.row)
print(item.columns.get('info:name').value ) # 获取值。item.columns.get('cf:a')为一个hbase.ttypes.TCell对象
print(item.columns.get('info:name').timestamp ) # 获取时间戳。item.columns.get('cf:a')为一个hbase.ttypes.TCell对象
扫描 scannerOpen(tableName,startRow,columns):在指定表中,从指定行开始扫描,到表中最后一行结束,扫描指定列的数据。返回一个ScannerID,int类型 tableName:表名 startRow:起始行 columns:列名列表,list类型 scannerId = client.scannerOpen('student','2016211880',["info:name","info:age"])
获取ScannerID后,根据ScannerID来获取结果,scannerGet(id):返回一个hbase.ttypes.TRowResult对象列表
scannerId = client.scannerOpen('student','2016211880',["info:name","info:age"])
while True:
result = client.scannerGet(scannerId)
if not result:
break
print(result)
结果
[TRowResult(row='2016211880', columns={'info:age': TCell(value='20', timestamp=1534856521857), 'info:name': TCell(value='stu0', timestamp=1534860070457)})]
[TRowResult(row='2016211881', columns={'info:age': TCell(value='18', timestamp=1534856521887), 'info:name': TCell(value='stu1', timestamp=1534855473518)})]
[TRowResult(row='2016211882', columns={'info:age': TCell(value='18', timestamp=1534856521912), 'info:name': TCell(value='stu2', timestamp=1534855311597)})]
[TRowResult(row='2016211883', columns={'info:age': TCell(value='18', timestamp=1534856521940), 'info:name': TCell(value='stu3', timestamp=1534855469567)})]
[TRowResult(row='2016211884', columns={'info:age': TCell(value='18', timestamp=1534856521969), 'info:name': TCell(value='stu4', timestamp=1534855469670)})]
[TRowResult(row='2016211885', columns={'info:age': TCell(value='18', timestamp=1534856521993), 'info:name': TCell(value='stu5', timestamp=1534855469700)})]
[TRowResult(row='2016211886', columns={'info:age': TCell(value='19', timestamp=1534856522018), 'info:name': TCell(value='stu6', timestamp=1534855469732)})]
[TRowResult(row='2016211887', columns={'info:age': TCell(value='21', timestamp=1534856522042), 'info:name': TCell(value='stu7', timestamp=1534855469761)})]
[TRowResult(row='2016211888', columns={'info:age': TCell(value='22', timestamp=1534856522191), 'info:name': TCell(value='stu8', timestamp=1534855469791)})]
[TRowResult(row='2016211889', columns={'info:age': TCell(value='21', timestamp=1534856523296), 'info:name': TCell(value='stu9', timestamp=1534855469828)})]
其它的操作都和shell差不多,只是换成了函数形式,使用时可以查阅API文档。
HBase预分区 HBase中,表会被划分为1…n个Region,被托管在RegionServer中。Region二个重要的属性:StartKey与 EndKey表示这个Region维护的rowKey范围,当我们要读/写数据时,如果rowKey落在某个start-end key范围内,那么就会定位到目标region并且读/写到相关的数据。 HBase默认建表时有一个region,这个region的rowkey是没有边界的,即没有startkey和endkey,在数据写入时,所有数据都会写入这个默认的region,随着数据量的不断 增加,此region已经不能承受不断增长的数据量,会进行split,分成2个region。在此过程中,会产生两个问题:1.数据往一个region上写,会有写热点问题。2.region split会消耗宝贵的集群I/O资源。基于此我们可以控制在建表的时候,创建多个空region,并确定每个region的起始和终止rowky,这样只要我们的rowkey设计能均匀的命中各个region,就不会存在写热点问题。自然split的几率也会大大降低。当然随着数据量的不断增长,该split的还是要进行split。像这样预先创建hbase表分区的方式,称之为预分区。
预分区步骤
规划hbase预分区 首先就是要想明白数据的key是如何分布的,然后规划一下要分成多少region,每个region的startkey和endkey是多少,然后将规划的key写到一个文件中。比如,key的前几位字符串都是从2016211880~2016211889的数字,这样可以分成4个region,划分key的文件如下:
#只是在分区比较多的时候需要这么做。分区少的情况下可以直接在生成表的时候直接用SPLITS分区
2016211882|
2016211884|
2016211886|
2016211888|
因为在ASCII码中,"|"的值是124,大于所有的数字和字母等符号,当然也可以用“~”(ASCII-126)。分隔文件的第一行为第一个region的stopkey,每行依次类推,最后一行不仅是倒数第二个region的stopkey,同时也是最后一个region的startkey。也就是说分区文件中填的都是key取值范围的分隔点。
HBase中建分区表,指定分区文件 和以前创建普通表一样,只是创建的时候多了一个参数,指明了分区的信息。 create 'sort_table','info',SPLITS=>['2016211882','2016211884','2016211886','2016211888']
这里的分区表示方法也可以换成文件替代。 create 'split_table_test', 'cf', {SPLITS_FILE => 'region_split_info.txt'}
去主节点60010端口下查看分区成功。
接着插入一条数据试一试 put 'sort_table','2016211885','info:add','xxx'
数据插入到了指定的分区当中。
你可能感兴趣的:(HBase学习笔记)
linux的apache安装,Apache Kylin | 安装指南
姜白的树洞
linux的apache安装
软件要求Hadoop:2.7+,3.1+(sincev2.5)Hive:0.13-1.2.1+HBase:1.1+,2.0(sincev2.5)Spark(可选)2.3.0+Kafka(可选)1.0.0+(sincev2.5)JDK:1.8+(sincev2.5)OS:Linuxonly,CentOS6.5+orUbuntu16.0.4+在HortonworksHDP2.2-2.6and3.0,C
kylin linux 安装教程,Apache Kylin | 安装指南
社本
kylin linux 安装教程
软件要求Hadoop:2.7+Hive:0.13-1.2.1+HBase:1.1+Spark2.1.1+JDK:1.7+OS:Linuxonly,CentOS6.5+orUbuntu16.0.4+用HortonworksHDP2.2-2.6,ClouderaCDH5.7-5.11,AWSEMR5.7-5.10,AzureHDInsight3.5-3.6进行测试。出于试用和开发的目的,我们建议您使用
CentOS 7.6用户管理指令
2301_80069458
linux 服务器 学习
#学习笔记#一、用户添加useradd用户名二、给用户指定密码passwd用户名三、删除用户1、仅删除用户不删除用户家目录(此处用户家目录可以理解为用户的数据,通常情况下建议保留)userdel用户名2、输出用户并且删除用户家目录userdel-r用户名四、切换用户1、从当前用户切换到另一个用户上(从权限高的用户切换到权限低的用户无需输入密码,反之需要输入密码)su-用户名2、从切换的账户上退回到
【 书生·浦语大模型实战营】学习笔记(三):“茴香豆” 搭建你的RAG 智能助理
GoAI
自然语言处理NLP 深入浅出AI 深入浅出LLM 深度学习 LLM 人工智能 大模型
AI学习星球推荐:GoAI的学习社区知识星球是一个致力于提供《机器学习|深度学习|CV|NLP|大模型|多模态|AIGC》各个最新AI方向综述、论文等成体系的学习资料,配有全面而有深度的专栏内容,包括不限于前沿论文解读、资料共享、行业最新动态以、实践教程、求职相关(简历撰写技巧、面经资料与心得)多方面综合学习平台,强烈推荐AI小白及AI爱好者学习,性价比非常高!加入星球➡️点击链接【书生·
零基础学Python学习笔记
小陌白
机器学习 python 学习 开发语言
Python学习笔记代码下载地址链接:https://pan.baidu.com/s/1yGnpfq4ZHeKpt4V0J_PTSg提取码:hmzs1.Python基础语法1.1基本数据类型整数(int):8浮点数(float):8.8字符串(str):“8”“Python”布尔值(bool):TrueFalseprint(type(int('8')))#将字符串8转化为整型print(type(
python学习笔记
YYYYYY02020
python 学习 笔记
1print不用添加";",但是加了也行print("666")print('666')print("6'6'6")print("6\"6\'6")print("""666666555""")print("张三"+"李四")2math#引入函数库importmatha=1b=2c=3#b**2就是b的平方x=(-b+(b**2-4*a*c)**(1/2))/2*ax=(-b+math.sqrt(b
人工智能导论--第1章-知识点与学习笔记
想拿高薪的韭菜
人工智能 学习 笔记
请根据教材内容,完成进行下面的作业任务。必须包含有教材的具体内容,不能是生成式AI系统的生成内容。参考教材1.1节的内容介绍,谈谈你对“智能”的认识。思维能力是智能的重要特征之一,结合教材1.1.2节内容,从思维的定义、分类及其特点等角度,阐述思维的含义。参考教材1.1.3节的内容介绍,名词解析“人工智能”。参考教材1.2节的内容介绍,介绍人工智能的发展简史。参考教材1.3节的内容介绍,人工智能作
Node+puppeteer学习笔记(九)--使用-Python3 + Pyppeteer
温柔夏目
Puppeteer
因为我是Python流,自动化都是基于Python的,所以一直在关注Puppeteer这个包是否会被Python支持,然后我就在官网上找到了Pyppeteer这个包,因为修改了第二个字母,差点没认出来,这个包其实就是根据Puppeteer实现的地址如下:官方GitHub仓库:https://github.com/miyakogi/pyppeteer.官方API地址:https://miyakogi
【Spring Cloud 10】阿里巴巴分布式服务架构流量控件Sentinel,B站黑马程序员学习笔记
2501_90252715
spring cloud 架构 sentinel
貌似还是他更强一些,不过没关系,加油!所以,今天开启为期一个月的博客疯狂之旅。一、百度百科Sentinel是面向分布式服务架构的高可用流量防护组件,主要以流量为切入点,从限流、流量整形、熔断降级、系统负载保护、热点防护等多个维度来帮助开发者保障微服务的稳定性。Sentinel具有以下特性:丰富的应用场景:Sentinel承接了阿里巴巴近10年的双十一大促流量的核心场景,例如秒杀(即突发流量控制在系
C# 学习笔记
c#
pictureBox显示不出图片从网上找了一段代码,复制进visualstudio,显示本地的图片,结果始终显示不出来,查了好久,终于发现在Form1的构造函数中多了一个“InitializeComponent();”,删除就好了!消耗了太多时间。
Hadoop---(6)Sqoop(数据传输)
Mr Cao
sqoop 大数据
6.SqoopSqoop是一个用于hadoop数据和结构化数据之间转换的工具。全称SQL-TO-HADOOP.它可以把hadoop数据,包括hive和hbase存储的数据转化为结构化数据也就是数据库的数据,也可以把关系型数据库数据转化为hadoop数据这些转换操作全是通过Hadoop的MapTask来完成的,并不会涉及到Reduce操作。这是因为我们只是进行数据的拷贝,并不会对数据进行处理或者计算
你怎么比较MongoDB、CouchDB及CouchBase?思维导图 代码示例(java 架构)
用心去追梦
mongodb java 架构
MongoDB、CouchDB和Couchbase是三种流行的NoSQL数据库,它们各自有着独特的设计哲学和技术特点。以下是它们之间的比较,涵盖了架构、数据模型、查询语言、复制机制、扩展性以及其他关键特性。MongoDB、CouchDB及Couchbase比较-思维导图概要您可以创建一个以“MongoDBvs.CouchDBvs.Couchbase”为核心节点的思维导图,并根据以下分类展开:概述简
Python学习笔记 - 探索正则表达式对象和对象匹配
Mr数据杨
Python 编程基础 正则表达式 python 正则 re
在文本处理和数据清洗任务中,正则表达式无疑是一把锋利的“瑞士军刀”。它不仅能够简洁地表达复杂的字符串匹配规则,还可以在各种编程语言中实现高效的文本处理。在Python中,re库提供了强大的正则表达式功能,允许开发者轻松进行模式匹配、数据提取、验证等操作。本教程将深入探讨Python中正则表达式的高级功能,尤其是如何使用正则表达式对象及其方法来高效处理文本。我们将详细讲解如何通过re.compile
python学习笔记——input()函数详解
blankcookie
学习 笔记
1.input()函数概述功能:从标准输入中读取字符串,并且去掉末尾的换行符,最后返回数据数据类型:str-字符串2.input()函数的使用介绍方法1:直接使用input()函数print("Howoldareyou?")age=input()print(f"so,you're{age}old.")print(type(age))执行:2.方法2:带有提示词的使用input()函数print("
PCB行业龙头企业*IoTDB | 利用 IoTDB 替换HBase,打破查询功能局限性
Apache IoTDB
用户案例 数据库 大数据 人工智能 数据分析 java
某PCB行业国内龙头上市企业主营印制线路板(PCB)生产、加工业务。其中,时序数据主要产生于生产设备采集的运行参数(温度、压力等)和检验设备采集的产品批次信息。在原有解决方案存在局限性的情况下,基于IoTDB时序数据库的特点和优势,该公司选择使用IoTDB作为其生产与质量分析系统的时序数据处理方案。使用此方案将有效提高存储与查询维度的性能。1业务需求痛点1.1查询无法支持SQL语言时序数据的查询功
hbase无法建表:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
magicchu
CDH HBASE 大数据
1.环境:cdh6.2.12.现象:hbaseshell进去后,list命令执行正常,执行建表语句后报错:ERROR:org.apache.hadoop.hbase.PleaseHoldException:Masterisinitializing提示master正在初始化中,查看master日志:WARNorg.apache.hadoop.hbase.master.HMaster:hbase:na
光纤通信系统架构
柠檬芭乐绿
网络 信息与通信
#学习笔记系统架构光纤通信系统是一种利用光作为载波,通过光纤作为传输媒介来传输信息的通信系统。传输系统基本组成:信号发射端、传输光纤、光纤放大器、接收端信号解调一、信号发射端信号发射端是光纤通信系统的起点,主要负责将电信号转换为光信号,以便在光纤中传输。其主要组成部分包括:光源:光源是光纤通信系统的起点,负责产生光信号。常用的光源有激光器(如半导体激光器LD、垂直腔面发射激光器VCSELs、光纤激
Web性能优化-详细讲解与实用方法-MDN文档学习笔记
LoveEmiliaForever
MDN前端入门文档 前端 性能优化 学习 笔记
Web性能优化查看更多学习笔记:GitHub:LoveEmiliaForeverMDN中文官网性能优良的网站能够提高访问者留存和用户满意度,减少客户端和服务器之间传输的数据量可降低各方的成本不同的业务目标和用户需求需要不同的性能度量,要提高网站性能,你需要了解用户体验、加载和渲染性能,以及如何将性能度量与业务指标结合起来什么是Web性能减少总体负载时间一般策略是使文件尽可能小,尽可能减少HTTP请
[C++]DirectX 12 3D游戏开发实战—第12章 学习笔记01 2019.5.7
卡酷酷
DirectX12 C++
个人学习用,请勿转载第十二章几何着色器词汇曲面细分:tenssellation几何着色器:geometryshader三角形列表:trainglelist内容如果不启用曲面细分这一环节,几何着色器这个可选阶段会位于顶点着色器与像素着色器之间。顶点着色器以顶点作为输入数据,而几何着色器的输入数据则是完整的图元。如果要绘制三角形列表,那么几何着色器程序实际将对列表中的每个三角形T执行下列操作:for(
[C++]DirectX 12 3D游戏开发实战—第12章 学习笔记02 2019.5.8
卡酷酷
C++ DirectX12
个人学习使用,请勿转载12.3纹理数组12.3.1概述纹理数组即为存放纹理的数组。C++代码中纹理数组也由ID3D12Resource接口表示,创建ID3D12Resource对象时,可以通过设置DepthArraySize属性指定纹理数组所存储的元素个数。在d3dApp文件中创建深度/纹理模板时总是将该值设为1。CreateD3DResource12函数。Texture2DArraygTreeM
[C++]DirectX 12 3D游戏开发实战—第9章 学习笔记03 2019.5.4
卡酷酷
DirectX12 C++
@个人学习用,请勿转赞。DirectX123D游戏开发实战—第9章学习笔记03词汇内容9.11附有纹理的山川演示程序给陆地网格重复铺设草地纹理根据时间函数令流水纹理延波浪滚动起来9.11.1生成栅格纹理坐标上图是一个m*n的栅格,右侧是在归一化纹理坐标[0,1]2中与之相对应的栅格。纹理坐标中的第i行第j列顶点坐标为uij=j⋅δuu_{ij}=j·\deltauuij=
机器学习笔记——特征工程
好评笔记
补档 机器学习 人工智能 论文阅读 AIGC transformer 深度学习 面试
大家好,这里是好评笔记,公主号:Goodnote,专栏文章私信限时Free。本笔记介绍机器学习中常见的特征工程方法、正则化方法和简要介绍强化学习。文章目录特征工程(FzeatureEngineering)1.特征提取(FeatureExtraction)手工特征提取(ManualFeatureExtraction):自动特征提取(AutomatedFeatureExtraction):2.特征选择
严恭敏老师PSINS工具箱学习笔记-1
嘀嗒zxy
惯导 学习 笔记 matlab
PSINS工具箱学习与使用刚开始入门惯性导航算法,看了一些书但实践出了一些问题,经推荐了解到西工大严恭敏老师的PSINS工具箱很适合自学,就在网上找了一些相关资料,很全。网址:http://www.psins.org.cn/syb站介绍:https://www.bilibili.com/video/BV1R54y1E7ut/?vd_source=6ce8821b81ac808150f82236f5
【转摘】域名服务器配置学习笔记
weixin_30725467
数据库 嵌入式 运维
括看相关的rfc文件,一看和dns相关的rfc文件,妈呀,居然有86个之多。能看多少是多少吧。先把DNS的原理研究透彻了。在看rfc文件我想会事半功倍的:)1.ICANN是干什么的?和他的一些相关资讯?ICANN全称是叫:InternetCorporationforAssignedNamesandNumbers(互联网名称与数字地址分配机构),是一个非盈利性的国际组织,负责互联网协议(IP)地址的
HBase Shell基本操作
wanglingli95
大数据开发 hbase 数据库 大数据
一、进入HbaseShell客户端先在LinuxShell命令行终端执行start-dfs.sh脚本启动HDFS,再执行start-hbase.sh脚本启动HBase。如果Linux系统已配置HBase环境变量,可直接在任意目录下执行hbaseshell脚本命令,就可进入HBaseShell的命令行终端环境,exit可以退出HBaseShell(我安装的是伪分布式的HBase)。(1)help帮助
安装HBase-2.4.12 (hadoop3.3.1)
不饿同学
大数据 hbase big data hadoop
1.下载https://www.apache.org/dyn/closer.lua/hbase/2.4.12/hbase-2.4.12-bin.tar.gz节点角色配置节点MasterZooKeeperRegionServernode001yesyesyesnode002backupyesyesnode003noyesyes2.解压下载的文件,并切换到新创建的目录。(base)[root@node
HBase基础shell命令
凡许真
hbase 数据库 大数据
文章目录前言一、基本命令1.创建名称空间2.删除名称空间3.查询名称空间下的所有的表4.列出所有表5.查看表是否存在6.查询表中的记录数7.创建表8.删除表(先禁再删)9.新增/修改数据10.查询一行数据11.删除特定单元格12.删除一整行数据前言hbaseshell命令一、基本命令1.创建名称空间create_namespace'env_test'2.删除名称空间drop_namespace'e
Web前端最全Koa 基础篇(二)—— 路由与中间件(1),前端组件化架构实践
2401_84447112
程序员 前端 中间件 架构
最后如果你已经下定决心要转行做编程行业,在最开始的时候就要对自己的学习有一个基本的规划,还要对这个行业的技术需求有一个基本的了解。有一个已就业为目的的学习目标,然后为之努力,坚持到底。如果你有幸看到这篇文章,希望对你有所帮助,祝你转行成功。开源分享:【大厂前端面试题解析+核心总结学习笔记+真实项目实战+最新讲解视频】基本使用router.get(“/”,asyncctx=>{ctx.body=“h
Hadoop HA 架构
weixin_30569033
shell 大数据
为什么要用集群?企业里面,多台机器伪分布式每一个角色都是一个进程HDFS:NNSNNDNYARN:RMNM大数据所有组件,都是主从架构master-slaveHDFS读写请求都是先到NN节点,但是,HBase读写请求不是经过master,建表和删除表是需要经过masterNN节点挂了,就不能提供对外服务(-put,-get)需要配置两个NN节点(实时的,任何时刻只有一台active对外,另外一台是
侯捷 C++ 课程学习笔记:深入理解 C++ 核心技术与实战应用
不能只会打代码
其他 java jvm 开发语言 侯捷 C++ 课程学习笔记
目录引言第一章:C++基础回顾1.1C++的历史与发展1.2C++的核心特性1.3C++的编译与执行第二章:面向对象编程2.1类与对象2.2构造函数与析构函数2.3继承与多态第三章:泛型编程与模板3.1函数模板3.2类模板3.3STL容器与算法第四章:高级特性4.1智能指针4.2移动语义与右值引用4.3Lambda表达式第五章:实战应用5.1项目结构设计5.2性能优化5.3调试与测试第六章:学习心
深入浅出Java Annotation(元注解和自定义注解)
Josh_Persistence
Java Annotation 元注解 自定义注解
一、基本概述
Annontation是Java5开始引入的新特征。中文名称一般叫注解。它提供了一种安全的类似注释的机制,用来将任何的信息或元数据(metadata)与程序元素(类、方法、成员变量等)进行关联。
更通俗的意思是为程序的元素(类、方法、成员变量)加上更直观更明了的说明,这些说明信息是与程序的业务逻辑无关,并且是供指定的工具或
mysql优化特定类型的查询
annan211
java 工作 mysql
本节所介绍的查询优化的技巧都是和特定版本相关的,所以对于未来mysql的版本未必适用。
1 优化count查询
对于count这个函数的网上的大部分资料都是错误的或者是理解的都是一知半解的。在做优化之前我们先来看看
真正的count()函数的作用到底是什么。
count()是一个特殊的函数,有两种非常不同的作用,他可以统计某个列值的数量,也可以统计行数。
在统
MAC下安装多版本JDK和切换几种方式
棋子chessman
jdk
环境:
MAC AIR,OS X 10.10,64位
历史:
过去 Mac 上的 Java 都是由 Apple 自己提供,只支持到 Java 6,并且OS X 10.7 开始系统并不自带(而是可选安装)(原自带的是1.6)。
后来 Apple 加入 OpenJDK 继续支持 Java 6,而 Java 7 将由 Oracle 负责提供。
在终端中输入jav
javaScript (1)
Array_06
JavaScript java 浏览器
JavaScript
1、运算符
运算符就是完成操作的一系列符号,它有七类: 赋值运算符(=,+=,-=,*=,/=,%=,<<=,>>=,|=,&=)、算术运算符(+,-,*,/,++,--,%)、比较运算符(>,<,<=,>=,==,===,!=,!==)、逻辑运算符(||,&&,!)、条件运算(?:)、位
国内顶级代码分享网站
袁潇含
java jdk oracle .net PHP
现在国内很多开源网站感觉都是为了利益而做的
当然利益是肯定的,否则谁也不会免费的去做网站
&
Elasticsearch、MongoDB和Hadoop比较
随意而生
mongodb hadoop 搜索引擎
IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性,避免落大部队太远,我们看到了不同技术之间的边际的模糊化。假如你有诸如Elasticsearch或者Solr这样的搜索引擎,它们存储着JSON文档,MongoDB存着JSON文档,或者一堆JSON文档存放在一个Hadoop集群的HDFS中。你可以使用这三种配
mac os 系统科研软件总结
张亚雄
mac os
1.1 Microsoft Office for Mac 2011
大客户版,自行搜索。
1.2 Latex (MacTex):
系统环境:https://tug.org/mactex/
&nb
Maven实战(四)生命周期
AdyZhang
maven
1. 三套生命周期 Maven拥有三套相互独立的生命周期,它们分别为clean,default和site。 每个生命周期包含一些阶段,这些阶段是有顺序的,并且后面的阶段依赖于前面的阶段,用户和Maven最直接的交互方式就是调用这些生命周期阶段。 以clean生命周期为例,它包含的阶段有pre-clean, clean 和 post
Linux下Jenkins迁移
aijuans
Jenkins
1. 将Jenkins程序目录copy过去 源程序在/export/data/tomcatRoot/ofctest-jenkins.jd.com下面 tar -cvzf jenkins.tar.gz ofctest-jenkins.jd.com &
request.getInputStream()只能获取一次的问题
ayaoxinchao
request Inputstream
问题:在使用HTTP协议实现应用间接口通信时,服务端读取客户端请求过来的数据,会用到request.getInputStream(),第一次读取的时候可以读取到数据,但是接下来的读取操作都读取不到数据
原因: 1. 一个InputStream对象在被读取完成后,将无法被再次读取,始终返回-1; 2. InputStream并没有实现reset方法(可以重
数据库SQL优化大总结之 百万级数据库优化方案
BigBird2012
SQL优化
网上关于SQL优化的教程很多,但是比较杂乱。近日有空整理了一下,写出来跟大家分享一下,其中有错误和不足的地方,还请大家纠正补充。
这篇文章我花费了大量的时间查找资料、修改、排版,希望大家阅读之后,感觉好的话推荐给更多的人,让更多的人看到、纠正以及补充。
1.对查询进行优化,要尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。
2.应尽量避免在 where
jsonObject的使用
bijian1013
java json
在项目中难免会用java处理json格式的数据,因此封装了一个JSONUtil工具类。
JSONUtil.java
package com.bijian.json.study;
import java.util.ArrayList;
import java.util.Date;
import java.util.HashMap;
[Zookeeper学习笔记之六]Zookeeper源代码分析之Zookeeper.WatchRegistration
bit1129
zookeeper
Zookeeper类是Zookeeper提供给用户访问Zookeeper service的主要API,它包含了如下几个内部类
首先分析它的内部类,从WatchRegistration开始,为指定的znode path注册一个Watcher,
/**
* Register a watcher for a particular p
【Scala十三】Scala核心七:部分应用函数
bit1129
scala
何为部分应用函数?
Partially applied function: A function that’s used in an expression and that misses some of its arguments.For instance, if function f has type Int => Int => Int, then f and f(1) are p
Tomcat Error listenerStart 终极大法
ronin47
tomcat
Tomcat报的错太含糊了,什么错都没报出来,只提示了Error listenerStart。为了调试,我们要获得更详细的日志。可以在WEB-INF/classes目录下新建一个文件叫logging.properties,内容如下
Java代码
handlers = org.apache.juli.FileHandler, java.util.logging.ConsoleHa
不用加减符号实现加减法
BrokenDreams
实现
今天有群友发了一个问题,要求不用加减符号(包括负号)来实现加减法。
分析一下,先看最简单的情况,假设1+1,按二进制算的话结果是10,可以看到从右往左的第一位变为0,第二位由于进位变为1。
读《研磨设计模式》-代码笔记-状态模式-State
bylijinnan
java 设计模式
声明: 本文只为方便我个人查阅和理解,详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/
/*
当一个对象的内在状态改变时允许改变其行为,这个对象看起来像是改变了其类
状态模式主要解决的是当控制一个对象状态的条件表达式过于复杂时的情况
把状态的判断逻辑转移到表示不同状态的一系列类中,可以把复杂的判断逻辑简化
如果在
CUDA程序block和thread超出硬件允许值时的异常
cherishLC
CUDA
调用CUDA的核函数时指定block 和 thread大小,该大小可以是dim3类型的(三维数组),只用一维时可以是usigned int型的。
以下程序验证了当block或thread大小超出硬件允许值时会产生异常!!!GPU根本不会执行运算!!!
所以验证结果的正确性很重要!!!
在VS中创建CUDA项目会有一个模板,里面有更详细的状态验证。
以下程序在K5000GPU上跑的。
诡异的超长时间GC问题定位
chenchao051
jvm cms GC hbase swap
HBase的GC策略采用PawNew+CMS, 这是大众化的配置,ParNew经常会出现停顿时间特别长的情况,有时候甚至长到令人发指的地步,例如请看如下日志:
2012-10-17T05:54:54.293+0800: 739594.224: [GC 739606.508: [ParNew: 996800K->110720K(996800K), 178.8826900 secs] 3700
maven环境快速搭建
daizj
安装 mavne 环境配置
一 下载maven
安装maven之前,要先安装jdk及配置JAVA_HOME环境变量。这个安装和配置java环境不用多说。
maven下载地址:http://maven.apache.org/download.html,目前最新的是这个apache-maven-3.2.5-bin.zip,然后解压在任意位置,最好地址中不要带中文字符,这个做java 的都知道,地址中出现中文会出现很多
PHP网站安全,避免PHP网站受到攻击的方法
dcj3sjt126com
PHP
对于PHP网站安全主要存在这样几种攻击方式:1、命令注入(Command Injection)2、eval注入(Eval Injection)3、客户端脚本攻击(Script Insertion)4、跨网站脚本攻击(Cross Site Scripting, XSS)5、SQL注入攻击(SQL injection)6、跨网站请求伪造攻击(Cross Site Request Forgerie
yii中给CGridView设置默认的排序根据时间倒序的方法
dcj3sjt126com
GridView
public function searchWithRelated() {
$criteria = new CDbCriteria;
$criteria->together = true; //without th
Java集合对象和数组对象的转换
dyy_gusi
java集合
在开发中,我们经常需要将集合对象(List,Set)转换为数组对象,或者将数组对象转换为集合对象。Java提供了相互转换的工具,但是我们使用的时候需要注意,不能乱用滥用。
1、数组对象转换为集合对象
最暴力的方式是new一个集合对象,然后遍历数组,依次将数组中的元素放入到新的集合中,但是这样做显然过
nginx同一主机部署多个应用
geeksun
nginx
近日有一需求,需要在一台主机上用nginx部署2个php应用,分别是wordpress和wiki,探索了半天,终于部署好了,下面把过程记录下来。
1. 在nginx下创建vhosts目录,用以放置vhost文件。
mkdir vhosts
2. 修改nginx.conf的配置, 在http节点增加下面内容设置,用来包含vhosts里的配置文件
#
ubuntu添加admin权限的用户账号
hongtoushizi
ubuntu useradd
ubuntu创建账号的方式通常用到两种:useradd 和adduser . 本人尝试了useradd方法,步骤如下:
1:useradd
使用useradd时,如果后面不加任何参数的话,如:sudo useradd sysadm 创建出来的用户将是默认的三无用户:无home directory ,无密码,无系统shell。
顾应该如下操作:
第五章 常用Lua开发库2-JSON库、编码转换、字符串处理
jinnianshilongnian
nginx lua
JSON库
在进行数据传输时JSON格式目前应用广泛,因此从Lua对象与JSON字符串之间相互转换是一个非常常见的功能;目前Lua也有几个JSON库,本人用过cjson、dkjson。其中cjson的语法严格(比如unicode \u0020\u7eaf),要求符合规范否则会解析失败(如\u002),而dkjson相对宽松,当然也可以通过修改cjson的源码来完成
Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解
yaerfeng1989
timer quartz 定时器
原创整理不易,转载请注明出处:Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解
代码下载地址:http://www.zuidaima.com/share/1772648445103104.htm
有两种流行Spring定时器配置:Java的Timer类和OpenSymphony的Quartz。
1.Java Timer定时
首先继承jav
Linux下df与du两个命令的差别?
pda158
linux
一、df显示文件系统的使用情况,与du比較,就是更全盘化。 最经常使用的就是 df -T,显示文件系统的使用情况并显示文件系统的类型。 举比例如以下: [root@localhost ~]# df -T Filesystem Type &n
[转]SQLite的工具类 ---- 通过反射把Cursor封装到VO对象
ctfzh
VO android sqlite 反射 Cursor
在写DAO层时,觉得从Cursor里一个一个的取出字段值再装到VO(值对象)里太麻烦了,就写了一个工具类,用到了反射,可以把查询记录的值装到对应的VO里,也可以生成该VO的List。
使用时需要注意:
考虑到Android的性能问题,VO没有使用Setter和Getter,而是直接用public的属性。
表中的字段名需要和VO的属性名一样,要是不一样就得在查询的SQL中
该学习笔记用到的Employee表
vipbooks
oracle sql 工作
这是我在学习Oracle是用到的Employee表,在该笔记中用到的就是这张表,大家可以用它来学习和练习。
drop table Employee;
-- 员工信息表
create table Employee(
-- 员工编号
EmpNo number(3) primary key,
-- 姓