- HBase实践篇 _ 为HBase的ThriftAPI设计连接池
大猿小猿向前冲
[toc]1.摘要客户端连接HBase,常用的方式主要有两种,直连Zookeeper和连接HBaseThriftServer。第一种是Java中常用的方式,官方在hbase-client包里提供了丰富的API,另一种是HBase的thriftapi,主要在跨语言环境中使用。我们线上大部分的业务是由happybase封装的PythonAPI来提供数据的读写服务,小部分业务则是用Java语言,例如:F
- Hbase JAVA API 增删改查操作
会java的怪蜀黍
大数据hbasejava数据库
HbaseJAVAAPI增删改查操作创建maven项目添加pom依赖打开https://mvnrepository.com/搜索hbase选择hbase-client,2.2.4版本,点进去复制依赖代码org.apache.hbasehbase-client2.2.4创建表格importorg.apache.hadoop.hbase.TableName;importorg.apache.hadoo
- java IEDA 依赖冲突解决
拥抱月亮的大星星
Maven:org.apache.hbasehbase-client${hbase.version}guavacom.google.guavaGradle:compile('org.apache.hbase:hbase-client:x.x.x'){excludemodule:'guava'}参考链接:https://www.jianshu.com/p/358606b0740d
- Java连接HBASE数据库
玉儿小跟班
JAVAjavahbasehadoop
HBASE是建立在Hadoop分布式系统基础之上的列模式数据库,Java连接HBASE需要如下几个jar包:hadoop-common、hadoop-mapreduce-client-core、hbase-common、hbase-client。这些jar包在maven仓库里都有,地址:https://mvnrepository.com/artifact/org.apache.hadoop,打开p
- (三)实战1:hbase的2.X版本java API开发说明以及demo
猿来如此dj
hbase专栏hbase的javaAPI解释
Hbase的2.X版本javaAPI代码开发开发示例参考hbase-client使用说明开发可参考《hbase权威指南》文章目录Hbase的2.X版本javaAPI代码开发1:开发API1.1:主要API类和数据模型之间的对应关系1.2:hbase开发版本对应图1.3:API介绍1:连接hbase1:HBaseConfiguration2:Connection2:表的操作HBaseAdmin3:H
- Springboot整合HBase开发
csdnzh365
#hbasespringboothbase后端
操作hbase的客户端有以下几种方式:1、原生HBaseAPI:hbase-client比较底层,需要自己进一步封装api,而且版本号和安装的hbase也要匹配,否则会报错2、Spring'sHBaseAPI:spring-data-hadoop2019年4月5停止维护3、Phoenix、Spark等:ApachePhoenix使用SQL的方式来操作HBase原生HBaseAPI依赖org.apa
- Hbase中的各个组件介绍
疯狂的哈丘
https://blog.csdn.net/u013332124/article/details/100125269一、Hbase中的4大组件1、hbase-client客户端,用来访问hbase集群。可以和Hbase交互,也可以和HRegionServer交互。都是通过hbaserpc来访问对应的接口。这里的客户端模式有多种,可以是Thrift、Avro、Rest等。另外,hbase-clien
- 简简单单用一下 Hbase
WindWant
一、Hbase介绍https://hbase.apache.org/book.html#_prefacehttps://blogs.apache.org/hbase/https://research.google.com/archive/bigtable.html什么是Hbase?hadoop数据库:分布式、可伸缩、大数据存储。二、Hbaseclient最开始引入hbase-client,服务有使
- idea中配置环境Spark3.0操作Hbase1.3.6
pluo1717
Date:2020/12/22Version:Spark3.0;java1.8.0_221;Hbase1.3.6;Scala2.12.11;1、首先是pom.xml,注释了一些东西,比如不用添加hbase-client和hbase-server,java中写MapReduce操作hbase需要这两个,scala写spark操作hbase不需要这两个,程序跑不起来,sc无法创建。4.0.0org.e
- SpringBoot集成HBase-client的票据认证
RickShu
SpringBootclienthbase认证
背景说明:在SpringBoot初使化时加载票据信息,拿着票据信息到HBase服务端进行认证,依赖文件org.apache.hbasehbase-client2.1.1org.springframework.dataspring-data-hadoop-hbase2.5.0.RELEASE1.MyServletContextListener继承ServletContextListener,重写co
- 解决maven仓库默认不支持cdh
洛离烟
TeamWorkmavencdhcloudera配置仓库
前面的话:目前maven仓库中没有支持cdh的相关依赖。cloudera自己建立了一个相关的仓库。要想利用maven添加相关依赖,则必须单独添加cloudera仓库。一、项目pom.xml,添加仓库配置clouderahttps://repository.cloudera.com/artifactory/cloudera-repos/truetrue二、添加cdh依赖,如hbase-client:
- HBase Java API: hbase-client
vbirdbest
#HBase
一:简介hbase-client是HBase提供的一套比较底层的API,在实际使用时需要对其进行封装,提供更好用的api给用户。操作hbase的客户端有以下几种方式:hbase-client比较底层,需要自己进一步封装api,而且版本号和安装的hbase也要匹配,否则会报错spring-data-hadoop2019年4月5停止维护ApachePhoenix使用SQL的方式来操作HBase二:AP
- ambari hbase 调优
mnasd
hbase
hbase配置[root@node1test]#cat/usr/hdp/current/hbase-client/conf/hbase-site.xml #Todo dfs.domain.socket.path /var/lib/hadoop-hdfs/dn_socket #Todo hbase.bulkload.staging.dir /
- HBase~hbase
品途旅游
编程语言.Net
对于springboot操作hbase来说,我们可以选择官方的依赖包hbase-client,但这个包的google类库很多时候会和你的项目里的google类库冲突,最后就是你的程序缺少类而无法启动,解决这个问题的方法很多,而最彻底的就是自己封装一个shade包,或者使用人家封装好的shade包,shade就是maven里的一个重写包的插件,非常好用。依赖包之前的原始包org.apache.hba
- HBase~hbase-shaded-client解决包冲突问题
敢于对过去告一个段落,才有信心掀开新的篇章!
对于springboot操作hbase来说,我们可以选择官方的依赖包hbase-client,但这个包的google类库很多时候会和你的项目里的google类库冲突,最后就是你的程序缺少类而无法启动,解决这个问题的方法很多,而最彻底的就是自己封装一个shade包,或者使用人家封装好的shade包,shade就是maven里的一个重写包的插件,非常好用。依赖包之前的原始包org.apache.hba
- HBase~hbase-shaded-client解决包冲突问题
张占岭
对于springboot操作hbase来说,我们可以选择官方的依赖包hbase-client,但这个包的google类库很多时候会和你的项目里的google类库冲突,最后就是你的程序缺少类而无法启动,解决这个问题的方法很多,而最彻底的就是自己封装一个shade包,或者使用人家封装好的shade包,shade就是maven里的一个重写包的插件,非常好用。依赖包之前的原始包org.apache.hba
- 记一次maven项目中Hadoop 2.7.2 和Hbase-client以及hbase server 1.2.6 依赖的guava jar 包冲突解决办法
山木兮
maven
问题描述总的项目模块中依赖com.google.guava:guava:jar:的有Phoenix,Spring,Hbase-client,Hbase-server,hadoop-common.而出问题的子模块,对此jar包的依赖的有Spring,Hbase-client,hadoop-common.刚开始的时候,由于adoop-common.Sparing-clond,依赖的版本如下:com.g
- springboot+hbase 集成
利剑 -~
hbase
项目中使用phoenix使用SQL方式来操作Hbase数据库,但是遇到一个是,SQL在Dbeaver中查询速度还可以,但是使用phoenix+ibatis后返回结果集数据量20w,速度特别慢,先是考虑用redis方式缓存,但是内存有限,想着是用,hbase直连的方式,测试一下解决一下,一:简介hbase-client是HBase提供的一套比较底层的API,在实际使用时需要对其进行封装,提供更好用的
- 升级hbase-client报错 java.lang.NoClassDefFoundError: org/apache/commons/collections/map/UnmodifiableMap
艾瑞儿
大数据
最近把一个操作hbase的项目hbase-client从0.98升级到1.2.0-cdh5.9.0,启动项目出现以下错误:Causedby:java.lang.NoClassDefFoundError:org/apache/commons/collections/map/UnmodifiableMapatorg.apache.hadoop.conf.Configuration$Deprecatio
- Hbase API 写入操作代码,基于hbase-client 1.0.3版本
weixin_30830327
org.apache.hbasehbase-client1.0.3importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName;importorg.apache.hadoop.hbase.clien
- 使用最新的 hbase-client 2.1 操作 hbase
快乐崇拜234
hbase
文章目录概述直接使用hbase-client引入依赖配置文件编写测试代码概述springboot2.1集成hbase2.1环境说明:hbase:2.1.5springboot:2.1.1.RELEASEhadoop:2.8.5java:8+hadoop环境:Hadoop2.8.5完全分布式HA高可用安装(二)–环境搭建hbase环境:hbase2.1环境搭建–完全分布式模式Advanced-Ful
- HBase(1.4.13)安装和使用
BrandoLv
大数据
HBase1.4.12安装与使用软件安装下载安装(单机模式)安装(集群模式)使用常用命令管理平台常见问题Shell操作命名空间表数据HBase-Client基本使用获取连接创建表获取表Put值获取列簇信息和值直接获取值Filter使用CompareOp枚举值单列值过滤(SingleColumnValueFilter)多条件过滤(FilterList)行键过滤(RowFilter)正则比较器(Reg
- Hadoop 2.2 & HBase 0.96 Maven 依赖总结
驰驰的老爸
hadoophbase
由于Hbase0.94对Hadoop2.x的支持不是非常好,故直接添加Hbase0.94的jar依赖可能会导致问题。但是直接添加Hbase0.96的依赖,由于官方并没有发布Hbase0.96的jar包,通过maven编译项目的时候会出现找不到jar包导致编译失败。通过网上的资料,得知Hbase0.94后版本,直接添加Hbase-Client的依赖,通过查询得知需要以下依赖:[html]viewpl
- hbase资料
lmem
[中文文档]http://abloz.com/hbase/book.html[英文文档]http://hbase.apache.org/book.html#regions.arch[1.1.2JAVAclientAPI]http://javadox.com/org.apache.hbase/hbase-client/1.1.2/org/apache/hadoop/hbase/client/pack
- HBase 1.2.0源码系列:HBase RPC 通信(上)
Alex90
HBase中HMaster、HRegionServer和Client之间的通信使用了两个技术,GoogleProtobufRPC和JavaNIO。主要代码位置:.|——hbase-client||——org.apache.hadoop.hbase.ipc||——org.apache.hadoop.hbase.client|——hbase-server||——org.apache.hadoop.hb
- maven解决jar包冲突问题
Moon_Storm
在项目中,因为使用了Hbase-client的jar和druid-server的jar,导致其中netty包冲突。经maven依赖分析。版本如下Hbase-client:netty-all-4.1.23.final.jar,netty-3.10.6.final.jardruid-server:netty-3.10.4.final.jar解决这个问题,需要手动在pom文件里面将相关依赖干掉,然后引入
- HBase(2) Java 操作 HBase 教程
美码师
目录一、简介二、hbase-client引入三、连接操作四、表操作五、运行测试FAQ参考文档一、简介在上一篇文章HBase基础入门中,我们已经介绍了HBase的一些基本概念,以及如何安装使用的方法。那么,作为一名Javaer,自然是希望用Java的方式来与HBase进行对话了。所幸的是,HBase本身就是用Java编写的,天生自带了Java原生API。我们可以通过hbase-client来实现HB
- Hbase中的各个组件介绍
疯狂哈丘
大数据Hbase
文章目录一、Hbase中的4大组件1、hbase-client2、Zookeeper3、HMaster4、HRegionServer二、Hbase组件的HA保证1、zk的HA保证2、HMaster的HA保证3、HRegionServer的HA保证一、Hbase中的4大组件1、hbase-client客户端,用来访问hbase集群。可以和Hbase交互,也可以和HRegionServer交互。都是通
- 【HBase】用Java操作HBase
Hayakingdom
——Hadoop——HBase
先序JAVA1.8Hadoop2.7.7HBase2.0.5Gradle5.3.1依赖:compilegroup:'org.apache.hbase',name:'hbase-client',version:'2.0.5'源码:https://github.com/Hayaking/HBaseOperator创建连接@LoggerpublicclassHBaseUtils{staticjava.u
- HBase-client的基本操作
沉浮_0644
packagecom.hlxt;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.*;importorg.apache.hadoop.hbase.client.*;importorg.apache.hadoop.hbase.util.Bytes;importjava.io.IOException;imp
- jvm调优总结(从基本概念 到 深度优化)
oloz
javajvmjdk虚拟机应用服务器
JVM参数详解:http://www.cnblogs.com/redcreen/archive/2011/05/04/2037057.html
Java虚拟机中,数据类型可以分为两类:基本类型和引用类型。基本类型的变量保存原始值,即:他代表的值就是数值本身;而引用类型的变量保存引用值。“引用值”代表了某个对象的引用,而不是对象本身,对象本身存放在这个引用值所表示的地址的位置。
- 【Scala十六】Scala核心十:柯里化函数
bit1129
scala
本篇文章重点说明什么是函数柯里化,这个语法现象的背后动机是什么,有什么样的应用场景,以及与部分应用函数(Partial Applied Function)之间的联系 1. 什么是柯里化函数
A way to write functions with multiple parameter lists. For instance
def f(x: Int)(y: Int) is a
- HashMap
dalan_123
java
HashMap在java中对很多人来说都是熟的;基于hash表的map接口的非同步实现。允许使用null和null键;同时不能保证元素的顺序;也就是从来都不保证其中的元素的顺序恒久不变。
1、数据结构
在java中,最基本的数据结构无外乎:数组 和 引用(指针),所有的数据结构都可以用这两个来构造,HashMap也不例外,归根到底HashMap就是一个链表散列的数据
- Java Swing如何实时刷新JTextArea,以显示刚才加append的内容
周凡杨
java更新swingJTextArea
在代码中执行完textArea.append("message")后,如果你想让这个更新立刻显示在界面上而不是等swing的主线程返回后刷新,我们一般会在该语句后调用textArea.invalidate()和textArea.repaint()。
问题是这个方法并不能有任何效果,textArea的内容没有任何变化,这或许是swing的一个bug,有一个笨拙的办法可以实现
- servlet或struts的Action处理ajax请求
g21121
servlet
其实处理ajax的请求非常简单,直接看代码就行了:
//如果用的是struts
//HttpServletResponse response = ServletActionContext.getResponse();
// 设置输出为文字流
response.setContentType("text/plain");
// 设置字符集
res
- FineReport的公式编辑框的语法简介
老A不折腾
finereport公式总结
FINEREPORT用到公式的地方非常多,单元格(以=开头的便被解析为公式),条件显示,数据字典,报表填报属性值定义,图表标题,轴定义,页眉页脚,甚至单元格的其他属性中的鼠标悬浮提示内容都可以写公式。
简单的说下自己感觉的公式要注意的几个地方:
1.if语句语法刚接触感觉比较奇怪,if(条件式子,值1,值2),if可以嵌套,if(条件式子1,值1,if(条件式子2,值2,值3)
- linux mysql 数据库乱码的解决办法
墙头上一根草
linuxmysql数据库乱码
linux 上mysql数据库区分大小写的配置
lower_case_table_names=1 1-不区分大小写 0-区分大小写
修改/etc/my.cnf 具体的修改内容如下:
[client]
default-character-set=utf8
[mysqld]
datadir=/var/lib/mysql
socket=/va
- 我的spring学习笔记6-ApplicationContext实例化的参数兼容思想
aijuans
Spring 3
ApplicationContext能读取多个Bean定义文件,方法是:
ApplicationContext appContext = new ClassPathXmlApplicationContext(
new String[]{“bean-config1.xml”,“bean-config2.xml”,“bean-config3.xml”,“bean-config4.xml
- mysql 基准测试之sysbench
annan211
基准测试mysql基准测试MySQL测试sysbench
1 执行如下命令,安装sysbench-0.5:
tar xzvf sysbench-0.5.tar.gz
cd sysbench-0.5
chmod +x autogen.sh
./autogen.sh
./configure --with-mysql --with-mysql-includes=/usr/local/mysql
- sql的复杂查询使用案列与技巧
百合不是茶
oraclesql函数数据分页合并查询
本片博客使用的数据库表是oracle中的scott用户表;
------------------- 自然连接查询
查询 smith 的上司(两种方法)
&
- 深入学习Thread类
bijian1013
javathread多线程java多线程
一. 线程的名字
下面来看一下Thread类的name属性,它的类型是String。它其实就是线程的名字。在Thread类中,有String getName()和void setName(String)两个方法用来设置和获取这个属性的值。
同时,Thr
- JSON串转换成Map以及如何转换到对应的数据类型
bijian1013
javafastjsonnet.sf.json
在实际开发中,难免会碰到JSON串转换成Map的情况,下面来看看这方面的实例。另外,由于fastjson只支持JDK1.5及以上版本,因此在JDK1.4的项目中可以采用net.sf.json来处理。
一.fastjson实例
JsonUtil.java
package com.study;
impor
- 【RPC框架HttpInvoker一】HttpInvoker:Spring自带RPC框架
bit1129
spring
HttpInvoker是Spring原生的RPC调用框架,HttpInvoker同Burlap和Hessian一样,提供了一致的服务Exporter以及客户端的服务代理工厂Bean,这篇文章主要是复制粘贴了Hessian与Spring集成一文,【RPC框架Hessian四】Hessian与Spring集成
在
【RPC框架Hessian二】Hessian 对象序列化和反序列化一文中
- 【Mahout二】基于Mahout CBayes算法的20newsgroup的脚本分析
bit1129
Mahout
#!/bin/bash
#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements. See the NOTICE file distributed with
# this work for additional information re
- nginx三种获取用户真实ip的方法
ronin47
随着nginx的迅速崛起,越来越多公司将apache更换成nginx. 同时也越来越多人使用nginx作为负载均衡, 并且代理前面可能还加上了CDN加速,但是随之也遇到一个问题:nginx如何获取用户的真实IP地址,如果后端是apache,请跳转到<apache获取用户真实IP地址>,如果是后端真实服务器是nginx,那么继续往下看。
实例环境: 用户IP 120.22.11.11
- java-判断二叉树是不是平衡
bylijinnan
java
参考了
http://zhedahht.blog.163.com/blog/static/25411174201142733927831/
但是用java来实现有一个问题。
由于Java无法像C那样“传递参数的地址,函数返回时能得到参数的值”,唯有新建一个辅助类:AuxClass
import ljn.help.*;
public class BalancedBTree {
- BeanUtils.copyProperties VS PropertyUtils.copyProperties
诸葛不亮
PropertyUtilsBeanUtils
BeanUtils.copyProperties VS PropertyUtils.copyProperties
作为两个bean属性copy的工具类,他们被广泛使用,同时也很容易误用,给人造成困然;比如:昨天发现同事在使用BeanUtils.copyProperties copy有integer类型属性的bean时,没有考虑到会将null转换为0,而后面的业
- [金融与信息安全]最简单的数据结构最安全
comsci
数据结构
现在最流行的数据库的数据存储文件都具有复杂的文件头格式,用操作系统的记事本软件是无法正常浏览的,这样的情况会有什么问题呢?
从信息安全的角度来看,如果我们数据库系统仅仅把这种格式的数据文件做异地备份,如果相同版本的所有数据库管理系统都同时被攻击,那么
- vi区段删除
Cwind
linuxvi区段删除
区段删除是编辑和分析一些冗长的配置文件或日志文件时比较常用的操作。简记下vi区段删除要点备忘。
vi概述
引文中并未将末行模式单独列为一种模式。单不单列并不重要,能区分命令模式与末行模式即可。
vi区段删除步骤:
1. 在末行模式下使用:set nu显示行号
非必须,随光标移动vi右下角也会显示行号,能够正确找到并记录删除开始行
- 清除tomcat缓存的方法总结
dashuaifu
tomcat缓存
用tomcat容器,大家可能会发现这样的问题,修改jsp文件后,但用IE打开 依然是以前的Jsp的页面。
出现这种现象的原因主要是tomcat缓存的原因。
解决办法如下:
在jsp文件头加上
<meta http-equiv="Expires" content="0"> <meta http-equiv="kiben&qu
- 不要盲目的在项目中使用LESS CSS
dcj3sjt126com
Webless
如果你还不知道LESS CSS是什么东西,可以看一下这篇文章,是我一朋友写给新人看的《CSS——LESS》
不可否认,LESS CSS是个强大的工具,它弥补了css没有变量、无法运算等一些“先天缺陷”,但它似乎给我一种错觉,就是为了功能而实现功能。
比如它的引用功能
?
.rounded_corners{
- [入门]更上一层楼
dcj3sjt126com
PHPyii2
更上一层楼
通篇阅读完整个“入门”部分,你就完成了一个完整 Yii 应用的创建。在此过程中你学到了如何实现一些常用功能,例如通过 HTML 表单从用户那获取数据,从数据库中获取数据并以分页形式显示。你还学到了如何通过 Gii 去自动生成代码。使用 Gii 生成代码把 Web 开发中多数繁杂的过程转化为仅仅填写几个表单就行。
本章将介绍一些有助于更好使用 Yii 的资源:
- Apache HttpClient使用详解
eksliang
httpclienthttp协议
Http协议的重要性相信不用我多说了,HttpClient相比传统JDK自带的URLConnection,增加了易用性和灵活性(具体区别,日后我们再讨论),它不仅是客户端发送Http请求变得容易,而且也方便了开发人员测试接口(基于Http协议的),即提高了开发的效率,也方便提高代码的健壮性。因此熟练掌握HttpClient是很重要的必修内容,掌握HttpClient后,相信对于Http协议的了解会
- zxing二维码扫描功能
gundumw100
androidzxing
经常要用到二维码扫描功能
现给出示例代码
import com.google.zxing.WriterException;
import com.zxing.activity.CaptureActivity;
import com.zxing.encoding.EncodingHandler;
import android.app.Activity;
import an
- 纯HTML+CSS带说明的黄色导航菜单
ini
htmlWebhtml5csshovertree
HoverTree带说明的CSS菜单:纯HTML+CSS结构链接带说明的黄色导航
在线体验效果:http://hovertree.com/texiao/css/1.htm代码如下,保存到HTML文件可以看到效果:
<!DOCTYPE html >
<html >
<head>
<title>HoverTree
- fastjson初始化对性能的影响
kane_xie
fastjson序列化
之前在项目中序列化是用thrift,性能一般,而且需要用编译器生成新的类,在序列化和反序列化的时候感觉很繁琐,因此想转到json阵营。对比了jackson,gson等框架之后,决定用fastjson,为什么呢,因为看名字感觉很快。。。
网上的说法:
fastjson 是一个性能很好的 Java 语言实现的 JSON 解析器和生成器,来自阿里巴巴的工程师开发。
- 基于Mybatis封装的增删改查实现通用自动化sql
mengqingyu
DAO
1.基于map或javaBean的增删改查可实现不写dao接口和实现类以及xml,有效的提高开发速度。
2.支持自定义注解包括主键生成、列重复验证、列名、表名等
3.支持批量插入、批量更新、批量删除
<bean id="dynamicSqlSessionTemplate" class="com.mqy.mybatis.support.Dynamic
- js控制input输入框的方法封装(数字,中文,字母,浮点数等)
qifeifei
javascript js
在项目开发的时候,经常有一些输入框,控制输入的格式,而不是等输入好了再去检查格式,格式错了就报错,体验不好。 /** 数字,中文,字母,浮点数(+/-/.) 类型输入限制,只要在input标签上加上 jInput="number,chinese,alphabet,floating" 备注:floating属性只能单独用*/
funct
- java 计时器应用
tangqi609567707
javatimer
mport java.util.TimerTask; import java.util.Calendar; public class MyTask extends TimerTask { private static final int
- erlang输出调用栈信息
wudixiaotie
erlang
在erlang otp的开发中,如果调用第三方的应用,会有有些错误会不打印栈信息,因为有可能第三方应用会catch然后输出自己的错误信息,所以对排查bug有很大的阻碍,这样就要求我们自己打印调用的栈信息。用这个函数:erlang:process_display (self (), backtrace).需要注意这个函数只会输出到标准错误输出。
也可以用这个函数:erlang:get_s