转载自袁杰、

CDH集群安装Phoenix服务

背景:

之前我们都是通过原生的 hbase-java api根据业务需求来查询hbase,每有一个查询需求都需要定制化开发相关的查询代码,较为麻烦,而且在性能优化等方面优化也是需要着重注意;

目前业界使用 Phoenix操作HBase比较普遍,该方案无论是开发效率还是性能提升都能得到不错的保证,在这篇博客中记录下CDH集群如何安装Phoenix服务~

集群信息:
版本:CDH 5.13.0
四台机器:cdh1 - cdh4


一、基本介绍

Phoenix是一个开源的HBASE SQL层。它不仅可以使用标准的JDBC API替代HBASE client API创建表,插入和查询HBASE,也支持二级索引事务以及多种SQL层优化

Phoenix通过以下方式实现了比你自己手写的方式相同或者可能是更好的性能(更不用说可以少写了很多代码):

* 编译你的SQL查询为原生HBase的scan语句 
* 检测scan语句最佳的开始和结束的key 
* 精心编排你的scan语句让他们并行执行 
* 让计算去接近数据通过 
* 推送你的WHERE子句的谓词到服务端过滤器处理 
* 执行聚合查询通过服务端钩子(称为协同处理器)

   
   
   
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

除此之外,还做了一些有趣的增强功能来更多地优化性能:

* 实现了二级索引来提升非主键字段查询的性能 
* 统计相关数据来提高并行化水平,并帮助选择最佳优化方案 
* 跳过扫描过滤器来优化INLIKEOR查询 
* 优化主键的盐值来均匀分布写压力

   
   
   
   
  • 1
  • 2
  • 3
  • 4

二、安装步骤

1.下载

下载地址:http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/

我们根据自己操作系统选择版本,我的是CentOS 7.5,故选择el7
下载这三个文件:*.parcel*.parcel.sha1manifest.json

在这里插入图片描述

2.文件上传服务器指定目录

在集群master节点上找到cdh的主目录,将三个文件放置在parcel包的目录,我的目录是/home/cdh/cloudera/parcel-repo

不知道自己parcel目录的可以去cm界面查看:
在这里插入图片描述
查看parcel设置:
在这里插入图片描述

在该目录下将老的 manifest.json 改名备份,然后将三个文件移动进来,再将.sha1后缀的文件改为.sha后缀!

在这里插入图片描述

3.CM-UI界面安装该Parcel

在这里插入图片描述

在这里插入图片描述

检查后会发现CLABS_PHOENIX的parcel出现,然后分配、激活:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

然后重启HBase服务更新配置即可!


三、测试Phoenix功能

在服务器shell命令行输入:

tab phoenix前缀可以看到如下几个py后缀的命令:(说明phoenix服务已安装且将命令添加到环境变量)
在这里插入图片描述

启动phoenix-sql命令行:

phoenix-sqlline.py cdh1:2181

   
   
   
   
  • 1

其中cdh1:2181是zookeeper主机名端口,如果上面执行报错,可以试试这个:

phoenix-sqlline.py cdh1:2181:/hbase

   
   
   
   
  • 1

在这里插入图片描述

输入!table查看表信息:
在这里插入图片描述

发现一开始就存在4个系统表,在hue查看也如此:
在这里插入图片描述

创建测试表 test_phoenix

create table test_phoenix (id integer not null primary key, cf.name varchar, age integer);

   
   
   
   
  • 1

注意: 除了加感叹号的命令外,sql语句必须加分号结尾!

查看表结构:

!describe test_phoenix

   
   
   
   
  • 1

在这里插入图片描述

可以看到上面建表语句所创建的表名和字段都是大写!要想改为小写,建表语句中就必须将其用双引号括起来!查询时也要加双引号!
在这里插入图片描述


OK!本次 CDH - Phoenix安装到此结束!

        
阅读更多

CDH 集群如何部署一个新的服务

11-15 2471

当我们在搭建CDH的时候,界面上会提示我们选择哪些服务,那么当我们安装完成后,如果想添加之前没有添加的kafka服务,该如何是好呢?下面这张图是点击1之后出现的,其中234分别代表着当前 cloude... 来自: vbaspdelphi



	
  • qq_35021796
    qq_35021796: 博主你好,我现在已经把phoenix安装到服务器上面了,但是发现好像没有maven 依赖支持我的版本,我的版本是 hbase1.2.0 CDH5.7.0 ,phoenix 5.7.0(4天前#1楼)举报回复
  • 上一页
  • 1
  • 下一页
		


    
		

 

  1. 将压缩包上传到服务器

apache-phoenix-4.14.0-cdh5.12.2-bin.tar


来自: 一个勤劳的小沙弥



		

标签: clouderaspark集群centosapache
2017-06-23 17:36 1803人阅读 评论(5) 收藏…

来自: 张伟的专栏



		


    
		

CDH5与CM5环境搭建场景怎么局部升级当前cm集群呢,比如添加kafka组件、spark组件等分析一、升级原因1、 现有集群组件只能做一些离线类统计分析,无法满足当前实时类业…

来自: Memory of Mr.Snail



		
    
		

点击Cluster1右侧向下的箭头,选择添加服务,按照步骤走即可。

下载parcels文件。

配置好只有,页面会进行刷新,然后点击下载即可。…

来自: qq_38344394的博客



          
shiter关注
shiter

335篇文章

排名:947

silentwolfyh关注
silentwolfyh

357篇文章

排名:2000+

Jenrey关注
Jenrey

170篇文章

排名:千里之外

liygcoding关注
liygcoding

41篇文章

排名:千里之外

1、  配置主机 vim/etc/hosts   (hadoop1,hadoop2,hadoop3)代表在3台机器执行操作
192.168.157.128hadoop1
192.168…

来自: 梁小明的博客



		

1.1  概述
         本文档帮助集群运维、管理、开发人员描述使用离线的方式安装Cloudera的CM、CDH集群。
1.2  缩略语和定义

缩略语

全称

描述…

来自: xiaoji88326518的专栏



		

首先在安装之前有几点问题需要注意

1建议使用root用户进行安装,因为在安装过程中CDH默…

来自: 小小北漂



		

配置一般分为服务端配置和客户端配置, 为了保险起见, 我平时…

来自: 一个勤劳的小沙弥



		

目录

phoenix编译成CDH依赖以及生成parcel的方法介绍

目录
寻找资料
准备
编译
测试
总结



来自: nzy900202的博客



对于HBase而言,如果想精确地定位到某行记录,唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据,就必须逐行地比较每一列的值,即全表扫瞄。对于较大的表…

来自: vicleev的博客



		


    
		


    
		

首选需要安装HIVE和OOZIE
1选择添加服务

2先安装HIVE

 
3选择依赖关系最少的一个

 
4给每个节点分配角色…

来自: wsxysfg888的博客



一插上电,50平米内都暖和了!3天一度电,今日特惠! 威威 · 燨燚
		

service ht…

来自: shiter编写程序的艺术



		


    
		

 型号 Thinkserver RD640  
结构 2U高度机架式服务器(2.5寸16盘位) *1
CPU Intel Xeon E5-2630v2(2…

来自: sunyang098的博客



		

首先得在新的主机环境中安装JDK,关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python。

2、…

来自: aboth的博客



		

揭秘:头上长白发竟是身体缺了它?饭后吃点它,白发轻松变黑发! 新至尊 · 燨燚
		


    
		

1.CDH环境已经搭建成功,在CDH上搭建kafka,要求用CDH上zookeeper管理kafka而不用kafka自带的zookeeper
2.kafka_2.11-0.8.2.1…

来自: liuwei063608的专栏



		


    
		

- 关闭集群所有组件

关闭Cloudera Management Service

关闭cdh所有客户端节点

sudo /opt/cloudera-manager/cm-5.1…

来自: 你懂了我的冬天的博客



		

在我的CDH5.11集群中,默认安装的spark是1.6版本,这里需要将其升级为spark2.x版本。经查阅官方文档,发现spark1.6和2.x是可以并行安装的,也就是说可以不用删除默认的…

来自: 疯狂的暴走蜗牛的专栏



揭秘:头上长白发竟是身体缺了它?饭后吃点它,白发轻松变黑发! 新至尊 · 燨燚
		

CDH环境已经搭建成功。

2.搭建要求

在CDH上集成Kafka,要求用CDH上的Zookeeper管理Kafka而不是Kafka自带的Zookeeper。

3.搭建流程

(1…

来自: mengxiansenn的博客



		


    
		

如果没有安装环境请参考https://blog.csdn.net/zhanaolu4821/article/details/81484259

1:CD…

来自: 一尘在心的博客



		

  1  、在主页上cloudera manager 上关闭cluster和service即可;

   2 、远程关闭centos,命令如下:sud…

来自: JCY19890312的博客



		

		

sudo /opt/cm-5.13.0/etc/init.d/cloudera-scm-serve…

来自: 糯米鸡的博客



			


    
		


    
		


    
			

		
  1. 三台机器分别设置hostname为(需要重启ECS):

master.bd.cn
slave1.bd.cn
slave2.bd.cn
2. 然后三台…

来自: aboth的博客



			


    
		

 Service

Port



来自: 高矮



		

CDH的启动和停止也按照这样的顺序应该是比较合理的。…

来自: BabyFish13



		

原来基于hbase实现,所有的读取代码也都是用的原生hbase api获取,除了冗余…

来自: Show something



		

由于国内的网络原因,CDH在国内几乎无法实现在线安装,本文将介绍CDH离线安装方式,所有安装包下载后传输到内网安装,由于版本较新的…

来自: 古月慕南的代码世界



		

方法一:(更新时间:2018/4/8)v3.3

注册时,在打开的Lice…

来自: 唐大帅的编程之路



		

转载请标明出处: http://blog.csdn.net/forezp/article/details/70148833
本文出自方志朋的博客

错过了这一篇,你可能再也学不会 Sp…

来自: 方志朋的专栏



		

因公司的需求,需要做一个爬取最近上映的电影、列车号、航班号、机场、车站等信息,所以需要我做一个爬虫…

来自: 昌昌



		


    
		

输入:123456
输出:123656方法1:
把数的百位取出,然后加上和6的差值乘以100…

来自: yi_ming_he的博客



		


    
		


    
		

所有的课程源代码在我上传的资源里面,本来想设置开源,好像不行!博客和专栏同步!

如有错别字或有理解不到位的地方…

来自: 谷子的博客



		

1)打开vscode工具;

2)使用快捷键组合【Ctrl+Shift+p…

来自: 飞扬的博客



		

本人正在找深圳Java实习工作,求大佬带飞
——————————————————————————————————————
消费者从Eure…



		

现在越来越流行在线看视频了,但是对于我得收藏癖爱好者,还是希望可以有比较好的资源网站的,尤其是种子、磁力链网站。所以就整理了一份干净、好用的TOP10出来:

先推荐一个下载磁力链的工具:

马…

来自: YXAPP的技术分享



		

1、简介
Kotlin 是一个用于现代多平台应用的静态编程语言,由 JetBrains 开发。
Kotlin可以编译成Java字节码,也可以编译成JavaScript,方便在没…

来自: zping0808的博客



		

上一节课我们学习了  颜色与纹理中–彩色三角形

这一节课我们将学习  颜色与纹理中-在图像上贴图片

实…

来自: 谷子的博客



		

这个晚上月光很亮,你泡好一保温杯枸杞养生茶,打开电脑,开始敲代码;茶水的温度刚刚好,你熟练地按下“Ctrl-C + Ctrl-V”……对于泡在代码里的程序员而言,复制粘贴无异于左右护法,很难想想没有…

来自: CSDN资讯



		

用户在开发或者调试网络程序或者是网页B/S模式的程序的时候是需要一些方法来跟踪网页请求的,用户可以使用一些网络的监视工具比如著名的Firebug等网页调试工具。今天给大家…

来自: fxbin123的博客



		

如在文档中遇到什么问题请联系作者
——————————————————————————————————————
服务消费者

获…



		

先准备好apk,放到桌面 
看看app有没有加固,如果加固了,逆向起来…

来自: 无聊看风景的博客



		

安装完成,打开Webstorm,在弹出的License Activation窗口中选择“License server”,在输入框输入下面的网址: 

htt…

来自: 老妖儿的博客



		


    
		


    
		

FFMPEG堪称自由软件中最完备的一套多媒体支持库,它几乎实现了所有当下常见的数据封装格式、多媒体传输协议以及音视频编解码器,提供了录制、转换以及流化音视频的完整解决方案。市面上使…

来自: qq_26464039的博客



		

本人正在找深圳Java实习工作,求大佬带飞
——————————————————————————————————————
八在审核中,请见…



		

ByteBuffer
CharBuffer
ShortBuffer
IntBuffer
LongBuffer
FloatBuffer
DoubleBuffer
2 ByteBuffe…

来自: weixin_43694144的博客



		

下载OTP工具
首先到Office Too…

来自: 过了即是客



		

1
【单选题】我国陆地领土面积排名世界第几?(C)
A、1
B、2
C、3
D、4
2
【单选题】以下哪个国家不属于金砖五国(BRICS)?(B)
A、中国
B、日本
C…

来自: ling_wang的博客



		

在setoption(option)以后添加,就是在js文件最后添加
window.addEventListener(&q…

来自: qq_40388552的博客



		

最新版的Proxyee-down为3.12(2018.10更新),因为作者在3.x后的版本中并未发布exe版…

来自: shadandeajian的博客



		

百度网盘不限速 点击下载 提取码:jsk0
对于大多数人来说,每次在百度网盘下载东西的时候总会被限速,如果不想被限速就要充值百度网盘的SVIP,…

来自: qq_41925894的博客



		

使用传统excel做图…

来自: qq_40388552的博客



		

    可以在官网下载,也可以在我的网盘下载

    链接:https://pan.baidu.com/s/1MreUpYpk5WoGiT8-5NMVVA 密码:kco…

来自: 天狼星的博客



		

上一节课我们学习了  三维空间-不同位置的三角形

这一节课我们将学习  三维空间之加入旋转矩阵的三角形

本案…

来自: 谷子的博客



		

上一节课我们学习了  颜色与纹理中–在图像上贴图片

这一节课我们将学习  三维空间-不同位置的三角形

在学…

来自: 谷子的博客



		

一、元组
1.1、二元元组
data class Pair<out A, out B>(
public val first:…

来自: zping0808的博客



		

本人实锤亲测可用,希望造福广大读者
08-03
http://idea.wrbugtest.tk/
08-06
http://active.china…

来自: 赏樱看雪撸代码



		

DirectX修复工具最新版:DirectX Repair V3.8 增强版  NEW!

版本号:V3.8.0.11638

大小: 107MB/7z格式压缩,18…

来自: VBcom的专栏



		

输入数列: 1 2 4 5…

来自: yi_ming_he的博客



		

智慧树刷课插件获取方法:微信关注公众号(jiutu2019)后,后台回复“智慧树刷课插件”即可获取。



来自: 柠檬很酸的博客



		

1
【单选题】中国哪个历史时期的国防是“变法图强,改革军制;奖赏军功,百家论兵”?()
A、元朝时期
B、先秦时期
C、清朝时期


来自: ling_wang的博客



		

csdn的兄弟们看…

来自: qq_36556893的博客



		


    


        

没有更多推荐了,返回首页

你可能感兴趣的:(转载自袁杰、)