15分钟了解Phoenix

关于Phoenix:

  • OLTP and operational analytics for Apache Hadoop
  • Phoenix is an open source SQL skin for HBase.
  • We put SQL back in NoSQL
  • Phoenix is relational layer over HBase

以下部分翻译自:https://phoenix.apache.org/Phoenix-in-15-minutes-or-less.html

Phoenix是什么新东西?

Phoenix为HBase穿上一层SQL的外衣。所以你可以使用标准的JDBC API来创建表、插入数据、查询HBase中的数据,而不是使用常规的HBase客户端API。

在HBase和应用程序之间额外加入一层(Phoenix)会影响性能吗?

不会。跟原生的HBase客户端相比,Phoenix性能一样好甚至更好,主要通过以下方式:

  • 将SQL查询编译成原生的HBase scan操作。
  • 优化scan key的开始和结束位置
  • 规划scan操作的并行
  • 把计算移到数据节点
  • 将where语句转化为服务端的过滤
  • 聚合操作通过服务端的钩子来完成(co-processor)

除此之外,我们还做了一些工作使得性能得到一些有趣的提升:

  • 使用二级索引提高非row key的查询
  • 收集统计信息用于改善并行及优化决策
  • 使用skip scan优化IN、LIKE、OR查询。
  • 对row key进行加盐,使得写负载分布更均匀

Phoenix很快,但是为什么是SQL?

基于“使用人们熟悉的方式”,有什么方式可以使得HBase更容易使用吗?用JDBC和SQL:

  • 减少代码量
  • 对用户屏蔽行那你优化的细节
  • 方便与现有其他工具集成

但是SQL如何能够支持我最喜欢的HBase特性x,y,z?

你一定没有关注最近的HBase Meetup吧? SQL表达的是你想要什么样的数据,而不是如何获取数据。(注:声明式和过程式)。 查看我的演讲PPT,获取Phoenix目前支持的以及计划支持的HBase特性。我们期待得到反馈,提交issue或者加入我们的邮件组.

说了那么多,我只想开始动手!

好的,跟着按照我们的安装教程:

  • 下载并解压tar安装包
  • 复制相应版本的phoenix 服务端jar包到每一台HBase region server的lib目录
  • 重启region server
  • 添加phoenix 客户端jar包到你的HBase客户端。
  • 下载并设置SQuirrel作为你的SQL客户端,你就可以在你的HBase集群上执行adhoc SQL查询。

我不想下载和配置任何东西

没问题,你可以创建你自己的SQL脚本,并使用给我们的命令行工具执行脚本。让我们看一个例子。进入phoenix安装目录中的bin目录。

  • 首先,创建us_opulation.sql文件,包含一个表的定义:
CREATE TABLE IF NOT EXISTS us_population ( state CHAR(2) NOT NULL, city VARCHAR NOT NULL, population BIGINT CONSTRAINT my_pk PRIMARY KEY (state, city));
  • 创建us_population.csv文件,并放入以下数据:
NY,New York,8143197
CA,Los Angeles,3844829
IL,Chicago,2842518
TX,Houston,2016582
PA,Philadelphia,1463281
AZ,Phoenix,1461575
TX,San Antonio,1256509
CA,San Diego,1255540
TX,Dallas,1213825
CA,San Jose,912332
  • 最后,创建查询脚本us_population_queries.sql:
SELECT state as "State",count(city) as "City Count",sum(population) as "Population Sum" FROM us_population GROUP BY state ORDER BY sum(population) DESC;
  • 从命令行执行以下命令
./psql.py <your_zookeeper_quorum> us_population.sql us_population.csv us_population_queries.sql

恭喜你,你已经创建第一个Phoenix表,插入数据并执行查询,而你只花了15分钟左右的时间写了几行代码。

还有什么其他的呢?

你可已使用bin/perfoemance.py脚本创建任意多的数据,然后在上面做一些查询。

为什么叫做Phoenix?是不是其他项目挂了然后这是它的下一代?

很抱歉,我们没有时间和空间了,只能等到下次回答这个问题。

你可能感兴趣的:(apache,sql,hadoop)