【phoenix-部署】Phoenix 快速开始（安装与使用）

不忘初心，砥砺前行 ——菜牛

Apache Phoenix在Hadoop中为低延迟应用程序支持OLTP和操作分析。

• 具有全ACID事务功能的标准SQL和JDBC api的强大功能（注：ACID指数据库事务正确执行的四个基本要素的缩写。包含：原子性、一致性、隔离性、持久性 ）
• 通过利用HBase作为它的备份存储，可以灵活地使用NoSQL世界中的延迟绑定、模式读取功能

Phoenix是HBase的开源SQL应用层。您可以使用标准的JDBC api而不是常规的HBase客户机api来创建表、插入数据和查询HBase数据。

一、如何安装

安装环境：centos7

1、下载解压安装

下载地址http://phoenix.apache.org/download.html

选择相应hbase的版本下载

image.png

解压安装

wget http://mirror.bit.edu.cn/apache/phoenix/apache-phoenix-4.14.1-HBase-1.1/bin/apache-phoenix-4.14.1-HBase-1.1-bin.tar.gz
tar xvf apache-phoenix-4.14.1-HBase-1.1-bin.tar.gz -C /opt/
ln -s /opt/apache-phoenix-4.14.1-HBase-1.1-bin/ /opt/apps/phoenix

忽视

tar: Ignoring unknown extended header keyword `SCHILY.dev'
tar: Ignoring unknown extended header keyword `SCHILY.ino'
tar: Ignoring unknown extended header keyword `SCHILY.nlink'

2、添加 phoenix-[version]-server.jar 到所有master和regionserver的lib/下，并重启hbase

scp -r /opt/apps/phoenix/phoenix-4.14.1-HBase-1.1-server.jar root@hdc-data4:/opt/apps/hbase/lib/
scp -r /opt/apps/phoenix/phoenix-4.14.1-HBase-1.1-server.jar root@hdc-data5:/opt/apps/hbase/lib/
scp -r /opt/apps/phoenix/phoenix-4.14.1-HBase-1.1-server.jar root@hdc-data6:/opt/apps/hbase/lib/

3、启动phoenix

cd /opt/apps/phoenix/bin/
./sqlline.py hdc-data4,hdc-data5,hdc-data6:2181

image.png

自动生成Phoenix系统表

image.png

phoenix语法：http://phoenix.apache.org/language/index.html

3.1测试实例

• 创建hbase测试表及插入测试数据，在hbase shell下进行

create 'test','cf1', 'cf2' 

put 'test', 'key1','cf1:name','zhangsan'
put 'test', 'key1','cf1:sex','男'
put 'test', 'key1','cf1:age','20'
put 'test', 'key1','cf2:address','beijing'

put 'test', 'key2','cf1:name','lisi'
put 'test', 'key2','cf1:sex','男'
put 'test', 'key2','cf1:age','21'
put 'test', 'key2','cf2:address','tianjin'

put 'test', 'key3','cf1:name','wangwu'
put 'test', 'key3','cf1:sex','女'
put 'test', 'key3','cf1:age','19'
put 'test', 'key3','cf2:address','guangdong'

image.png

• phoenix shell下创建view映射hbase表

注意：无论列名还是表名有大小写区分，若为小写需要用双引号，否则默认转大写。
这里就不阐述创建table或view映射hbase的区别了。另外hbase和phoenix的数据类型映射比较苛刻，比如实例中的age若创建成INTEGER会报错，因为INTEGER要求是4byte的二进制，二age的值序列化的时候只有2byte。
具体数据类型参考 http://phoenix.apache.org/language/datatypes.html

CREATE view "test" (
     "ROW" VARCHAR primary key, 
     "cf1"."name" VARCHAR, 
     "cf1"."sex" VARCHAR, 
     "cf1"."age" VARCHAR, 
     "cf2"."address" VARCHAR       
);

select * from "test";
select avg(to_number("age")) as avg_age from "test";

结果示例：

image.png

image.png

说明：2E+1等于2乘以10的1次方

• 创建表映射hbase,禁用列映射规则（column_encoded_bytes=0），否则查不出数据。

CREATE table "test" (
     "ROW" VARCHAR primary key, 
     "cf1"."name" VARCHAR, 
     "cf1"."sex" VARCHAR, 
     "cf1"."age" VARCHAR, 
     "cf1"."pay" VARCHAR, 
     "cf1"."ct" VARCHAR 
) column_encoded_bytes=0;

4、常见问题(FQA)

http://phoenix.apache.org/faq.html#

Q1:由于升级或旧版本残留导致phoenix无法自动创建表
通过zookeeper客户端删除/hbase/table/SYSTEM* 开头的六张残留表信息，重新启动phoenix即可。

二、安装SQuirrel客户端

SQuirreL SQL客户端是一个图形化的Java程序，它允许您查看JDBC兼容数据库的结构、浏览表中的数据、发出SQL命令等等。

1、下载安装

官网下载：http://squirrel-sql.sourceforge.net/#overview

选择安装Windows环境下的 SQuirrel客户端

image.png

SQuirreL 客户端是基于java安装，基于这个前提当前操作系统需要安装java环境。
在cmd命令行进入squirrel-sql--install.jar存放目录。执行以下命令

java -jar squirrel-sql-3.9.0-install.jar

image.png

image.png

修改安装路径

image.png

image.png

选择需要的插件，phoenix支持兼容jdbc连接的数据库，通过以下截图可以看出支持的数据库列表。可以选择你想要安装的数据库，全部安装也不费事，所以我选择了安装所有的，然后等待安装完成

image.png

image.png

image.png

image.png

安装完成

image.png

下一步直接默认，完成

image.png

2、配置Squirrel客户端

step1: 添加phoenix服务器安装目录下的phoenix-[version]-client.jar(即phoenix-4.14.1-HBase-1.1-client.jar)到squirrel-sql安装目录lib/下
step2: 添加驱动如下图所示

image.png

说明：
1、选择“驱动程序”添加新的驱动程序
2、填写驱动程序名称：Phoenix
3、填写驱动地址示例：jdbc:phoenix:zk1host,zk2host,zk3host:2181 ，hbase通过zookeeper连接
4、填写驱动类名：org.apache.phoenix.jdbc.PhoenixDriver
5、确定完成

image.png

3、创建连接

注意!!!
必须在 C:\Windows\System32\drivers\etc\hosts中配置ip和服务器主机名映射，且zookeeper主机IP映射的主机名一定要和服务器主机名配置的一样，否则以下步骤就会连接不成功。

image.png

说明：
1、创建好驱动后，选择别名新建连接
2、点击+号新建
3、填写连接名字(自定义)，选择驱动程序Phoenix，填写地址jdbc:phoenix:hdc-data1,hdc-data2,hdc-data3:2181,有户名密码为Phoenix服务器的登录用户和密码，可以不填留空。
4、选择自动登录，然后点击测试
5、显示连接成功，若还出现问题。进行排查或者度娘解决

再次提醒，写sql时 列名和表名去区分大小写，若要小写请用双引号括住，否则默认看成大写

image.png

三、Python Driver for Phoenix

Apache Phoenix的Python驱动程序实现了Python DB 2.0 API，通过Phoenix查询服务器访问Phoenix。该驱动程序使用Python 2.7、3.5和3.6进行了测试。

1、首先在Phoenix服务器启动python服务

./bin/queryserver.py

2、安装

way 1: 通过pip安装(方便直接)

pip install phoenixdb

way 2: 从github下载源码手动安装

cd /path/to/python-phoenix-x.y.z/
python setup.py install

3、测试实例

示例代码,注意区分大小写

import phoenixdb

with phoenixdb.connect('http://hdc-data4:8765/', autocommit=True) as connection:
    with connection.cursor() as cursor:
        cursor.execute("DROP TABLE IF EXISTS test")
        cursor.execute("CREATE TABLE test (id INTEGER PRIMARY KEY, text VARCHAR)")
        cursor.executemany("UPSERT INTO test VALUES (?, ?)", [[1, 'hello'], [2, 'world']])
        cursor.execute("SELECT * FROM test ORDER BY id")
        for row in cursor:
            print(row)

image.png

image.png

4、推荐客户端-DBeaver

step1:下载客户端配置并解压

image.png

step2:客户端驱动文件获取：

image.png

step3：将解压后的hbase-site.xml文件添加到客户端驱动文件中

首先去掉一些配置，否者无法连接成功

image.png

image.png

image.png

step4:添加驱动包

image.png

image.png

5、JAVA连接池

import com.alibaba.druid.pool.DruidDataSource;
import org.apache.ibatis.session.SqlSessionFactory;
import org.mybatis.spring.SqlSessionFactoryBean;
import org.mybatis.spring.SqlSessionTemplate;
import org.mybatis.spring.boot.autoconfigure.MybatisProperties;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.io.Resource;
import org.springframework.core.io.support.PathMatchingResourcePatternResolver;
import org.springframework.jdbc.datasource.DataSourceTransactionManager;
 
import javax.sql.DataSource;
import java.util.Properties;
 
/**
 * phoenix数据源配置
 */
 
@Configuration
public class PhoenixBatisConfig {
 
    @Value("${mybatis.typeAliasesPackage:com.cloud.unknown}")
    private String typeAliasesPackage;
 
    @Value("${mybatis.mapperLocations}")
    private String mapperLocations;
 
    @Value("${spring.datasource.phoenix.jdbc-url}")
    private String url;
 
    @Value("${spring.datasource.phoenix.driver-class-name}")
    private String driverClassName;
 
    @Value("${spring.datasource.phoenix.username}")
    private String userName;
 
    @Value("${spring.datasource.phoenix.password}")
    private String password;
 
    @Value("${spring.datasource.phoenix.default-auto-commit}")
    private boolean autoCommit;
 
    @Autowired
    private MybatisProperties properties;
 
    @Bean(name = "phoenixDataSource")
    public DataSource phoenixDataSource() {
        DruidDataSource dataSource = new DruidDataSource();
        dataSource.setDriverClassName(driverClassName);
        dataSource.setUrl(url);
        dataSource.setUsername(userName);//phoenix的用户名默认为空
        dataSource.setPassword(password);//phoenix的密码默认为空
        dataSource.setDefaultAutoCommit(autoCommit);
//        dataSource.setConnectionProperties("phoenix.schema.isNamespaceMappingEnabled=true");
//        dataSource.setValidationQuery("select 1 from dual");
        Properties props = new Properties();
        props.setProperty("phoenix.schema.isNamespaceMappingEnabled", Boolean.toString(true));
        props.setProperty("phoenix.schema.mapSystemTablesToNamespace", Boolean.toString(true));
 
        dataSource.setConnectProperties(props);
        return dataSource;
    }
 
    @Bean(name = "phoenixTransactionManager")
    public DataSourceTransactionManager phoenixTransactionManager(@Qualifier("phoenixDataSource") DataSource phoenixDataSource) {
        return new DataSourceTransactionManager(phoenixDataSource);
    }
 
    @Bean(name = "phoenixSessionFactory")
    public SqlSessionFactory phoenixSessionFactory(@Qualifier("phoenixDataSource") DataSource phoenixDataSource)
            throws Exception {
        SqlSessionFactoryBean sessionFactory = new SqlSessionFactoryBean();
//        sessionFactory.setDataSource(phoenixDataSource);
//        Resource[] resources = new PathMatchingResourcePatternResolver().getResources(mapperLocations);
//        sessionFactory.setTypeAliasesPackage(typeAliasesPackage);
//        sessionFactory.setMapperLocations(resources);
        sessionFactory.setDataSource(phoenixDataSource);
        sessionFactory.setTypeAliasesPackage(properties.getTypeAliasesPackage());
        sessionFactory.setConfiguration(properties.getConfiguration());
        Resource[] resources = new PathMatchingResourcePatternResolver().getResources(properties.getMapperLocations()[0]);
        sessionFactory.setMapperLocations(resources);
        return sessionFactory.getObject();
    }
 
    @Bean("phoenixSqlSessionTemplate")
    public SqlSessionTemplate phoenixSqlSessionTemplate(
            @Qualifier("phoenixSessionFactory") SqlSessionFactory sessionfactory) {
        return new SqlSessionTemplate(sessionfactory);
    }
 
}