Cky079

phoenix 查询优化 40秒变为0.02秒

phoenix 5.0

数据量不多，就是100万，测试一般是够用的。

0: jdbc:phoenix:192.168.199.154> select count(1) from T_EXTENSION_ALL_DATAS_SHOW;
+-----------+
| COUNT(1)  |
+-----------+
| 999999    |
+-----------+
1 row selected (8.714 seconds)

其中rowkey，主键是：CONSTRAINT PK PRIMARY KEY (SHOW_DATE, SEQ_ID, EMAIL)

0: jdbc:phoenix:192.168.199.154> select * from T_EXTENSION_ALL_DATAS_SHOW limit 2;
+-------------+---------+------------+-------------+-----------+---------------+----------+------------+-------+----------------------+
|  SHOW_DATE  | SEQ_ID  |   EMAIL    | TIME_SPEND  | CAM_SITE  | TOKEN_EARNED  | REVENUE  | TIPS_SENT  |  TOY  |     CREATED_DATE     |
+-------------+---------+------------+-------------+-----------+---------------+----------+------------+-------+----------------------+
| 2018-11-24  | 1       | [email protected]  | 65          | cam4      | 20.5          | 200.5    | 21         | ambi  | 2018-11-24 15:22:40  |
| 2018-11-24  | 2       | [email protected]  | 65          | cam4      | 20.5          | 200.5    | 21         | ambi  | 2018-11-24 15:22:40  |
+-------------+---------+------------+-------------+-----------+---------------+----------+------------+-------+----------------------+
2 rows selected (0.273 seconds)

-- 查询条件只有日期，查询最大ID 。可以看到速度还是很快的。

0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' order by seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 999999  |
+---------+
1 row selected (0.032 seconds)


0: jdbc:phoenix:192.168.199.154> explain select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' order by seq_id desc limit 1;
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
|                                                      PLAN                                                       | EST_BYTES_READ  | EST_ROWS_READ  | EST_INFO_TS  |
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
| CLIENT 1-CHUNK 1 ROWS 715 BYTES SERIAL 1-WAY REVERSE RANGE SCAN OVER T_EXTENSION_ALL_DATAS_SHOW ['2018-11-24']  | 715             | 1              | 0            |
|     SERVER FILTER BY FIRST KEY ONLY                                                                             | 715             | 1              | 0            |
|     SERVER 1 ROW LIMIT                                                                                          | 715             | 1              | 0            |
| CLIENT 1 ROW LIMIT                                                                                              | 715             | 1              | 0            |
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
4 rows selected (0.064 seconds)

-- 查询条件，增加email。直接超时，报错。

0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='[email protected]' order by seq_id desc limit 1;
Error: org.apache.phoenix.exception.PhoenixIOException: Failed after attempts=16, exceptions:
Sat Nov 24 15:43:47 CST 2018, null, java.net.SocketTimeoutException: callTimeout=60000, callDuration=60121

-- 为email增加全局二级索引，然后查询。走二级索引，速度就是快。0.059秒

0: jdbc:phoenix:192.168.199.154> CREATE INDEX IDX_T_EXTENSION_ALL_DATAS_SHOW_EMAIL ON T_EXTENSION_ALL_DATAS_SHOW(EMAIL);
999,999 rows affected (56.13 seconds)
0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='[email protected]' order by seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 45555   |
+---------+
1 row selected (0.059 seconds)
0: jdbc:phoenix:192.168.199.154>

-- 换成网站的查询条件，需要57秒！

0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and cam_site='cam4' order by seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 499999  |
+---------+
1 row selected (57.825 seconds)

0: jdbc:phoenix:192.168.199.154> explain select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and cam_site='cam4' order by seq_id desc limit 1;
+------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
|                                                             PLAN                                                             | EST_BYTES_READ  | EST_ROWS_READ  |  EST_INFO_TS   |
+------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
| CLIENT 2-CHUNK 639317 ROWS 314572822 BYTES PARALLEL 1-WAY REVERSE RANGE SCAN OVER T_EXTENSION_ALL_DATAS_SHOW ['2018-11-24']  | 314572822       | 639317         | 1543044967313  |
|     SERVER FILTER BY CAM_SITE = 'cam4'                                                                                       | 314572822       | 639317         | 1543044967313  |
|     SERVER 1 ROW LIMIT                                                                                                       | 314572822       | 639317         | 1543044967313  |
| CLIENT 1 ROW LIMIT                                                                                                           | 314572822       | 639317         | 1543044967313  |
+------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
4 rows selected (0.069 seconds)

-- 老样子，为网站字段建立。二级索引，从57秒变为 0.024秒！

0: jdbc:phoenix:192.168.199.154> CREATE INDEX IDX_T_EXTENSION_ALL_DATAS_SHOW_CAM_SITE ON T_EXTENSION_ALL_DATAS_SHOW(CAM_SITE);
999,999 rows affected (59.081 seconds)

0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and cam_site='cam4' order by seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 499999  |
+---------+
1 row selected (0.024 seconds)

-- 这次，我们在网站的基础上，增加一个玩具条件，会增么样呢？

-- 可以看到日期走了 RANGE SCAN，而网站和玩具都是FILTER，所以特别慢。

0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and cam_site='cam4' and toy='ambi' order by seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 499999  |
+---------+
1 row selected (56.94 seconds)

0: jdbc:phoenix:192.168.199.154> explain select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and cam_site='cam4' and toy='ambi' order by seq_id desc limit 1;
+------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
|                                                             PLAN                                                             | EST_BYTES_READ  | EST_ROWS_READ  |  EST_INFO_TS   |
+------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
| CLIENT 2-CHUNK 639317 ROWS 314572822 BYTES PARALLEL 1-WAY REVERSE RANGE SCAN OVER T_EXTENSION_ALL_DATAS_SHOW ['2018-11-24']  | 314572822       | 639317         | 1543044967313  |
|     SERVER FILTER BY (CAM_SITE = 'cam4' AND TOY = 'ambi')                                                                    | 314572822       | 639317         | 1543044967313  |
|     SERVER 1 ROW LIMIT                                                                                                       | 314572822       | 639317         | 1543044967313  |
| CLIENT 1 ROW LIMIT                                                                                                           | 314572822       | 639317         | 1543044967313  |
+------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
4 rows selected (0.029 seconds)
0: jdbc:phoenix:192.168.199.154>

-- 这时候我们需要建立组合二级索引，才能满足查询需求。速度又提升到了0.039秒。哈哈

0: jdbc:phoenix:192.168.199.154> CREATE INDEX IDX_T_EXTENSION_ALL_DATAS_SHOW_CAM_SITE_TOY ON T_EXTENSION_ALL_DATAS_SHOW(CAM_SITE,TOY);
999,999 rows affected (56.776 seconds)

0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and cam_site='cam4' and toy='ambi' order by seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 499999  |
+---------+
1 row selected (0.039 seconds)


0: jdbc:phoenix:192.168.199.154> explain select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and cam_site='cam4' and toy='ambi' order by seq_id desc limit 1;
+-----------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
|                                                                     PLAN                                                                      | EST_BYTES_READ  | EST_ROWS_READ  | EST_INFO_TS  |
+-----------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
| CLIENT 1-CHUNK 1 ROWS 73 BYTES SERIAL 1-WAY REVERSE RANGE SCAN OVER IDX_T_EXTENSION_ALL_DATAS_SHOW_CAM_SITE_TOY ['cam4','ambi','2018-11-24']  | 73              | 1              | 0            |
|     SERVER FILTER BY FIRST KEY ONLY                                                                                                           | 73              | 1              | 0            |
|     SERVER 1 ROW LIMIT                                                                                                                        | 73              | 1              | 0            |
| CLIENT 1 ROW LIMIT                                                                                                                            | 73              | 1              | 0            |
+-----------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
4 rows selected (0.033 seconds)

这个时候我就问自己，功能页面多一个查询条件，就要多建立好几个二级索引。才能满足速度要求。

比如 cam_site 和 toy，都不是必填项。

用户

可能只输入cam_site，需要1个二级索引。

可能只输入toy，需要1个二级索引。

可能同时输入两个，需要1个二级索引。

简单的两个条件，就要3个索引。

比如页面有6个查询条件！！需要多少二级索引！！！几何倍增长？疯了疯了

同一张表，索引数量不得超过10，索引表越多，插入数据越慢！！

这时候，其实想法比技术要重要。

1、从需求方面 (大数据查询，不适合太多条件的查询)。无意义的查询条件，统统PK掉。

需要规定一个必填的查询字段，比如最通用的：时间(yyyy-MM-dd)..

2、从表设计方面，row key可以是联合主键。可以利用这点，减少二级索引数量。比如show_date 就是主键。

3、从逻辑方面，比如我需要这几个查询条件，需要几个二级索引？？

时间、邮箱、网站、玩具

实际上，我只要4个二级索引，就够了。

时间走 rowkey这就不说了。

如果用户输入时间、邮箱、玩具，那么怎么处理？耗时也挺长的41秒。

0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='[email protected]' and toy='ambi' order by seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 45555   |
+---------+
1 row selected (41.395 seconds)


0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='[email protected]';
+---------+
| SEQ_ID  |
+---------+
| 45555   |
+---------+
1 row selected (0.035 seconds)


0: jdbc:phoenix:192.168.199.154> select t1.seq_id as seq_id from (select seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='[email protected]') t1 where t1.toy='ambi' order by t1.seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 45555   |
+---------+
1 row selected (40.367 seconds)


0: jdbc:phoenix:192.168.199.154> explain select t1.seq_id as seq_id from (select seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='[email protected]') t1 where t1.toy='ambi' order by t1.seq_id desc limit 1;
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
|                                                      PLAN                                                       | EST_BYTES_READ  | EST_ROWS_READ  | EST_INFO_TS  |
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
| CLIENT 1-CHUNK PARALLEL 1-WAY REVERSE RANGE SCAN OVER IDX_T_EXTENSION_ALL_DATAS_SHOW_TOY ['ambi','2018-11-24']  | null            | null           | null         |
|     SERVER FILTER BY FIRST KEY ONLY AND "EMAIL" = '[email protected]'                                               | null            | null           | null         |
|     SERVER 1 ROW LIMIT                                                                                          | null            | null           | null         |
| CLIENT 1 ROW LIMIT                                                                                              | null            | null           | null         |
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
4 rows selected (0.04 seconds)

从执行计划来看，我想需要改造一下，email二级索引。

0: jdbc:phoenix:192.168.199.154> drop index IDX_T_EXTENSION_ALL_DATAS_SHOW_EMAIL on T_EXTENSION_ALL_DATAS_SHOW;
No rows affected (2.275 seconds)


0: jdbc:phoenix:192.168.199.154> CREATE INDEX IDX_T_EXTENSION_ALL_DATAS_SHOW_EMAIL ON T_EXTENSION_ALL_DATAS_SHOW(EMAIL) INCLUDE(CAM_SITE,TOY);
999,999 rows affected (76.893 seconds)


0: jdbc:phoenix:192.168.199.154> select t1.seq_id as seq_id from (select seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='[email protected]') t1 where t1.toy='ambi' order by t1.seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 45555   |
+---------+
1 row selected (40.06 seconds)


0: jdbc:phoenix:192.168.199.154> explain select t1.seq_id as seq_id from (select seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='[email protected]') t1 where t1.toy='ambi' order by t1.seq_id desc limit 1;
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
|                                                      PLAN                                                       | EST_BYTES_READ  | EST_ROWS_READ  | EST_INFO_TS  |
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
| CLIENT 1-CHUNK PARALLEL 1-WAY REVERSE RANGE SCAN OVER IDX_T_EXTENSION_ALL_DATAS_SHOW_TOY ['ambi','2018-11-24']  | null            | null           | null         |
|     SERVER FILTER BY FIRST KEY ONLY AND "EMAIL" = '[email protected]'                                               | null            | null           | null         |
|     SERVER 1 ROW LIMIT                                                                                          | null            | null           | null         |
| CLIENT 1 ROW LIMIT                                                                                              | null            | null           | null         |
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
4 rows selected (0.034 seconds)


0: jdbc:phoenix:192.168.199.154> select seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='[email protected]';
+---------+-------+
| SEQ_ID  |  TOY  |
+---------+-------+
| 45555   | ambi  |
+---------+-------+
1 row selected (0.07 seconds)

执行的结果，还是不理想。完整的要40秒，连执行计划都没有任何变化。~~~~(>_<)~~~~

但是，子查询真的是非常快的，为啥包了一层就慢了40秒？？？？

没办法出绝招了：Hint

0: jdbc:phoenix:192.168.199.154> select /*+ INDEX(T_EXTENSION_ALL_DATAS_SHOW IDX_T_EXTENSION_ALL_DATAS_SHOW_EMAIL) */ t1.seq_id as seq_id from (select seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='[email protected]') t1 where t1.toy='ambi' order by t1.seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 45555   |
+---------+
1 row selected (0.017 seconds)


0: jdbc:phoenix:192.168.199.154> explain select /*+ INDEX(T_EXTENSION_ALL_DATAS_SHOW IDX_T_EXTENSION_ALL_DATAS_SHOW_EMAIL) */ t1.seq_id as seq_id from (select seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='[email protected]') t1 where t1.toy='ambi' order by t1.seq_id desc limit 1;
+---------------------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
|                                                                          PLAN                                                                           | EST_BYTES_READ  | EST_ROWS_READ  |  EST_INFO_TS   |
+---------------------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
| CLIENT 1-CHUNK 1182604 ROWS 314572800 BYTES PARALLEL 1-WAY REVERSE RANGE SCAN OVER IDX_T_EXTENSION_ALL_DATAS_SHOW_EMAIL ['[email protected]','2018-11-24']  | 314572800       | 1182604        | 1543050902166  |
|     SERVER FILTER BY "TOY" = 'ambi'                                                                                                                     | 314572800       | 1182604        | 1543050902166  |
|     SERVER 1 ROW LIMIT                                                                                                                                  | 314572800       | 1182604        | 1543050902166  |
| CLIENT 1 ROW LIMIT                                                                                                                                      | 314572800       | 1182604        | 1543050902166  |
+---------------------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
4 rows selected (0.048 seconds)

哈哈，太好了，非常完美。

phoenix ，通常是会自动选择最优的二级索引，但有时它并不是很聪明。

这个时候就需要我们告诉它，应该使用哪个二级索引！！

方法很简单，从逻辑角度邮箱就是最细粒度。如果查询条件，有最细粒度。

先拿最细粒度字段走二级索引查询结果。（进过最细粒度条件的过滤，这个结果集就小了很多很多！）

再将结果集，使用玩具名称过滤。

意思就是查两次，速度一样很快。哈哈

注意：有时走二级索引，不一定会比过滤快？(结果集小的时候，filter有优势！)

另一种方式，也需要1秒多。这种方式，邮箱、时间走得二级索引、玩具也是走二级索引。就像是饶了一个大弯，哈哈。

0: jdbc:phoenix:192.168.199.154> select t1.seq_id from T_EXTENSION_ALL_DATAS_SHOW t1 inner join (select show_date,email,seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='[email protected]') t2 on(t1.show_date=t2.show_date and t1.seq_id= t2.seq_id) where t1.toy='ambi' order by t1.seq_id desc limit 1;
+------------+
| T1.SEQ_ID  |
+------------+
| 45555      |
+------------+
1 row selected (1.171 seconds)


0: jdbc:phoenix:192.168.199.154> explain select t1.seq_id from T_EXTENSION_ALL_DATAS_SHOW t1 inner join (select show_date,email,seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='[email protected]') t2 on(t1.show_date=t2.show_date and t1.seq_id= t2.seq_id) where t1.toy='ambi' order by t1.seq_id desc limit 1;
+---------------------------------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
|                                                                                PLAN                                                                                 | EST_BYTES_READ  | EST_ROWS_READ  |  EST_INFO_TS   |
+---------------------------------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
| CLIENT 1-CHUNK PARALLEL 1-WAY RANGE SCAN OVER IDX_T_EXTENSION_ALL_DATAS_SHOW_TOY ['ambi']                                                                           | 314572800       | 1182604        | 1543050902166  |
|     SERVER FILTER BY FIRST KEY ONLY                                                                                                                                 | 314572800       | 1182604        | 1543050902166  |
|     SERVER TOP 1 ROW SORTED BY ["T1.:SEQ_ID" DESC]                                                                                                                  | 314572800       | 1182604        | 1543050902166  |
| CLIENT MERGE SORT                                                                                                                                                   | 314572800       | 1182604        | 1543050902166  |
| CLIENT LIMIT 1                                                                                                                                                      | 314572800       | 1182604        | 1543050902166  |
|     PARALLEL INNER-JOIN TABLE 0 (SKIP MERGE)                                                                                                                        | 314572800       | 1182604        | 1543050902166  |
|         CLIENT 1-CHUNK 1182604 ROWS 314572800 BYTES PARALLEL 1-WAY ROUND ROBIN RANGE SCAN OVER IDX_T_EXTENSION_ALL_DATAS_SHOW_EMAIL ['[email protected]','2018-11-24']  | 314572800       | 1182604        | 1543050902166  |
+---------------------------------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
7 rows selected (0.051 seconds)

关于phoenix查询的优化，今天就到这里。END

你可能感兴趣的:(Phoenix)

通过DBeaver连接Phoenix操作hbase 不想做咸鱼的王富贵
通过DBeaver连接Phoenix操作hbase前言本文介绍常用一种通用数据库工具Dbeaver，DBeaver可通过JDBC连接到数据库，可以支持几乎所有的数据库产品，包括：MySQL、PostgreSQL、MariaDB、SQLite、Oracle、Db2、SQLServer、Sybase、MSAccess、Teradata、Firebird、Derby等等。商业版本更是可以支持各种NoSQ
spring boot jar 启动报错 Zip64 archives are not supported 赵丙双 java spring boot jar zip zip64 loader
springbootjar启动报错Zip64archivesarenotsupported原因、解决方案问题为什么springboot不支持zip64zip、zip64功能上的区别zip的文件格式spring-boot-loader是如何判断是否是zip64的？参考springboot版本是2.1.8.RELEASE，引入以下phoenix依赖之后启动报错。org.apache.phoenixph
EMR组件部署指南 ivwdcwso 运维 EMR 大数据开源运维
EMR(ElasticMapReduce)是一个大数据处理和分析平台,包含了多个开源组件。本文将详细介绍如何部署EMR的主要组件,包括:JDK1.8ElasticsearchKafkaFlinkZookeeperHBaseHadoopPhoenixScalaSparkHive准备工作所有操作都在/data目录下进行。首先安装JDK1.8:yuminstalljava-1.8.0-openjdk部署
大数据技术之HBase 与 Hive 集成(7) 大数据深度洞察 Hbase 大数据 hbase hive
目录使用场景HBase与Hive集成使用1）案例一2）案例二使用场景如果大量的数据已经存放在HBase上面，并且需要对已经存在的数据进行数据分析处理，那么Phoenix并不适合做特别复杂的SQL处理。此时，可以使用Hive映射HBase的表格，之后通过编写HQL进行分析处理。HBase与Hive集成使用Hive安装https://blog.csdn.net/qq_45115959/article/
大数据技术之HBase整合 Phoenix(6) 大数据深度洞察 Hbase 大数据 hbase 数据库
目录HBase整合PhoenixPhoenix简介Phoenix定义为什么使用PhoenixPhoenix快速入门安装1）官网地址2）Phoenix部署PhoenixShell操作Table表的映射数字类型说明PhoenixJDBC操作Phoenix二级索引二级索引配置文件全局索引（globalindex）包含索引（coveredindex）本地索引（localindex）HBase整合Phoen
Phoenix自定义函数UDF异常解决方案 kikiki2
在Phoenix客户端使用自定义函数UDF时候是正常的,但是在本地测试的时候报Function类找不到的异常。异常演示例子@TestpublicvoidtestSql2()throwsSQLException{Stringsql="selectCRC32(\"userId\")fromTEST_LOG";Configurationconf=newConfiguration();conf.addRe
Phoenix的安装和使用 JasonLee实时计算
直接看我的公众号吧https://mp.weixin.qq.com/s/yNAmlFPnHMqCDIXhFVLhrw
codeforces 1400分沫刃起 codeforces 算法 c++数据结构
文章目录1.[B.PhoenixandBeauty](https://codeforces.com/problemset/problem/1348/B)2.[C.RotationMatching](https://codeforces.com/problemset/problem/1365/C)3.[C.ElementExtermination](https://codeforces.com/pr
Phoenix自定义函数UDF异常解决方案 kikiki1
在Phoenix客户端使用自定义函数UDF时候是正常的,但是在本地测试的时候报Function类找不到的异常。异常演示例子@TestpublicvoidtestSql2()throwsSQLException{Stringsql="selectCRC32(\"userId\")fromTEST_LOG";Configurationconf=newConfiguration();conf.addRe
Python3环境下安装wxPython 怀沙
今天当我用pipinstallwxpython的时候提示找不到适合的版本查了一下原因发现我用Python3.6版本、老版本的wxPython是不支持Python3系列的；我们就需要用到Phoenix了。Phoenix是wxPython的一个全新的实现，它的目的是让wxPython“比以前更好、更强大、更快”下面我们来说说怎么样在Python3环境中安装wxPythonWxPython-logo.p
了解去中心化杠杆代币：以Phoenix Finance为例 chinadefi 去中心化区块链比特币
了解去中心化杠杆代币：以PhoenixFinance为例市场上有几种去中心化杠杆代币模型，包括SetProtocol、Tracer和PhoenixFinance。它们都对杠杆头寸的代币化应用了非常不同的方法。什么是杠杆代币?杠杆代币是一种衍生品，为持有者提供了对加密资产的稳定杠杆敞口。代币持有者不需要担心主动管理杠杆头寸、借款或清算。固定的杠杆或杠杆范围由再平衡机制维持。例如，PhoenixFin
Phoenix Digital网络模块——将新的PLC连接到传统远程I/O SoftingChina Softing 工业自动化新基建 Phoenix 网络模块 PLC I/O Softing
假如您的工厂进行了大规模的改造以提高生产效率，这就意味着您需要用自动化设备来取代一些手动工艺。在该改造项目中，有一部分需要更新控制系统，但是对于远程I/O，它们是否也需要进行更换呢？如果新的控制系统无法与使用长达20年的远程I/O进行通信，那么它将无法融入老旧的网络系统中。在这种情形下，您可能会认为需要同时更换网络系统和远程I/O，并且在未来也应进行这样的操作。但幸运的是，现在您只需更新PLC，而
Clickhouse到HBase(Phoenix)数据导入 DataX 布尔科技技术团队 hbase oracle postgresql 数据仓库
DataXDataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。类型数据源Reader(读)Writer(写)文档RDBMS关系型数据库MySQL√√读、写Oracle√√读、写SQLServer√√读、写PostgreSQL√√读、写DRDS√√读、写通用RDB
Jmeter 使用技巧 Anniejunyan 自动化测试工具
一、使用代理录制HTTP(web)请求(1)创建HTTP请求默认值1.打开jmeter2.jmeter中测试计划右键，新建线程组3.右键点击新添加的线程组----添加配置元件---添加HTTP请求默认值4.配置HTTP请求默认值--服务器名称或IP（ServerNameorIP）输入：roccoffline.easternphoenix.com--协议（Protocol）输入：http--端口（P
Apache Phoenix 映射已存在 HBase 表，查询不到数据 Saxon_323e
问题描述按照网友提供的phoenix映射已存在的hbase表demo时，表映射正常，但是使用phoenix查询时，一直查询不到数据。举个栗子：1.hbaseshell插入数据create'test1','i'put'test1','1','i:name','zhangsan'put'test1','2','i:name','lisi'put'test1','1','i:age','15'put't
2022-08-25 东临沧海
凤凰社(theOrderofthePhoenix，中文繁体版译为凤凰会)，是邓布利多所创办的专门反抗伏地魔的一个组织，由一些不太相成、看起来不太像英雄，默默无闻的人组成，但是大多数都是勇敢无畏的人。凤凰社成员由反抗伏地魔与食死徒的人组成。在1970年代，许多凤凰社成员牺牲了，在第二次魔法战役期间，又有许多成员牺牲。这都是一群坚韧不拔的人。在第二次战役期间总部设在格里莫广场12号，只有保密人能告诉别
Phoenix自定义函数UDF异常解决方案 kikiki1
在Phoenix客户端使用自定义函数UDF时候是正常的,但是在本地测试的时候报Function类找不到的异常。异常演示例子@TestpublicvoidtestSql2()throwsSQLException{Stringsql="selectCRC32(\"userId\")fromTEST_LOG";Configurationconf=newConfiguration();conf.addRe
c++函数怎么返回多个值 Phoenix Studio C++c++开发语言算法
文章目录代码地址：https://github.com/Phoenix8215/CplusplusMagicalCrafts使用结构体或类：定义一个结构体或类，其中包含了所有需要返回的值。然后在函数中返回这个结构体或类的实例。structResult{intvalue1;doublevalue2;charvalue3;};ResultmyFunction(){Resultr;r.value1=1;
转载 RECHER_ZHANG
varusername="bolu1234";var_blogger=username;varblog_address="http://blog.csdn.net/bolu1234";varstatic_host="http://csdnimg.cn/release/phoenix/";varcurrentUserName="RECHER_ZHANG";varfileName='51867099'
查看oracle服务器信息,查看本地oracle数据库的服务器名方焉识查看oracle服务器信息
查看本地oracle数据库的服务器名内容精选换一换该任务指导用户使用Loader将数据从关系型数据库导入到HBase。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HBase表或phoenix表。获取关系型数据库使用的用户和密码。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的作业需要使用指定YARN队列功能，该用户需要本章节介绍
win10找不到d3dx9_43.dll，无法正常启动0xc000007b 集智飞行笔记系统无人机开发 windows
Win10电脑，安装PhoenixRC时，安装好后点击运行，报错找不到d3dx9_43.dll按照网上的一些教程下载d3dx9_43.dll并放到C:\Windows\System32\下再运行regsvr32d3dx9_43.dll并没有作用。正确解决办法：1、腾讯电脑管家--工具箱--电脑诊所--软件硬件--丢失dll文件--丢失d3dx**.dll--立即修复。然后它会帮你安装好Direct
10.Flink实时项目之订单维度表关联选手一号位
1.维度查询在上一篇中，我们已经把订单和订单明细表join完，本文将关联订单的其他维度数据，维度关联实际上就是在流中查询存储在hbase中的数据表。但是即使通过主键的方式查询，hbase速度的查询也是不及流之间的join。外部数据源的查询常常是流式计算的性能瓶颈，所以我们在查询hbase维度数据的基础上做一些优化及封装。phoenix查询封装phoenix作为hbase的一个上层sql封装，或者叫
插入类 dp 总结 best_brain 个人总结内容总结算法 c++动态规划经验分享
插入类dp总结概念例题Permutation[ABC209F]Deforestation[CEOI2016]kangarooAntMan[JOIOpen2016]摩天大楼[ZJOI2012]波浪PhoenixandComputers[COCI2021-2022#2]Magneti概念\qquad什么是插入类dpdpdp呢？\qquad这类题目都有一个特性：1、题目往往会基于一个给定的排列做dpdp
一文读懂大数据工具Phoenix：让你的数据管理更高效！知识分享小能手学习心得体会大数据大数据数据库数据分析
介绍：Phoenix，最初由saleforce开发并开源，后成为Apache基金会的顶级项目。它是一个构建在HBase上的SQL层，可以使用标准的JDBCAPIs而不是HBase客户端APIs来创建表、插入数据和查询HBase中的数据。此外，Phoenix还完全使用Java编写，作为HBase内嵌的JDBC驱动，将SQL查询转换为一个或多个HBase扫描。Phoenix的主要特点包括：将SQL查询
通过DBeaver连接Phoenix操作hbase 风静花犹落
下载DBeaverhttps://dbeaver.io/download配置JDK(可选)编辑DBeaver安装目录下DBeaver.ini文件，在首行添加JDK安装路径-vmD:\ProgramFiles\jdk\bin连接HBase1.配置文件>新建>数据库连接>ApachePhoenix>填写相应的host，port，username，password信息2.驱动文件自动下载驱动编辑驱动设置
spark+phoenix读取hbase 潮落拾贝 spark hbase 大数据
正常来说这个内容应该网上可参考的文章很多，但是我还是捣鼓了好久，现在记录下来，给自己个备忘录。phoenix是操作hbase的皮肤，他可以轻松的使用sql语句来操作hbase，比直接用hbase的原语操作要友好的多。spark直接操作hbase也是通过hbase的原语操作，操作起来比较繁琐，下面就是将spark和phoenix相结合的方法步骤。我用的是scala语言，首先pom.xml中添加依赖o
【远程访问】Hbase+Phoenix（伪分布式部署） itachi-uchiha 数据库 hbase 分布式 big data standalone
目录Server端部署Hbase+Phoenix环境下载安装包安装JDK并配置环境变量配置ssh免密登录（可选）安装并启动zookeeper安装hbase安装phoenix启停hbase验证hbase是否启动Client端使用Phoenix进行远程访问Server端部署Hbase+Phoenix环境本环境为“伪分布式”部署，仅限于技术研究以及开发、测试环境，生产环境请按照最佳实践进行部署。下载安装
树莓派安装 Samba 和 Jupyter Notebook服务器（超级详细） Nirvana Of Phoenixl rasberryPi 服务器 jupyter linux
树莓派安装Samba和JupyterNotebook服务器（良心、超详细）1安装samba2安装jupyternotebook **大功告成，动动小手，点个赞收藏一下支持我**Author：NirvanaOfPhoenixlProverbsforyou：Thereisnodoubtthatgoodthingswillalwayscome,andwhenitcomeslate,itcanbea
2.右值引用和移动语义 Phoenix Studio C++开发语言 c++github 算法数据结构
文章目录右值引用和移动语义&&的特性右值引用优化性能，避免深拷贝移动(move)语义forward完美转发emplace_back减少内存拷贝和移动unorderedcontainer无序容器map和unordered_map的差别内部实现机理不同优缺点以及适用处小结优缺点以及适用处小结代码地址：https://github.com/Phoenix8215/CplusplusMagicalCraf
C++11智能指针|巨巨巨详细 Phoenix Studio C++c++开发语言
文章目录智能指针`shared_ptr``shared_ptr`的基本用法使用`shared_ptr`要注意的问题`unique_ptr`独占的智能指针weak_ptr弱引用的智能指针weak_ptr的基本用法weak_ptr返回this指针weak_ptr解决循环引用问题weak_ptr使用注意事项代码地址：https://github.com/Phoenix8215/CplusplusMagi
Nginx负载均衡 510888780 nginx 应用服务器
Nginx负载均衡一些基础知识: nginx 的 upstream目前支持 4 种方式的分配 1)、轮询（默认）每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。 2)、weight 指定轮询几率，weight和访问比率成正比
RedHat 6.4 安装 rabbitmq bylijinnan erlang rabbitmq redhat
在 linux 下安装软件就是折腾，首先是测试机不能上外网要找运维开通，开通后发现测试机的 yum 不能使用于是又要配置 yum 源，最后安装 rabbitmq 时也尝试了两种方法最后才安装成功机器版本： [root@redhat1 rabbitmq]# lsb_release LSB Version: :base-4.0-amd64:base-4.0-noarch:core
FilenameUtils工具类 eksliang FilenameUtils common-io
转载请出自出处：http://eksliang.iteye.com/blog/2217081 一、概述这是一个Java操作文件的常用库，是Apache对java的IO包的封装，这里面有两个非常核心的类FilenameUtils跟FileUtils，其中FilenameUtils是对文件名操作的封装;FileUtils是文件封装，开发中对文件的操作，几乎都可以在这个框架里面找到。非常的好用。
xml文件解析SAX 不懂事的小屁孩 xml
xml文件解析:xml文件解析有四种方式， 1.DOM生成和解析XML文档(SAX是基于事件流的解析) 2.SAX生成和解析XML文档(基于XML文档树结构的解析) 3.DOM4J生成和解析XML文档 4.JDOM生成和解析XML 本文章用第一种方法进行解析，使用android常用的DefaultHandler import org.xml.sax.Attributes;
通过定时任务执行mysql的定期删除和新建分区，此处是按日分区酷的飞上天空 mysql
使用python脚本作为命令脚本，linux的定时任务来每天定时执行 #!/usr/bin/python # -*- coding: utf8 -*- import pymysql import datetime import calendar #要分区的表 table_name = 'my_table' #连接数据库的信息 host,user,passwd,db =
如何搭建数据湖架构？听听专家的意见蓝儿唯美架构
Edo Interactive在几年前遇到一个大问题：公司使用交易数据来帮助零售商和餐馆进行个性化促销，但其数据仓库没有足够时间去处理所有的信用卡和借记卡交易数据 “我们要花费27小时来处理每日的数据量，”Edo主管基础设施和信息系统的高级副总裁Tim Garnto说道：“所以在2013年，我们放弃了现有的基于PostgreSQL的关系型数据库系统，使用了Hadoop集群作为公司的数
spring学习——控制反转与依赖注入 a-john spring
控制反转（Inversion of Control，英文缩写为IoC）是一个重要的面向对象编程的法则来削减计算机程序的耦合问题，也是轻量级的Spring框架的核心。控制反转一般分为两种类型，依赖注入（Dependency Injection，简称DI）和依赖查找（Dependency Lookup）。依赖注入应用比较广泛。
用spool+unixshell生成文本文件的方法 aijuans xshell
例如我们把scott.dept表生成文本文件的语句写成dept.sql,内容如下: 　　set pages 50000; 　　set lines 200; 　　set trims on; 　　set heading off; 　　spool /oracle_backup/log/test/dept.lst; 　　select deptno||','||dname||','||loc
1、基础--名词解析(OOA/OOD/OOP) asia007 学习基础知识
OOA:Object-Oriented Analysis（面向对象分析方法）是在一个系统的开发过程中进行了系统业务调查以后，按照面向对象的思想来分析问题。OOA与结构化分析有较大的区别。OOA所强调的是在系统调查资料的基础上，针对OO方法所需要的素材进行的归类分析和整理，而不是对管理业务现状和方法的分析。　　OOA（面向对象的分析）模型由5个层次（主题层、对象类层、结构层、属性层和服务层）
浅谈java转成json编码格式技术百合不是茶 json编码 java转成json编码
json编码;是一个轻量级的数据存储和传输的语言在java中需要引入json相关的包,引包方式在工程的lib下就可以了 JSON与JAVA数据的转换（JSON 即 JavaScript Object Natation，它是一种轻量级的数据交换格式，非常适合于服务器与 JavaScript 之间的数据的交
web.xml之Spring配置(基于Spring+Struts+Ibatis) bijian1013 java web.xml SSI spring配置
指定Spring配置文件位置 <context-param> <param-name>contextConfigLocation</param-name> <param-value> /WEB-INF/spring-dao-bean.xml,/WEB-INF/spring-resources.xml, /WEB-INF/
Installing SonarQube（Fail to download libraries from server） sunjing Install Sonar
1. Download and unzip the SonarQube distribution 2. Starting the Web Server The default port is "9000" and the context path is "/". These values can be changed in &l
【MongoDB学习笔记十一】Mongo副本集基本的增删查 bit1129 mongodb
一、创建复本集假设mongod,mongo已经配置在系统路径变量上，启动三个命令行窗口，分别执行如下命令： mongod --port 27017 --dbpath data1 --replSet rs0 mongod --port 27018 --dbpath data2 --replSet rs0 mongod --port 27019 -
Anychart图表系列二之执行Flash和HTML5渲染白糖_ Flash
今天介绍Anychart的Flash和HTML5渲染功能 HTML5 Anychart从6.0第一个版本起，已经逐渐开始支持各种图的HTML5渲染效果了，也就是说即使你没有安装Flash插件，只要浏览器支持HTML5，也能看到Anychart的图形（不过这些是需要做一些配置的）。这里要提醒下大家，Anychart6.0版本对HTML5的支持还不算很成熟，目前还处于
Laravel版本更新异常4.2.8-> 4.2.9 Declaration of ... CompilerEngine ... should be compa bozch laravel
昨天在为了把laravel升级到最新的版本，突然之间就出现了如下错误： ErrorException thrown with message "Declaration of Illuminate\View\Engines\CompilerEngine::handleViewException() should be compatible with Illuminate\View\Eng
编程之美-NIM游戏分析-石头总数为奇数时如何保证先动手者必胜 bylijinnan 编程之美
import java.util.Arrays; import java.util.Random; public class Nim { /**编程之美 NIM游戏分析问题：有N块石头和两个玩家A和B，玩家A先将石头随机分成若干堆，然后按照BABA...的顺序不断轮流取石头，能将剩下的石头一次取光的玩家获胜，每次取石头时，每个玩家只能从若干堆石头中任选一堆，
lunce创建索引及简单查询 chengxuyuancsdn 查询创建索引 lunce
import java.io.File; import java.io.IOException; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Docume
[IT与投资]坚持独立自主的研究核心技术 comsci it
和别人合作开发某项产品....如果互相之间的技术水平不同,那么这种合作很难进行,一般都会成为强者控制弱者的方法和手段..... 所以弱者,在遇到技术难题的时候,最好不要一开始就去寻求强者的帮助,因为在我们这颗星球上,生物都有一种控制其
flashback transaction闪回事务查询 daizj oracle sql 闪回事务
闪回事务查询有别于闪回查询的特点有以下3个：（1）其正常工作不但需要利用撤销数据，还需要事先启用最小补充日志。（2）返回的结果不是以前的“旧”数据，而是能够将当前数据修改为以前的样子的撤销SQL（Undo SQL）语句。（3）集中地在名为flashback_transaction_query表上查询，而不是在各个表上通过“as of”或“vers
Java I/O之FilenameFilter类列举出指定路径下某个扩展名的文件游其是你 FilenameFilter
这是一个FilenameFilter类用法的例子，实现的列举出“c:\\folder“路径下所有以“.jpg”扩展名的文件。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
C语言学习五函数，函数的前置声明以及如何在软件开发中合理的设计函数来解决实际问题 dcj3sjt126com c
# include <stdio.h> int f(void) //括号中的void表示该函数不能接受数据，int表示返回的类型为int类型 { return 10; //向主调函数返回10 } void g(void) //函数名前面的void表示该函数没有返回值 { //return 10; //error 与第8行行首的void相矛盾 } in
今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Pl dcj3sjt126com centos
今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again 处理很简单，修改文件“/etc/yum.repos.d/epel.repo”，将baseurl的注释取消， mirrorlist注释掉。即可。 &n
单例模式 shuizhaosi888 单例模式
单例模式懒汉式 public class RunMain { /** * 私有构造 */ private RunMain() { } /** * 内部类，用于占位，只有 */ private static class SingletonRunMain { priv
Spring Security（09）——Filter 234390216 Spring Security
Filter 目录 1.1 Filter顺序 1.2 添加Filter到FilterChain 1.3 DelegatingFilterProxy 1.4 FilterChainProxy 1.5
公司项目NODEJS实践0.1 逐行分析JS源代码 mongodb nginx ubuntu nodejs
一、前言前端如何独立用nodeJs实现一个简单的注册、登录功能，是不是只用nodejs+sql就可以了？其实是可以实现，但离实际应用还有距离，那要怎么做才是实际可用的。网上有很多nod
java.lang.Math liuhaibo_ljf java Math lang
System.out.println(Math.PI); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1)); System.out.println(Math.abs(111111111)); System.out.println(Mat
linux下时间同步 nonobaba ntp
今天在linux下做hbase集群的时候，发现hmaster启动成功了，但是用hbase命令进入shell的时候报了一个错误 PleaseHoldException: Master is initializing，查看了日志，大致意思是说master和slave时间不同步，没办法，只好找一种手动同步一下，后来发现一共部署了10来台机器，手动同步偏差又比较大，所以还是从网上找现成的解决方
ZooKeeper3.4.6的集群部署 roadrunners zookeeper 集群部署
ZooKeeper是Apache的一个开源项目，在分布式服务中应用比较广泛。它主要用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步、集群管理、配置文件管理、同步锁、队列等。这里主要讲集群中ZooKeeper的部署。 1、准备工作我们准备3台机器做ZooKeeper集群，分别在3台机器上创建ZooKeeper需要的目录。数据存储目录
Java高效读取大文件 tomcat_oracle java
　　读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法：　　Files.readLines(new File(path), Charsets.UTF_8); 　　FileUtils.readLines(new File(path)); 　　这种方法带来的问题是文件的所有行都被存放在内存中，当文件足够大时很快就会导致
微信支付api返回的xml转换为Map的方法 xu3508620 xml map 微信api
举例如下： <xml> <return_code><![CDATA[SUCCESS]]></return_code> <return_msg><![CDATA[OK]]></return_msg> <appid><