张德恒
张德恒

tidb 与 doris 性能对比

说明

  1. doris 未使用 物化视图，使用的是聚合类型动态分区表。
  2. tidb 未使用分区表
  3. 数据量7800w

步骤

  1. doris 建表语句：
CREATE TABLE `biz_cms_flow_v4` (
  `dt` date NULL COMMENT "",
  `dn` int(11) NOT NULL COMMENT "站点1-acc 2-jianshe 3-med",
  `addtime` int(11) NOT NULL COMMENT "添加时间",
  `adduser` varchar(255) NULL COMMENT "用户名",
  `innercode` varchar(255) NULL COMMENT "栏目编码",
  `url` varchar(255) NULL COMMENT "地址",
  `title` varchar(32766) NOT NULL COMMENT "标题",
  `original` int(11) NOT NULL COMMENT "是否原创 0 非原创 1 原创",
  `timestamp` DATETIME,
  `pv` bigint(20) SUM NULL DEFAULT "0" COMMENT "pv",
  `uv` bigint(20) SUM NULL DEFAULT "0" COMMENT "访客"
) ENGINE=OLAP
AGGREGATE KEY(`dt`, `dn`, `addtime`, `adduser`, `innercode`, `url`, `title`, `original` ,timestamp)
COMMENT "OLAP"
PARTITION BY RANGE(`dt`) (
PARTITION p20200620 VALUES [('2020-06-20'), ('2020-06-21')),
PARTITION p20200621 VALUES [('2020-06-21'), ('2020-06-22')),
PARTITION p20200622 VALUES [('2020-06-22'), ('2020-06-23')),
PARTITION p20200623 VALUES [('2020-06-23'), ('2020-06-24')),
PARTITION p20200624 VALUES [('2020-06-24'), ('2020-06-25')),
PARTITION p20200625 VALUES [('2020-06-25'), ('2020-06-26')),
PARTITION p20200626 VALUES [('2020-06-26'), ('2020-06-27')),
PARTITION p20200627 VALUES [('2020-06-27'), ('2020-06-28')),
PARTITION p20200628 VALUES [('2020-06-28'), ('2020-06-29')),
PARTITION p20200629 VALUES [('2020-06-29'), ('2020-06-30')),
PARTITION p20200630 VALUES [('2020-06-30'), ('2020-07-01')),
PARTITION p20200701 VALUES [('2020-07-01'), ('2020-07-02')),
PARTITION p20200702 VALUES [('2020-07-02'), ('2020-07-03')),
PARTITION p20200703 VALUES [('2020-07-03'), ('2020-07-04')),
PARTITION p20200704 VALUES [('2020-07-04'), ('2020-07-05')),
PARTITION p20200705 VALUES [('2020-07-05'), ('2020-07-06')),
PARTITION p20200706 VALUES [('2020-07-06'), ('2020-07-07')),
PARTITION p20200707 VALUES [('2020-07-07'), ('2020-07-08')),
PARTITION p20200708 VALUES [('2020-07-08'), ('2020-07-09')),
PARTITION p20200709 VALUES [('2020-07-09'), ('2020-07-10')),
PARTITION p20200710 VALUES [('2020-07-10'), ('2020-07-11')),
PARTITION p20200711 VALUES [('2020-07-11'), ('2020-07-12')),
PARTITION p20200712 VALUES [('2020-07-12'), ('2020-07-13')),
PARTITION p20200713 VALUES [('2020-07-13'), ('2020-07-14')),
PARTITION p20200714 VALUES [('2020-07-14'), ('2020-07-15')),
PARTITION p20200715 VALUES [('2020-07-15'), ('2020-07-16')),
PARTITION p20200716 VALUES [('2020-07-16'), ('2020-07-17')),
PARTITION p20200717 VALUES [('2020-07-17'), ('2020-07-18')),
PARTITION p20200718 VALUES [('2020-07-18'), ('2020-07-19')),
PARTITION p20200719 VALUES [('2020-07-19'), ('2020-07-20')),
PARTITION p20200720 VALUES [('2020-07-20'), ('2020-07-21')),
PARTITION p20200721 VALUES [('2020-07-21'), ('2020-07-22')),
PARTITION p20200722 VALUES [('2020-07-22'), ('2020-07-23')),
PARTITION p20200723 VALUES [('2020-07-23'), ('2020-07-24')),
PARTITION p20200724 VALUES [('2020-07-24'), ('2020-07-25')),
PARTITION p20200725 VALUES [('2020-07-25'), ('2020-07-26')),
PARTITION p20200726 VALUES [('2020-07-26'), ('2020-07-27')),
PARTITION p20200727 VALUES [('2020-07-27'), ('2020-07-28')),
PARTITION p20200728 VALUES [('2020-07-28'), ('2020-07-29')),
PARTITION p20200729 VALUES [('2020-07-29'), ('2020-07-30')),
PARTITION p20200730 VALUES [('2020-07-30'), ('2020-07-31')),
PARTITION p20200731 VALUES [('2020-07-31'), ('2020-08-01')),
PARTITION p20200801 VALUES [('2020-08-01'), ('2020-08-02')),
PARTITION p20200802 VALUES [('2020-08-02'), ('2020-08-03')),
PARTITION p20200803 VALUES [('2020-08-03'), ('2020-08-04')),
PARTITION p20200804 VALUES [('2020-08-04'), ('2020-08-05')),
PARTITION p20200805 VALUES [('2020-08-05'), ('2020-08-06')),
PARTITION p20200806 VALUES [('2020-08-06'), ('2020-08-07')),
PARTITION p20200807 VALUES [('2020-08-07'), ('2020-08-08')),
PARTITION p20200808 VALUES [('2020-08-08'), ('2020-08-09')),
PARTITION p20200809 VALUES [('2020-08-09'), ('2020-08-10')),
PARTITION p20200810 VALUES [('2020-08-10'), ('2020-08-11')),
PARTITION p20200811 VALUES [('2020-08-11'), ('2020-08-12')),
PARTITION p20200812 VALUES [('2020-08-12'), ('2020-08-13')),
PARTITION p20200813 VALUES [('2020-08-13'), ('2020-08-14')),
PARTITION p20200814 VALUES [('2020-08-14'), ('2020-08-15')),
PARTITION p20200815 VALUES [('2020-08-15'), ('2020-08-16')),
PARTITION p20200816 VALUES [('2020-08-16'), ('2020-08-17')),
PARTITION p20200817 VALUES [('2020-08-17'), ('2020-08-18')),
PARTITION p20200818 VALUES [('2020-08-18'), ('2020-08-19')),
PARTITION p20200819 VALUES [('2020-08-19'), ('2020-08-20')),
PARTITION p20200820 VALUES [('2020-08-20'), ('2020-08-21')),
PARTITION p20200821 VALUES [('2020-08-21'), ('2020-08-22')),
PARTITION p20200822 VALUES [('2020-08-22'), ('2020-08-23')),
PARTITION p20200823 VALUES [('2020-08-23'), ('2020-08-24')),
PARTITION p20200824 VALUES [('2020-08-24'), ('2020-08-25')),
PARTITION p20200825 VALUES [('2020-08-25'), ('2020-08-26')),
PARTITION p20200826 VALUES [('2020-08-26'), ('2020-08-27')),
PARTITION p20200827 VALUES [('2020-08-27'), ('2020-08-28')),
PARTITION p20200828 VALUES [('2020-08-28'), ('2020-08-29')),
PARTITION p20200829 VALUES [('2020-08-29'), ('2020-08-30')),
PARTITION p20200830 VALUES [('2020-08-30'), ('2020-08-31')),
PARTITION p20200831 VALUES [('2020-08-31'), ('2020-09-01')),
PARTITION p20200901 VALUES [('2020-09-01'), ('2020-09-02')),
PARTITION p20200902 VALUES [('2020-09-02'), ('2020-09-03')),
PARTITION p20200903 VALUES [('2020-09-03'), ('2020-09-04')),
PARTITION p20200904 VALUES [('2020-09-04'), ('2020-09-05')),
PARTITION p20200905 VALUES [('2020-09-05'), ('2020-09-06')),
PARTITION p20200906 VALUES [('2020-09-06'), ('2020-09-07')),
PARTITION p20200907 VALUES [('2020-09-07'), ('2020-09-08')),
PARTITION p20200908 VALUES [('2020-09-08'), ('2020-09-09')),
PARTITION p20200909 VALUES [('2020-09-09'), ('2020-09-10')),
PARTITION p20200910 VALUES [('2020-09-10'), ('2020-09-11')),
PARTITION p20200911 VALUES [('2020-09-11'), ('2020-09-12')),
PARTITION p20200912 VALUES [('2020-09-12'), ('2020-09-13')),
PARTITION p20200913 VALUES [('2020-09-13'), ('2020-09-14')),
PARTITION p20200914 VALUES [('2020-09-14'), ('2020-09-15')),
PARTITION p20200915 VALUES [('2020-09-15'), ('2020-09-16')),
PARTITION p20200916 VALUES [('2020-09-16'), ('2020-09-17')),
PARTITION p20200917 VALUES [('2020-09-17'), ('2020-09-18')),
PARTITION p20200918 VALUES [('2020-09-18'), ('2020-09-19')),
PARTITION p20200919 VALUES [('2020-09-19'), ('2020-09-20')),
PARTITION p20200920 VALUES [('2020-09-20'), ('2020-09-21')),
PARTITION p20200921 VALUES [('2020-09-21'), ('2020-09-22')),
PARTITION p20200922 VALUES [('2020-09-22'), ('2020-09-23')),
PARTITION p20200923 VALUES [('2020-09-23'), ('2020-09-24')),
PARTITION p20200924 VALUES [('2020-09-24'), ('2020-09-25')),
PARTITION p20200925 VALUES [('2020-09-25'), ('2020-09-26')),
PARTITION p20200926 VALUES [('2020-09-26'), ('2020-09-27')),
PARTITION p20200927 VALUES [('2020-09-27'), ('2020-09-28')),
PARTITION p20200928 VALUES [('2020-09-28'), ('2020-09-29')),
PARTITION p20200929 VALUES [('2020-09-29'), ('2020-09-30')),
PARTITION p20200930 VALUES [('2020-09-30'), ('2020-10-01')),
PARTITION p20201001 VALUES [('2020-10-01'), ('2020-10-02')),
PARTITION p20201002 VALUES [('2020-10-02'), ('2020-10-03')),
PARTITION p20201003 VALUES [('2020-10-03'), ('2020-10-04')),
PARTITION p20201004 VALUES [('2020-10-04'), ('2020-10-05')),
PARTITION p20201005 VALUES [('2020-10-05'), ('2020-10-06')),
PARTITION p20201006 VALUES [('2020-10-06'), ('2020-10-07')),
PARTITION p20201007 VALUES [('2020-10-07'), ('2020-10-08')),
PARTITION p20201008 VALUES [('2020-10-08'), ('2020-10-09')),
PARTITION p20201009 VALUES [('2020-10-09'), ('2020-10-10')),
PARTITION p20201010 VALUES [('2020-10-10'), ('2020-10-11')),
PARTITION p20201011 VALUES [('2020-10-11'), ('2020-10-12')),
PARTITION p20201012 VALUES [('2020-10-12'), ('2020-10-13')),
PARTITION p20201013 VALUES [('2020-10-13'), ('2020-10-14')),
PARTITION p20201014 VALUES [('2020-10-14'), ('2020-10-15')),
PARTITION p20201015 VALUES [('2020-10-15'), ('2020-10-16')),
PARTITION p20201016 VALUES [('2020-10-16'), ('2020-10-17')),
PARTITION p20201017 VALUES [('2020-10-17'), ('2020-10-18')),
PARTITION p20201018 VALUES [('2020-10-18'), ('2020-10-19')),
PARTITION p20201019 VALUES [('2020-10-19'), ('2020-10-20')),
PARTITION p20201020 VALUES [('2020-10-20'), ('2020-10-21')),
PARTITION p20201021 VALUES [('2020-10-21'), ('2020-10-22')),
PARTITION p20201022 VALUES [('2020-10-22'), ('2020-10-23')),
PARTITION p20201023 VALUES [('2020-10-23'), ('2020-10-24')),
PARTITION p20201024 VALUES [('2020-10-24'), ('2020-10-25')),
PARTITION p20201025 VALUES [('2020-10-25'), ('2020-10-26')),
PARTITION p20201026 VALUES [('2020-10-26'), ('2020-10-27')),
PARTITION p20201027 VALUES [('2020-10-27'), ('2020-10-28')),
PARTITION p20201028 VALUES [('2020-10-28'), ('2020-10-29')),
PARTITION p20201029 VALUES [('2020-10-29'), ('2020-10-30')),
PARTITION p20201030 VALUES [('2020-10-30'), ('2020-10-31')),
PARTITION p20201031 VALUES [('2020-10-31'), ('2020-11-01')),
PARTITION p20201101 VALUES [('2020-11-01'), ('2020-11-02')),
PARTITION p20201102 VALUES [('2020-11-02'), ('2020-11-03')),
PARTITION p20201103 VALUES [('2020-11-03'), ('2020-11-04')),
PARTITION p20201104 VALUES [('2020-11-04'), ('2020-11-05')),
PARTITION p20201105 VALUES [('2020-11-05'), ('2020-11-06')),
PARTITION p20201106 VALUES [('2020-11-06'), ('2020-11-07')),
PARTITION p20201107 VALUES [('2020-11-07'), ('2020-11-08')),
PARTITION p20201108 VALUES [('2020-11-08'), ('2020-11-09')),
PARTITION p20201109 VALUES [('2020-11-09'), ('2020-11-10')),
PARTITION p20201110 VALUES [('2020-11-10'), ('2020-11-11')),
PARTITION p20201111 VALUES [('2020-11-11'), ('2020-11-12'))
)
DISTRIBUTED BY HASH(`addtime`) BUCKETS 10
PROPERTIES (
"replication_num" = "3",
"dynamic_partition.enable" = "true",
"dynamic_partition.time_unit" = "DAY",
"dynamic_partition.end" = "3",
"dynamic_partition.prefix" = "p",
"dynamic_partition.replication_num" = "3",
"dynamic_partition.buckets" = "10"
);
  1. hive 临时表
CREATE EXTERNAL TABLE `tmp_v1.tmp_zdh_test_biz_cms_flow_tmp_v20`(
  `dt` string,
  `dn` BIGINT,
  `addtime` BIGINT ,
  `adduser` string,
  `innercode` string,
  `url` string,
  `title` string,
  `original` BIGINT,
  `timestamp` TIMESTAMP,
  `pv` BIGINT,
  `uv` BIGINT
  )
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\u0001' ;
  1. 清洗 hive 表adm_v1.adm_cms_flow_daily 数据，导入tmp_v1.tmp_zdh_test_biz_cms_flow_tmp_v20。
insert overwrite table tmp_v1.tmp_zdh_test_biz_cms_flow_tmp_v20
select from_unixtime(unix_timestamp(dt,'yyyyMMdd'),'yyyy-MM-dd') as dt,case dn when 'acc' then 1 when 'jianshe' then 2 when 'med' then 3 else 4 end as dn1,addtime,adduser,innercode,url,title,original,from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss') ,cast(pv as bigint) as pv1,cast(uv as bigint) as uv1 from adm_v1.adm_cms_flow_daily;
  1. 验证数据量

file

  1. 拉取hdfs 数据 到本地

tidb 与 doris 性能对比_第1张图片

  1. 拆分文件 （按照行数拆分）

tidb 与 doris 性能对比_第2张图片

    1. 导入数据到 doris
 curl --location-trusted -u "root:cdelDoris" -H "label:tbiz_cms_flow_v2_202001" -H "column_sparator:^A"  -T tmp20_01 http://host:port/api/cdelyunqi/biz_cms_flow_v4/_stream_load
  1. 性能对比

例子一：

doris:

tidb 与 doris 性能对比_第3张图片

tidb:

tidb 与 doris 性能对比_第4张图片

对比结果：

  1. 数据查询结果相同。
  2. doris 用时0.02s 。 tidb 用时 0.477s

例子二：
doris : (用时1.01s)

mysql> select
    ->     url,
    ->     title,
    ->     adduser,
    ->     sum(if(pv is null ,0,pv)) as top_total_click_count
    ->     from
    ->     biz_cms_flow_v4
    ->     where
    ->     dt>='2020-07-01'
    ->     and dt <='2020-10-01'
    ->     and dn = 1 and addtime>='20200701'
    ->     and addtime <='20201001'
    ->     GROUP BY url,title,adduser
    ->     ORDER BY top_total_click_count desc
    ->     LIMIT 100;
+-------------------------------------------------+--------------------------------------------------------------------------------------------------+---------------+-----------------------+
| url                                             | title                                                                                            | adduser       | top_total_click_count |
+-------------------------------------------------+--------------------------------------------------------------------------------------------------+---------------+-----------------------+
| /zhuceshuiwushi/fxzd/ya20200707102243.shtml     | 备战税务师：报班好还是不报班好？报哪个班？给你一份专业建议                                       | yangying      |               1481701 |
| /gaojikuaijishi/fxzd/gu20200813181720.shtml     | 有人已经在为2021年高会报名做准备了？先来了解这些！                                               | guanxiaocha   |               1307003 |
| /gaojikuaijishi/fxzd/gu20200812192131.shtml     | 高级会计考试准考证打印常见问题及注意事项                                                         | guanxiaocha   |               1284869 |
| /gaojikuaijishi/fxzd/gu20200805205717.shtml     | 高级会计师开卷考试允许携带装订成册的资料 如何装订？                                              | guanxiaocha   |               1120083 |
| /zhongjijingjishi/kaoshi/wa20200703150724.shtml | 2020年各地初中级经济师报名条件汇总                                                               | wangweina     |               1084010 |
| /gaojikuaijishi/fxzd/gu20200831103726.shtml     | 2021年《高级会计实务》预习阶段备考方法及注意事项                                                 | guanxiaocha   |                837011 |
| /chujizhicheng/fxzd/ya20200821181305.shtml      | 题量、分值有变！财政部公布2020年初级会计职称考试题量及分值                                       | yangshuai1    |                740873 |
| /zhongjizhicheng/fxzd/re20200901115015.shtml    | 2020年中级会计职称考试真题及参考答案解析汇总（考生回忆版）                                       | renyuwei      |                714254 |
| /chujizhicheng/ksdt/qi20200923142955.shtml      | 全国2020年初级会计职称考试成绩查询入口已开通！                                                   | qixiaoran     |                700737 |
| /zhongjijingjishi/fudao/ha20200819182114.shtml  | 零基础考生如何高效备考2020年中级经济师？                                                         | hanyanan      |                638644 |
| /chujizhicheng/ksdt/ya20200928193437.shtml      | 重磅！2020年初级会计考试查分入口将于9月29日14点左右开通                                          | yangshuai1    |                450214 |
| /zhucekuaijishi/ksdt/yu20200921101346.shtml     | 【紧急通知】2020年注册会计师准考证打印入口已开通！                                               | yushuang      |                393947 |
| /zhongjizhicheng/fxzd/de20200911110254.shtml    | 中级会计职称《经济法》历年考试真题（2015-2020）                                                  | denghuipeng   |                379548 |
| /zhongjizhicheng/fxzd/de20200911103510.shtml    | 中级会计职称《中级会计实务》历年考试真题（2015-2020）                                            | denghuipeng   |                378732 |
| /zhongjizhicheng/fxzd/de20200911111825.shtml    | 中级会计职称《财务管理》历年考试真题（2015-2020）                                                | denghuipeng   |                377642 |
| /zhongjijingjishi/kaoshi/wa20200702144301.shtml | 2020年初中级经济师考试报名入口                                                                   | wangweina     |                333167 |
| /zhongjijingjishi/fudao/ha20200814174824.shtml  | 中级经济师两科怎么学？交替学，还是分开学？                                                       | hanyanan      |                331325 |
| /gaojikuaijishi/fxzd/li20200831094117.shtml     | 2021年高级会计职称《高级会计实务》预习计划 请查收！                                              | liumenghua    |                295909 |
| /zhongjizhicheng/fxzd/wa20200717204142.shtml    | @全体考生：中级学习进度/高频考点/做题技巧一键查询>                                               | wanghongyuwk  |                289513 |
| /chujizhicheng/fxzd/ya20200826115215.shtml      | 2020年初级会计职称考试真题及参考答案解析汇总（考生回忆版）                                       | yangshuai1    |                266624 |
| /chujizhicheng/ksdt/zh20200724162523.shtml      | 2020初级会计考试题量有变？通过率又创新低？财政部统一回应了                                       | zhaobinbin    |                248542 |
| /chujizhicheng/fxzd/zh20200731180501.shtml      | 重要！初级会计考试这件事不做 不能进考场！                                                        | zhaobinbin    |                237922 |
| /zhucekuaijishi/fxzd/zh20200709155552.shtml     | 2020年注会必背分录公式/法条/考点6科汇总版                                                        | zhangxueying  |                223823 |
| /chujizhicheng/fxzd/we20200821153727.shtml      | 免费直播！2020年初级会计考情分析&考试攻略                                                        | wenxiaorui    |                220754 |
| /zhongjizhicheng/fxzd/zh20200825103610.shtml    | 2020年中级会计职称考试真题《中级会计实务》第一批次-单选题                                        | zhangqi       |                210450 |
| /zhongjizhicheng/fxzd/re20200821181324.shtml    | 2020中级会计职称考试题量、评分标准有变！速看！                                                   | renyuwei      |                207766 |
| /zhongjijingjishi/fudao/wa20200701112126.shtml  | 2020年初中级经济师教材变化对比|教材解读汇总                                                      | wangweina     |                199416 |
| /chujizhicheng/ksdt/zh20200904114948.shtml      | 全国2020年初级会计成绩查询时间及入口汇总                                                         | zhaobinbin    |                197944 |
| /zhongjijingjishi/fudao/ha20200814174824.shtml  | 中级经济师两科怎么学？交替学，还是一科一科学？                                                   | hanyanan      |                190142 |
| /chujizhicheng/ksdt/zh20200904145451.shtml      | 2020年初级会计考试成绩查询流程及注意事项                                                         | zhaobinbin    |                177810 |
| /zhongjizhicheng/fxzd/zh20200820180616.shtml    | 2020年中级会计职称考试真题《财务管理》第一批次-单选题                                            | zhangqi       |                175571 |
| /chujizhicheng/fxzd/zh20200714141046.shtml      | 初级会计实务常用会计公式 建议反复抄写背诵！                                                      | zhaobinbin    |                171904 |
| /zhongjizhicheng/fxzd/ni20200703111204.shtml    | 2021中级会计实务预习阶段备考方法及注意事项                                                       | niuxinshuang  |                164326 |
| /zhongjizhicheng/ksdt/zh20200821180515.shtml    | 2020年中级会计无纸化考试操作说明公布！                                                           | zhangqi       |                160265 |
| /zhuceshuiwushi/fxzd/pe20200703155345.shtml     | 如何找到购买的课程？税务师课程这些功能用好了何愁考不过？                                         | pengxiaozhen  |                157945 |
| /chujizhicheng/fxzd/qi20200918170810.shtml      | 2021年初级会计职称考试难度是否会提高？提前备考有必要吗？                                         | qixiaoran     |                149460 |
| /zhongjizhicheng/fxzd/zh20200907113356.shtml    | 2020年中级会计职称考试真题《中级会计实务》第二批次-计算题                                        | zhangqi       |                142854 |
| /zhongjizhicheng/fxzd/re20200715094240.shtml    | 2020中级准考证打印时间有变！这些地区考生请注意！                                                 | renyuwei      |                142272 |
| /zhongjizhicheng/ksdt/ni20200724162017.shtml    | 官宣！2020年中级会计考试相关试卷题量会减少！                                                     | niuxinshuang  |                141233 |
| /chujizhicheng/fxzd/qi20200829182016.shtml      | 都是干货！2020年初级会计考试考情分析汇总！                                                       | qixiaoran     |                139252 |
| /chujizhicheng/fxzd/ya20200709174729.shtml      | 集合！2020初级会计21天考前冲刺打卡开始啦 打卡赢好礼                                              | yangshuai1    |                138833 |
| /zhucekuaijishi/fxzd/yu20200813135030.shtml     | 注会30天考前打卡冲刺集训营启动！来战有奖>>                                                       | yushuang      |                133867 |
| /zhongjijingjishi/kaoshi/wa20200708170604.shtml | 2020年辽宁初中级经济师考试报名时间：8月7日-8月17日                                               | wangweina     |                133666 |
| /zhucekuaijishi/ksdt/zh20200916173653.shtml     | 2020年注册会计师考试各地新冠肺炎疫情防控通知（更新中）                                           | zhangxueying  |                132360 |
| /gaojikuaijishi/sbps/ha20200708165301.shtml     | 2020年吉林高会评审申报7月10日起  你符合评审条件吗？                                              | haohuanhuan   |                131877 |
| /zhongjizhicheng/fxzd/wa20200907213157.shtml    | 2020年中级会计职称考试真题《财务管理》第二批次-单选题                                            | wanghongyuwk  |                128480 |
| /zhongjizhicheng/fxzd/zh20200907192839.shtml    | 2020年中级会计职称考试真题《经济法》第一批次-简答题                                              | zhangqi       |                127624 |
| /zhongjizhicheng/fxzd/ni20200717141825.shtml    | 中级会计职称万人模考试题大放送！来下载                                                           | niuxinshuang  |                126212 |
| /gaojikuaijishi/sbps/ha20200707142045.shtml     | 2020年高级会计师评审答辩要求有哪些？主要问哪些问题？                                             | haohuanhuan   |                124189 |
| /chujizhicheng/fxzd/zh20200713170246.shtml      | 背会这84个初级会计常用会计分录 基础再差 也能得分！                                               | zhaobinbin    |                116406 |
| /acca/hyxw/ji20200714141353.shtml               | ACCA认可雇主有多少？一份清单告诉你！                                                             | jiahaihua     |                115656 |
| /chujizhicheng/fxzd/ha20200821174803.shtml      | 【重磅】2020年全国会计专业技术初级无纸化考试操作说明                                             | hanyasong     |                113147 |
| /gaojikuaijishi/fxzd/ha20200702092950.shtml     | 2020年高级会计师考试教材框架及各章高频考点来啦                                                   | haohuanhuan   |                110645 |
| /gaojikuaijishi/fxzd/gu20200921142359.shtml     | 为什么中华会计网校建议高会考生提前准备评审材料？                                                 | guanxiaocha   |                106576 |
| /kuaijishiwu/zzjn/zh20200707193905.shtml        | 《做账报税7天带学+私教答疑》火爆开班！限时3.99元！打卡学习赢好礼！                               | zhangtingting |                105638 |
| /zhongjizhicheng/ksdt/re20200807115928.shtml    | 2020年初、中、高级会计职称考试延期通知地区汇总                                                   | renyuwei      |                105332 |
| /zhongjizhicheng/fxzd/de20200907202649.shtml    | 2020年中级会计职称考试真题《财务管理》第一批次-综合题                                            | denghuipeng   |                103409 |
| /chujizhicheng/ksdt/we20200811182832.shtml      | 2020初级会计职称准考证打印详细流程图解！                                                         | wenxiaorui    |                 96756 |
| /zhongjizhicheng/fxzd/re20200821130158.shtml    | 下载版：2020高志谦中级会计实务母题大汇总！                                                       | renyuwei      |                 94050 |
| /kuaijishiwu/zzjn/zh20200710140207.shtml        | 银行存款利息交个税吗？                                                                           | zhangtingting |                 94020 |
| /zhongjizhicheng/fxzd/zh20200907215018.shtml    | 2020年中级会计职称考试真题《经济法》第二批次-简答题                                              | zhangqi       |                 93893 |
| /zhongjizhicheng/fxzd/ge20200701191146.shtml    | ​中级会计实务考试时长缩短！郭建华老师教你分配答题时间                                            | gengxiaojia   |                 92701 |
| /chujizhicheng/fxzd/qi20200828191302.shtml      | 赶快收藏！2020初级会计《初级会计实务》8月29日考情分析                                            | qixiaoran     |                 92476 |
| /zhucekuaijishi/ksdt/zh20200813180641.shtml     | 调整2020年注会全国统一考试应届生审核及准考证下载时间的公告                                       | zhangqiumin   |                 85226 |
| /chujizhicheng/ksdt/zh20200928073603.shtml      | 重磅！河北省2020年初级会计考试查分入口已开通！                                                   | zhaobinbin    |                 83894 |
| /zhongjizhicheng/fxzd/ge20200702110750.shtml    | 2020中级会计职称《中级会计实务》各章节高频考点汇总                                               | gengxiaojia   |                 82622 |
| /chujizhicheng/fxzd/zh20200810172552.shtml      | 2020初级会计考前狂背讲义  这些背会 考前再抢30分！                                                | zhaobinbin    |                 81023 |
| /chujizhicheng/fxzd/zh20200909173730.shtml      | 2020年初级会计职称考试真题《初级会计实务》(回忆版1)-单选题                                       | zhaobinbin    |                 80666 |
| /chujizhicheng/fxzd/ha20200713140829.shtml      | 刚出炉的初级会计经济法基础50条必背法条 速来查收！                                                | hanyasong     |                 79398 |
| /gaojikuaijishi/ksdt/gu20200828204346.shtml     | 天津2021年高级会计师报名需要信息采集吗？                                                         | guanxiaocha   |                 77038 |
| /kuaijishiwu/zzjn/fe20200708103008.shtml        | 事业编制要取消了！2020年开始执行！                                                               | fengjunyan    |                 77022 |
| /gaojikuaijishi/fxzd/gu20200825001959.shtml     | 为什么要报名2021年高级会计师？报名前你可以准备什么？                                             | guanxiaocha   |                 76632 |
| /zhongjizhicheng/fxzd/re20200907171915.shtml    | 2020年中级会计职称考试真题《财务管理》第二批次-多选题                                            | renyuwei      |                 76397 |
| /zhongjizhicheng/fxzd/wa20200908160249.shtml    | 2020年中级会计职称考试真题《中级会计实务》第二批次-单选题                                        | wanghongyuwk  |                 75727 |
| /wangxiao/gonggao/ya20200723110904.shtml        | 曝光！2020年初/中/高级会计职称报名人数创新高 近660万人                                           | yangshuai1    |                 75636 |
| /chujizhicheng/ksdt/ga20200821175927.shtml      | 重磅！财政部公布2020初级会计考试题型题量！题量减少！                                             | gaole         |                 73913 |
| /chujizhicheng/ksdt/qi20200727145711.shtml      | 河北省确定2020年初级会计考试时间及准考证打印时间！                                               | qixiaoran     |                 73332 |
| /zhongjizhicheng/fxzd/re20200807095030.shtml    | 中级会计职称自由模考来袭！答后即可看解析！练题找手感>                                            | renyuwei      |                 71564 |
| /chujizhicheng/fxzd/ha20200729191243.shtml      | 2020年初级会计考前必看50个知识点（初级会计实务1-10）                                             | hanyasong     |                 69638 |
| /zhongjizhicheng/fxzd/ni20200809190343.shtml    | 2020中级会计职称课程辅导期延长申请流程                                                           | niuxinshuang  |                 69315 |
| /zhucekuaijishi/ksdt/zh20200910104508.shtml     | 关于取消北京2020年注册会计师考试公告                                                             | zhangqiumin   |                 69051 |
| /zhongjizhicheng/ksdt/re20200730114521.shtml    | 2020年北京中级会计职称考试延期通知                                                               | renyuwei      |                 68911 |
| /chujizhicheng/ksdt/we20200828190506.shtml      | 速看！2020年初级会计考试《经济法基础》8月29日考情分析                                            | wenxiaorui    |                 68869 |
| /chujizhicheng/fxzd/zh20200720174707.shtml      | 初级必刷1000+题（真题+习题）——做完这些 初级so easy                                               | zhaobinbin    |                 67927 |
| /zhongjizhicheng/fxzd/re20200820180056.shtml    | 2020中级会计职称考试热点聚焦&考后点评！                                                          | renyuwei      |                 66826 |
| /zhucekuaijishi/fxzd/yu20200805112131.shtml     | 9月11日截止！CPA考生必须完成这项认证 否则无法参加考试！                                          | yushuang      |                 66569 |
| /chujizhicheng/ksdt/ga20200824115243.shtml      | 黑龙江2020初级会计考试电子版教材哪里有？                                                         | gaole         |                 66476 |
| /zhongjizhicheng/fxzd/de20200907114231.shtml    | 2020年中级会计职称考试真题《中级会计实务》第二批次-综合题                                        | denghuipeng   |                 66167 |
| /chujizhicheng/ksdt/fe20200728091505.shtml      | 河南省确定2020年初级会计考试时间以及准考证打印时间！                                             | fengxuening   |                 64756 |
| /zhucekuaijishi/fxzd/yu20200709195143.shtml     | 注会考试余额不足百天！点题密训班老师齐上阵！刷题直播火热开启！                                   | yushuang      |                 64388 |
| /zhongjizhicheng/fxzd/re20200820120758.shtml    | 下载版母题：高志谦中级会计实务非现金专题                                                         | renyuwei      |                 63635 |
| /chujizhicheng/ksdt/fe20200816130906.shtml      | 广东2020年初级会计准考证打印入口已开通！                                                         | fengxuening   |                 63510 |
| /zhongjizhicheng/fxzd/ni20200807102209.shtml    | 中级会计职称万人模考二模试卷免费下载                                                             | niuxinshuang  |                 63147 |
| /chujizhicheng/fxzd/ha20200716103737.shtml      | 初级会计30天冲刺计划完结版 每天回顾4个考点 快来收藏                                              | hanyasong     |                 62757 |
| /zhongjijingjishi/kaoshi/wa20200701135238.shtml | 2020年各地初中级经济师报名时间汇总                                                               | wangweina     |                 61564 |
| /zhongjizhicheng/fxzd/wa20200819110909.shtml    | 中级会计职称开考在即！网校众名师考前祝福&叮嘱送达！去听>                                         | wanghongyuwk  |                 61446 |
| /chujizhicheng/ksdt/qi20200710104607.shtml      | 广东省确定2020年初级会计考试时间及准考证打印时间！                                               | qixiaoran     |                 61396 |
| /chujizhicheng/ksdt/qi20200707090908.shtml      | 江苏省2020年初级会计考试时间及准考证打印时间确定！                                               | qixiaoran     |                 61294 |
| /zhongjizhicheng/fxzd/zh20200907202538.shtml    | 2020年中级会计职称考试真题《财务管理》第一批次-计算题                                            | zhangqi       |                 60784 |
| /zhongjizhicheng/fxzd/zh20200908214621.shtml    | 2020年中级会计职称考试真题《经济法》第三批次-简答题                                              | zhangqi       |                 60457 |
+-------------------------------------------------+--------------------------------------------------------------------------------------------------+---------------+-----------------------+
100 rows in set (1.01 sec)

tidb:
tidb 与 doris 性能对比_第5张图片
对比结果：

  1. 查询结果相同
  2. doris 用时1.01s .tidb 用时32.586s
本文由博客群发一文多发等运营工具平台 OpenWrite 发布

你可能感兴趣的:(hive)

  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 浅谈MapReduce Android路上的人 Hadoop分布式计算mapreduce分布式框架hadoop
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
  • Presto【基础 01】简介+架构+数据源+数据模型 2401_84254343 程序员架构
    一个Catalog包含Schema和Connector。例如，配置JMX的Catalog，通过JXMConnector访问JXM信息。当执行一条SQL语句时，可以同时运行在多个Catalog。Presto处理table时，是通过表的完全限定（fully-qualified）名来找到Catalog。例如，一个表的权限定名是hive.test_data.test，则test是表名，test_data是
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能 2401_84572577 程序员大数据hadoop人工智能
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
  • 大数据之flink与hive 星辰_mya 大数据flinkhive
    其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧flink：高性能低延迟流批一体的分布式计算框架基于事件时间对实时数据精准处理快速响应支持批处理，高效离线分析和数据挖掘数据仓库的引擎丰富数据源/接收器，集成多种数据存储格式和源，比较常见就是咱们今天的主题hive了checkpoint恢复机制，故障恢复快速恢复计算任务分布式弹性扩展，据业务灵活增加
  • hive血缘关系之输入表与目标表的解析 zxfBdd hive大数据治理大数据
    接了一个新需求：需要做数据仓库的血缘关系。正所谓兵来将挡水来土掩，那咱就动手吧。血缘关系是数据治理的一块，其实有专门的第三方数据治理框架，但考虑到目前的线上环境已经趋于稳定，引入新的框架无疑是劳民伤财，伤筋动骨，所以就想以最小的代价把这个事情给做了。目前我们考虑做的血缘关系呢只是做输入表和输出表，最后会形成一张表与表之间的链路图。这个东西的好处就是有助于仓库人员梳理业务，后面可能还会做字段之间的血
  • 初级练习[3]:Hive SQL子查询应用 大数据深度洞察 Hivehivesqlhadoop数据仓库大数据数据库
    目录环境准备看如下链接子查询查询所有课程成绩均小于60分的学生的学号、姓名查询没有学全所有课的学生的学号、姓名解释：没有学全所有课，也就是该学生选修的课程数<总的课程数。查询出只选修了三门课程的全部学生的学号和姓名环境准备看如下链接环境准备https://blog.csdn.net/qq_45115959/article/details/142057624?spm=1001.2014.3001.5
  • Linux下载压缩包：tar.gz、zip、tar.bz2格式全攻略 promise524 Linuxlinux运维服务器后端bashshell
    在Linux中，下载各种格式的压缩包（如.tar.gz、.zip、.tar.bz2等）通常使用命令行工具如wget和curl。1.使用wget下载压缩包wget是Linux中最常用的文件下载工具，支持HTTP、HTTPS、FTP等协议，可以直接从命令行下载文件。基本命令：wget[URL]下载.tar.gz文件wgethttps://test.com/archive.tar.gz此命令将从指定的U
  • Anaconda版本和Python版本对应关系 纬领网络 pythonanaconda3
    官网下载地址：https://repo.anaconda.com/archive/下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/anaconda3版本基础python版本Anaconda3-2024.06-1Python3.12.4Anaconda3-2024.02-1Python3.11.7Anaconda3-2023.09
  • R语言包AMORE安装报错问题以及RStudio与Rtools环境配置 卡卡_R-Python R语言数据分析与可视化r语言开发语言
    在使用R语言进行AMORE安装时会遇到报错，这时候需要采用解决办法：'''AMORE包安装，需要离线官网下载安装包：Indexof/src/contrib/Archive/AMORE(r-project.org)https://cran.r-project.org/src/contrib/Archive/AMORE/一、出现的问题最近开始学习R语言，安装了最新版的R4.4.1和RStudio，但安
  • 中级练习[3]：Hive SQL用户行为与商品销售数据分析 大数据深度洞察 Hivehive数据仓库大数据sql
    目录1.用户累计消费金额及VIP等级查询1.1题目需求1.2代码实现2.首次下单后第二天连续下单的用户比率查询2.1题目需求2.2代码实现3.每个商品销售首年的年份、销售数量和销售金额统计3.1题目需求3.2代码实现1.用户累计消费金额及VIP等级查询1.1题目需求从订单信息表(order_info)中统计每个用户截止其每个下单日期的累积消费金额，以及每个用户在其每个下单日期的VIP等级。VIP等
  • Python基础知识进阶之正则表达式_头歌python正则表达式进阶 前端陈萨龙 程序员python学习面试
    最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
  • 编程常用命令总结 Yellow0523 LinuxBigData大数据
    编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令kafka命令Hibench命令MySQL命令3.Linux常用命令Git命令conda命令pip命令查看Linux系统的详细信息查看Linux系统架构(X86还是ARM，两种方法都可)端口号命令L
  • 博客园怎么了？ YYH1992
    新年好，给大家拜个早年！今年来到安徽过年，无聊中，不知不觉中又来到博客园了（忠实粉丝哦），却发现一件奇怪的事情，请看截图难道博客园被挂马了？抑或其它问题？如果真有问题，还请dudu抓紧时间修正，免得影响我们园子的声誉！我要下线了，出去买回家的车票了，只能年后回家了。。。转载于:https://www.cnblogs.com/HollisYao/archive/2008/02/06/1065351.
  • linux下文件的复制、移动与删除 搬砖中年人
    一、文件复制命令cp命令格式：cp[-adfilprsu]源文件(source)目标文件(destination)cp[option]source1source2source3...directory参数说明：-a:是指archive的意思，也说是指复制所有的目录-d:若源文件为连接文件(linkfile)，则复制连接文件属性而非文件本身-f:强制(force)，若有重复或其它疑问时，不会询问用户
  • 2024年最全使用Python求解方程_python解方程(1)，字节面试官迟到 2401_84569545 程序员python学习面试
    最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
  • 兼容 Trino Connector，扩展 Apache Doris 数据源接入能力｜Lakehouse 使用手册 vvvae1234 apache
    ApacheDoris内置支持包括Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC在内的多种Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着ApacheDoris用户的增加，新的数据源连接需求也随之增加。因此，从3.0版本开始，ApacheDoris引入了TrinoConnector兼容框架。Trino/Presto作为业界较早应用
  • SAP HANA makaitai BWsap数据库工具报表layer服务器
    原文地址：http://LiuAlex.com/archives/1776也是刚刚开始学习HANA的一些知识，一边看书一遍做笔记，说到底无非是用自己的语言来理解标准帮组文档所讲解的意思，肯定有理解失误的地方，毕竟没有参加过标准培训，即使有培训，从老师那边来的知识也不可能是完整的传授过来，中间多少的知识遗漏是正常的，所以多看看HELP的文档，应该可以原汁原味的理解作者的意思。这张图片是从SAPHAN
  • Hive SQL查询汇总分析 大数据深度洞察 Hivehivesqlhadoop数据仓库数据库大数据
    目录SQL查询汇总分析成绩查询查询编号为“02”的课程的总成绩查询参加考试的学生个数分组查询查询各科成绩最高和最低的分查询每门课程有多少学生参加了考试（有考试成绩）查询男生、女生人数分组结果的条件查询平均成绩大于60分的学生的学号和平均成绩查询至少选修四门课程的学生学号查询同姓（假设每个学生姓名的第一个字为姓）的学生名单并统计同姓人数大于2的姓查询每门课程的平均成绩，结果按平均成绩升序排序，平均成
  • RMAN-08137 rman delete archivelog force jnrjian 数据库oracle
    deleteforcearchiveloguntiltime'trunc(sysdate-4)'backedup1timestodevicetypedisk;SymptomsDatabaseAClonedtoDatabaseBonCloneserver.GoldenGateisConfiguredonSourcedatbaseA.DatabaseBwhichisclonedfromSourcedo
  • hive表格统计信息不准确 weixin_41956627 hivehivehadoop数据仓库
    问题描述有个hive分区表，orc存储格式，有个分区，查询selectcount(1)fromtablewheredt='yyyyMMdd'结果是0，但查询select*fromtablewheredt='yyyyMMdd'又能查到数据，去hdfs对应目录下查看，也能看到有数据文件解决执行如下sqlANALYZETABLEdb.table1PARTITION(dt='20240908')COMPU
  • Conda创建环境失败：000和404错误 柚柚柚柚柚 conda
    一、首先下载Anaconda1.打开网址Indexof/anaconda/archive/|清华大学开源软件镜像站|TsinghuaOpenSourceMirror，滑到最底部，下载Anaconda3-5.3.1-Linux-x86_64.sh。2.使用winscp拖动本地的Anaconda3-5.3.1-Linux-x86_64.sh到服务器的个人工作目录下。二、安装Anaconda软件，创建虚
  • C#中两个问号的含义 weixin_30363981 测试
    stringstrParam=Request.Params["param"]??"";取??左边的值,如果??左边的值为null则取右边的值转载于:https://www.cnblogs.com/shadowtale/archive/2012/10/19/2731152.html
  • 如何下载各个版本的tomcat-比如tomcat9 耳边轻语999 tomcatjava
    1，找到tomcat官网https://tomcat.apache.org/ApacheTomcat®-Welcome!找到tomcat9，或者archives1.1，找到对应版本1.2，找到小版本1.3，找到bin2，Indexof/dist/tomcat/tomcat-9/v9.0.39/bin2.1，下载对应的解压版本或者安装版本
  • Percona-toolkit工具详解 小一_d28d
    1.pt工具安装[root@master~]#yuminstall-ypercona-toolkit-3.1.0-2.el7.x86_64.rpm2.常用工具使用介绍2.1pt-archiver归档表#重要参数--limit100每次取100行数据用pt-archive处理--txn-size100设置100行为一个事务提交一次，--where'id>/root/db/checksum.logpt
  • Ubuntu更换apt-get的下载源 愤愤的有痣青年
    将以下内容替换/etc/apt/sources.list中的内容deb-srchttp://archive.ubuntu.com/ubuntuxenialmainrestricted#Addedbysoftware-propertiesdebhttp://mirrors.aliyun.com/ubuntu/xenialmainrestricteddeb-srchttp://mirrors.aliy
  • apt 下载指定架构的包及离线安装的方法 错误重复学习记录 linux
    #设置系统架构sudodpkg--add-architectureamd64#安装apt-rdependssudoaptinstallapt-rdepends#创建单独的目录mkdir-p/home/apt/postgresql-client-common#仅下载安装包sudoapt-getinstall--download-onlysudomv/var/cache/apt/archives/*/
  • 游戏运营环节的一些关键转化率 turtle081025 数据分析游戏网络游戏运营
    转载于http://www.gamedatas.com/archives/134转化率这个指标在各行各业的数据分析中运用的非常之广泛，例如：电商中就会存在，点击到订单生成的一系列转化率，传统的销售行业也会在做广告的时候考虑该广告能够转化多少订单，而在游戏行业，转化率同样是一个不容忽视的指标。一般来说，游戏运营的过程中主要会关注到这些转化率：1.下载-安装（激活）转化率；2.安装（激活）-注册转化率
  • Python API操作RocketMQ 京城小筑 #Python编程python
    背景：开发背景:公司相关报表需求需要将订单业务数据同步至RocketMQ中，由于需要保证开发的一致性(多个部门协同开发)，所以采用读取Hive离线数据的方式通过PythonAPI写入RocketMQ中，便于其他开发同事调用~开发环境:本地调试系统MacPython3.7.5rocketmq0.4.4(Python模块)rocketmq-client-python2.0.0(Python模块)服务器
  • hive搭建 -----内嵌模式和本地模式 lzhlizihang hivehadoop
    文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹7、修改hive-site.xml中的非法字符8、初始化元数据9、测试是否成功10、内嵌模式的缺点二、本地模式（最常用）1、检查mysql是否正常2、上传、解压、重命名3、配置环境变量4、修改c
  • 开发者关心的那些事 圣子足道 ios游戏编程apple支付
    我要在app里添加IAP，必须要注册自己的产品标识符（product identifiers）。产品标识符是什么？ 产品标识符（Product Identifiers）是一串字符串，它用来识别你在应用内贩卖的每件商品。App Store用产品标识符来检索产品信息，标识符只能包含大小写字母（A-Z）、数字（0-9）、下划线（-）、以及圆点(.)。你可以任意排列这些元素，但我们建议你创建标识符时使用
  • 负载均衡器技术Nginx和F5的优缺点对比 bijian1013 nginxF5
            对于数据流量过大的网络中，往往单一设备无法承担，需要多台设备进行数据分流，而负载均衡器就是用来将数据分流到多台设备的一个转发器。         目前有许多不同的负载均衡技术用以满足不同的应用需求，如软/硬件负载均衡、本地/全局负载均衡、更高
  • LeetCode[Math] - #9 Palindrome Number Cwind javaAlgorithm题解LeetCodeMath
    原题链接：#9 Palindrome Number   要求： 判断一个整数是否是回文数，不要使用额外的存储空间   难度：简单   分析： 题目限制不允许使用额外的存储空间应指不允许使用O(n)的内存空间，O(1)的内存用于存储中间结果是可以接受的。于是考虑将该整型数反转，然后与原数字进行比较。 注：没有看到有关负数是否可以是回文数的明确结论，例如
  • 画图板的基本实现 15700786134 画图板
     要实现画图板的基本功能，除了在qq登陆界面中用到的组件和方法外，还需要添加鼠标监听器，和接口实现。 首先，需要显示一个JFrame界面： public class DrameFrame extends JFrame {              //显示
  • linux的ps命令 被触发 linux
    Linux中的ps命令是Process Status的缩写。ps命令用来列出系统中当前运行的那些进程。ps命令列出的是当前那些进程的快照，就是执行ps命令的那个时刻的那些进程，如果想要动态的显示进程信息，就可以使用top命令。 要对进程进行监测和控制，首先必须要了解当前进程的情况，也就是需要查看当前进程，而 ps 命令就是最基本同时也是非常强大的进程查看命令。使用该命令可以确定有哪些进程正在运行
  • Android 音乐播放器 下一曲 连续跳几首歌 肆无忌惮_ android
    最近在写安卓音乐播放器的时候遇到个问题。在MediaPlayer播放结束时会回调 player.setOnCompletionListener(new OnCompletionListener() { @Override public void onCompletion(MediaPlayer mp) { mp.reset(); Log.i("H
  • java导出txt文件的例子 知了ing javaservlet
    代码很简单就一个servlet,如下： package com.eastcom.servlet; import java.io.BufferedOutputStream; import java.io.IOException; import java.net.URLEncoder; import java.sql.Connection; import java.sql.Resu
  • Scala stack试玩, 提高第三方依赖下载速度 矮蛋蛋 scalasbt
    原文地址： http://segmentfault.com/a/1190000002894524 sbt下载速度实在是惨不忍睹, 需要做些配置优化 下载typesafe离线包, 保存为ivy本地库 wget http://downloads.typesafe.com/typesafe-activator/1.3.4/typesafe-activator-1.3.4.zip 解压r
  • phantomjs安装(linux，附带环境变量设置) ，以及casperjs安装。 alleni123 linuxspider
    1. 首先从官网 http://phantomjs.org/下载phantomjs压缩包，解压缩到/root/phantomjs文件夹。 2. 安装依赖 sudo yum install fontconfig freetype libfreetype.so.6 libfontconfig.so.1 libstdc++.so.6 3. 配置环境变量 vi /etc/profil
  • JAVA IO FileInputStream和FileOutputStream，字节流的打包输出 百合不是茶 java核心思想JAVA IO操作字节流
    在程序设计语言中，数据的保存是基本，如果某程序语言不能保存数据那么该语言是不可能存在的，JAVA是当今最流行的面向对象设计语言之一，在保存数据中也有自己独特的一面，字节流和字符流 1，字节流是由字节构成的，字符流是由字符构成的 字节流和字符流都是继承的InputStream和OutPutStream ,java中两种最基本的就是字节流和字符流   类 FileInputStream
  • Spring基础实例（依赖注入和控制反转） bijian1013 spring
    前提条件：在http://www.springsource.org/download网站上下载Spring框架，并将spring.jar、log4j-1.2.15.jar、commons-logging.jar加载至工程1.武器接口 package com.bijian.spring.base3; public interface Weapon { void kil
  • HR看重的十大技能 bijian1013 提升能力HR成长
        一个人掌握何种技能取决于他的兴趣、能力和聪明程度，也取决于他所能支配的资源以及制定的事业目标，拥有过硬技能的人有更多的工作机会。但是，由于经济发展前景不确定，掌握对你的事业有所帮助的技能显得尤为重要。以下是最受雇主欢迎的十种技能。 　　一、解决问题的能力 　　每天，我们都要在生活和工作中解决一些综合性的问题。那些能够发现问题、解决问题并迅速作出有效决
  • 【Thrift一】Thrift编译安装 bit1129 thrift
    什么是Thrift The Apache Thrift software framework, for scalable cross-language services development, combines a software stack with a code generation engine to build services that work efficiently and s
  • 【Avro三】Hadoop MapReduce读写Avro文件 bit1129 mapreduce
    Avro是Doug Cutting(此人绝对是神一般的存在）牵头开发的。 开发之初就是围绕着完善Hadoop生态系统的数据处理而开展的（使用Avro作为Hadoop MapReduce需要处理数据序列化和反序列化的场景）,因此Hadoop MapReduce集成Avro也就是自然而然的事情。 这个例子是一个简单的Hadoop MapReduce读取Avro格式的源文件进行计数统计，然后将计算结果
  • nginx定制500，502，503，504页面 ronin47 nginx　错误显示
    server { listen 80; error_page 500/500.html; error_page 502/502.html; error_page 503/503.html; error_page 504/504.html; location /test {return502;}} 配置很简单，和配
  • java-1.二叉查找树转为双向链表 bylijinnan 二叉查找树
    import java.util.ArrayList; import java.util.List; public class BSTreeToLinkedList { /* 把二元查找树转变成排序的双向链表 题目： 输入一棵二元查找树，将该二元查找树转换成一个排序的双向链表。 要求不能创建任何新的结点，只调整指针的指向。 10 / \ 6 14 / \
  • Netty源码学习-HTTP-tunnel bylijinnan javanetty
    Netty关于HTTP tunnel的说明： http://docs.jboss.org/netty/3.2/api/org/jboss/netty/channel/socket/http/package-summary.html#package_description 这个说明有点太简略了 一个完整的例子在这里： https://github.com/bylijinnan
  • JSONUtil.serialize(map)和JSON.toJSONString(map)的区别 coder_xpf jqueryjsonmapval()
     JSONUtil.serialize(map)和JSON.toJSONString(map)的区别   数据库查询出来的map有一个字段为空   通过System.out.println()输出 JSONUtil.serialize(map)： {"one":"1","two":"nul
  • Hibernate缓存总结 cuishikuan 开源sshjavawebhibernate缓存三大框架
    一、为什么要用Hibernate缓存？ Hibernate是一个持久层框架，经常访问物理数据库。 为了降低应用程序对物理数据源访问的频次，从而提高应用程序的运行性能。 缓存内的数据是对物理数据源中的数据的复制，应用程序在运行时从缓存读写数据，在特定的时刻或事件会同步缓存和物理数据源的数据。   二、Hibernate缓存原理是怎样的？ Hibernate缓存包括两大类：Hib
  • CentOs6 dalan_123 centos
    首先su - 切换到root下面1、首先要先安装GCC GCC-C++ Openssl等以来模块：yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel2、再安装ncurses模块yum -y install ncurses-develyum install ncurses-devel3、下载Erang
  • 10款用 jquery 实现滚动条至页面底端自动加载数据效果 dcj3sjt126com JavaScript
      无限滚动自动翻页可以说是web2.0时代的一项堪称伟大的技术，它让我们在浏览页面的时候只需要把滚动条拉到网页底部就能自动显示下一页的结果，改变了一直以来只能通过点击下一页来翻页这种常规做法。 无限滚动自动翻页技术的鼻祖是微博的先驱：推特(twitter)，后来必应图片搜索、谷歌图片搜索、google reader、箱包批发网等纷纷抄袭了这一项技术，于是靠滚动浏览器滚动条
  • ImageButton去边框&Button或者ImageButton的背景透明 dcj3sjt126com imagebutton
    在ImageButton中载入图片后，很多人会觉得有图片周围的白边会影响到美观，其实解决这个问题有两种方法 一种方法是将ImageButton的背景改为所需要的图片。如：android:background="@drawable/XXX" 第二种方法就是将ImageButton背景改为透明，这个方法更常用 在XML里；    <ImageBut
  • JSP之c:foreach eksliang jspforearch
    原文出自：http://www.cnblogs.com/draem0507/archive/2012/09/24/2699745.html <c:forEach>标签用于通用数据循环，它有以下属性 属 性 描 述 是否必须 缺省值 items 进行循环的项目 否 无 begin 开始条件 否 0 end 结束条件 否 集合中的最后一个项目 step 步长 否 1
  • Android实现主动连接蓝牙耳机 gqdy365 android
    在Android程序中可以实现自动扫描蓝牙、配对蓝牙、建立数据通道。蓝牙分不同类型，这篇文字只讨论如何与蓝牙耳机连接。 大致可以分三步： 一、扫描蓝牙设备： 1、注册并监听广播： BluetoothAdapter.ACTION_DISCOVERY_STARTED BluetoothDevice.ACTION_FOUND BluetoothAdapter.ACTION_DIS
  • android学习轨迹之四：org.json.JSONException: No value for hyz301 json
    org.json.JSONException: No value for items  在JSON解析中会遇到一种错误，很常见的错误   06-21 12:19:08.714 2098-2127/com.jikexueyuan.secret I/System.out﹕ Result:{"status":1,"page":1,&
  • 干货分享：从零开始学编程 系列汇总 justjavac 编程
    程序员总爱重新发明轮子，于是做了要给轮子汇总。 从零开始写个编译器吧系列 (知乎专栏) 从零开始写一个简单的操作系统 (伯乐在线) 从零开始写JavaScript框架 (图灵社区) 从零开始写jQuery框架 (蓝色理想 ) 从零开始nodejs系列文章 (粉丝日志) 从零开始编写网络游戏 
  • jquery-autocomplete 使用手册 macroli jqueryAjax脚本
    jquery-autocomplete学习 一、用前必备 官方网站：http://bassistance.de/jquery-plugins/jquery-plugin-autocomplete/ 当前版本：1.1 需要JQuery版本：1.2.6 二、使用 <script src="./jquery-1.3.2.js" type="text/ja
  • PLSQL-Developer或者Navicat等工具连接远程oracle数据库的详细配置以及数据库编码的修改 超声波 oracleplsql
    　　在服务器上将Oracle安装好之后接下来要做的就是通过本地机器来远程连接服务器端的oracle数据库，常用的客户端连接工具就是PLSQL-Developer或者Navicat这些工具了。刚开始也是各种报错，什么TNS:no listener;TNS:lost connection;TNS:target hosts...花了一天的时间终于让PLSQL-Developer和Navicat等这些客户
  • 数据仓库数据模型之：极限存储--历史拉链表 superlxw1234 极限存储数据仓库数据模型拉链历史表
    在数据仓库的数据模型设计过程中，经常会遇到这样的需求： 1. 数据量比较大; 2. 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等; 3. 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，    比如，查看某一个用户在过去某一段时间内，更新过几次等等; 4. 变化的比例和频率不是很大，比如，总共有10
  • 10点睛Spring MVC4.1-全局异常处理 wiselyman spring mvc
    10.1 全局异常处理 使用@ControllerAdvice注解来实现全局异常处理; 使用@ControllerAdvice的属性缩小处理范围 10.2 演示 演示控制器 package com.wisely.web; import org.springframework.stereotype.Controller; import org.spring
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他