ikeguang

hive MapJoin 异常： return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

分享一个大神的人工智能教程。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到人工智能的队伍中来！

点击浏览教程

今天写了一个hive sql，A表往B表插入数据，如果公共字段id相同，则不插入，即不存在则插入，否则不插入，这样一个sql，可是执行时报了内存异常，

具体信息是：

2018-08-14 13:45:17	Starting to launch local task to process map join;	maximum memory = 3121545216
2018-08-14 13:45:22	Processing rows:	200000	Hashtable size:	199999	Memory usage:	81173200	percentage: 0.026
2018-08-14 13:45:22	Processing rows:	300000	Hashtable size:	299999	Memory usage:	96965848	percentage: 0.031
2018-08-14 13:45:22	Processing rows:	400000	Hashtable size:	399999	Memory usage:	119570528	percentage: 0.038
2018-08-14 13:45:23	Processing rows:	500000	Hashtable size:	499999	Memory usage:	150950528	percentage: 0.048
2018-08-14 13:45:23	Processing rows:	600000	Hashtable size:	599999	Memory usage:	167669424	percentage: 0.054
2018-08-14 13:45:23	Processing rows:	700000	Hashtable size:	699999	Memory usage:	186097456	percentage: 0.06
2018-08-14 13:45:24	Processing rows:	800000	Hashtable size:	799999	Memory usage:	214899496	percentage: 0.069
2018-08-14 13:45:24	Processing rows:	900000	Hashtable size:	899999	Memory usage:	253081672	percentage: 0.081
2018-08-14 13:45:24	Processing rows:	1000000	Hashtable size:	999999	Memory usage:	269860032	percentage: 0.086
2018-08-14 13:45:25	Processing rows:	1100000	Hashtable size:	1099999	Memory usage:	288428040	percentage: 0.092
2018-08-14 13:45:25	Processing rows:	1200000	Hashtable size:	1199999	Memory usage:	305203024	percentage: 0.098
2018-08-14 13:45:25	Processing rows:	1300000	Hashtable size:	1299999	Memory usage:	329101832	percentage: 0.105
2018-08-14 13:45:26	Processing rows:	1400000	Hashtable size:	1399999	Memory usage:	346750928	percentage: 0.111
2018-08-14 13:45:26	Processing rows:	1500000	Hashtable size:	1499999	Memory usage:	364632376	percentage: 0.117
2018-08-14 13:45:27	Processing rows:	1600000	Hashtable size:	1599999	Memory usage:	400485488	percentage: 0.128
2018-08-14 13:45:27	Processing rows:	1700000	Hashtable size:	1699999	Memory usage:	423592528	percentage: 0.136
2018-08-14 13:45:27	Processing rows:	1800000	Hashtable size:	1799999	Memory usage:	441001320	percentage: 0.141
2018-08-14 13:45:28	Processing rows:	1900000	Hashtable size:	1899999	Memory usage:	480393760	percentage: 0.154
2018-08-14 13:45:28	Processing rows:	2000000	Hashtable size:	1999999	Memory usage:	496646872	percentage: 0.159
2018-08-14 13:45:29	Processing rows:	2100000	Hashtable size:	2099999	Memory usage:	394929688	percentage: 0.127
2018-08-14 13:45:30	Processing rows:	2200000	Hashtable size:	2199999	Memory usage:	413376272	percentage: 0.132
2018-08-14 13:45:30	Processing rows:	2300000	Hashtable size:	2299999	Memory usage:	432619704	percentage: 0.139
2018-08-14 13:45:30	Processing rows:	2400000	Hashtable size:	2399999	Memory usage:	449086760	percentage: 0.144
2018-08-14 13:45:31	Processing rows:	2500000	Hashtable size:	2499999	Memory usage:	473588744	percentage: 0.152
2018-08-14 13:45:31	Processing rows:	2600000	Hashtable size:	2599999	Memory usage:	490273968	percentage: 0.157
2018-08-14 13:45:32	Processing rows:	2700000	Hashtable size:	2699999	Memory usage:	473517936	percentage: 0.152
2018-08-14 13:45:33	Processing rows:	2800000	Hashtable size:	2799999	Memory usage:	487290736	percentage: 0.156
2018-08-14 13:45:33	Processing rows:	2900000	Hashtable size:	2899999	Memory usage:	505882208	percentage: 0.162
2018-08-14 13:45:33	Processing rows:	3000000	Hashtable size:	2999999	Memory usage:	544769232	percentage: 0.175
2018-08-14 13:45:35	Processing rows:	3100000	Hashtable size:	3099999	Memory usage:	513517056	percentage: 0.165
2018-08-14 13:45:36	Processing rows:	3200000	Hashtable size:	3199999	Memory usage:	581674824	percentage: 0.186
2018-08-14 13:45:36	Processing rows:	3300000	Hashtable size:	3299999	Memory usage:	589911608	percentage: 0.189
2018-08-14 13:45:38	Processing rows:	3400000	Hashtable size:	3399999	Memory usage:	595126712	percentage: 0.191
2018-08-14 13:45:38	Processing rows:	3500000	Hashtable size:	3499999	Memory usage:	628082248	percentage: 0.201
2018-08-14 13:45:38	Processing rows:	3600000	Hashtable size:	3599999	Memory usage:	658258048	percentage: 0.211
2018-08-14 13:45:39	Processing rows:	3700000	Hashtable size:	3699999	Memory usage:	661142776	percentage: 0.212
2018-08-14 13:45:39	Processing rows:	3800000	Hashtable size:	3799999	Memory usage:	690296592	percentage: 0.221
2018-08-14 13:45:39	Processing rows:	3900000	Hashtable size:	3899999	Memory usage:	718094024	percentage: 0.23
2018-08-14 13:45:41	Processing rows:	4000000	Hashtable size:	3999999	Memory usage:	693047888	percentage: 0.222
2018-08-14 13:45:42	Processing rows:	4100000	Hashtable size:	4099999	Memory usage:	725455224	percentage: 0.232
2018-08-14 13:45:42	Processing rows:	4200000	Hashtable size:	4199999	Memory usage:	748960112	percentage: 0.24
2018-08-14 13:45:42	Processing rows:	4300000	Hashtable size:	4299999	Memory usage:	773314560	percentage: 0.248
2018-08-14 13:45:43	Processing rows:	4400000	Hashtable size:	4399999	Memory usage:	798369360	percentage: 0.256
2018-08-14 13:45:43	Processing rows:	4500000	Hashtable size:	4499999	Memory usage:	786897120	percentage: 0.252
2018-08-14 13:45:44	Processing rows:	4600000	Hashtable size:	4599999	Memory usage:	809939296	percentage: 0.259
2018-08-14 13:45:46	Processing rows:	4700000	Hashtable size:	4699999	Memory usage:	814803248	percentage: 0.261
2018-08-14 13:45:46	Processing rows:	4800000	Hashtable size:	4799999	Memory usage:	835553080	percentage: 0.268
2018-08-14 13:45:46	Processing rows:	4900000	Hashtable size:	4899999	Memory usage:	856034840	percentage: 0.274
2018-08-14 13:45:47	Processing rows:	5000000	Hashtable size:	4999999	Memory usage:	871461528	percentage: 0.279
2018-08-14 13:45:47	Processing rows:	5100000	Hashtable size:	5099999	Memory usage:	888611904	percentage: 0.285
2018-08-14 13:45:47	Processing rows:	5200000	Hashtable size:	5199999	Memory usage:	906493000	percentage: 0.29
2018-08-14 13:45:48	Processing rows:	5300000	Hashtable size:	5299999	Memory usage:	930761688	percentage: 0.298
2018-08-14 13:45:48	Processing rows:	5400000	Hashtable size:	5399999	Memory usage:	946063224	percentage: 0.303
2018-08-14 13:45:48	Processing rows:	5500000	Hashtable size:	5499999	Memory usage:	961584224	percentage: 0.308
2018-08-14 13:45:51	Processing rows:	5600000	Hashtable size:	5599999	Memory usage:	913930208	percentage: 0.293
2018-08-14 13:45:52	Processing rows:	5700000	Hashtable size:	5699999	Memory usage:	933328544	percentage: 0.299
2018-08-14 13:45:52	Processing rows:	5800000	Hashtable size:	5799999	Memory usage:	942696712	percentage: 0.302
2018-08-14 13:45:52	Processing rows:	5900000	Hashtable size:	5899999	Memory usage:	952058760	percentage: 0.305
2018-08-14 13:45:52	Processing rows:	6000000	Hashtable size:	5999999	Memory usage:	1012596112	percentage: 0.324
2018-08-14 13:45:53	Processing rows:	6100000	Hashtable size:	6099999	Memory usage:	1027281416	percentage: 0.329
2018-08-14 13:45:53	Processing rows:	6200000	Hashtable size:	6199999	Memory usage:	1036580240	percentage: 0.332
2018-08-14 13:45:57	Processing rows:	6300000	Hashtable size:	6299999	Memory usage:	1081630784	percentage: 0.347
2018-08-14 13:45:57	Processing rows:	6400000	Hashtable size:	6399999	Memory usage:	1142482952	percentage: 0.366
2018-08-14 13:45:57	Processing rows:	6500000	Hashtable size:	6499999	Memory usage:	1150178272	percentage: 0.368
2018-08-14 13:45:58	Processing rows:	6600000	Hashtable size:	6599999	Memory usage:	1150398272	percentage: 0.369
2018-08-14 13:45:58	Processing rows:	6700000	Hashtable size:	6699999	Memory usage:	1150190856	percentage: 0.368
2018-08-14 13:45:58	Processing rows:	6800000	Hashtable size:	6799999	Memory usage:	1210452176	percentage: 0.388
2018-08-14 13:45:59	Processing rows:	6900000	Hashtable size:	6899999	Memory usage:	1217737040	percentage: 0.39
2018-08-14 13:45:59	Processing rows:	7000000	Hashtable size:	6999999	Memory usage:	1216875392	percentage: 0.39
2018-08-14 13:45:59	Processing rows:	7100000	Hashtable size:	7099999	Memory usage:	1215820016	percentage: 0.389
2018-08-14 13:46:00	Processing rows:	7200000	Hashtable size:	7199999	Memory usage:	1276674880	percentage: 0.409
2018-08-14 13:46:00	Processing rows:	7300000	Hashtable size:	7299999	Memory usage:	1284471328	percentage: 0.411
2018-08-14 13:46:00	Processing rows:	7400000	Hashtable size:	7399999	Memory usage:	1284847336	percentage: 0.412
2018-08-14 13:46:01	Processing rows:	7500000	Hashtable size:	7499999	Memory usage:	1346027176	percentage: 0.431
2018-08-14 13:46:04	Processing rows:	7600000	Hashtable size:	7599999	Memory usage:	1342277184	percentage: 0.43
2018-08-14 13:46:05	Processing rows:	7700000	Hashtable size:	7699999	Memory usage:	1341694488	percentage: 0.43
2018-08-14 13:46:05	Processing rows:	7800000	Hashtable size:	7799999	Memory usage:	1402649104	percentage: 0.449
2018-08-14 13:46:05	Processing rows:	7900000	Hashtable size:	7899999	Memory usage:	1391400192	percentage: 0.446
2018-08-14 13:46:06	Processing rows:	8000000	Hashtable size:	7999999	Memory usage:	1379990208	percentage: 0.442
2018-08-14 13:46:06	Processing rows:	8100000	Hashtable size:	8099999	Memory usage:	1447460824	percentage: 0.464
2018-08-14 13:46:06	Processing rows:	8200000	Hashtable size:	8199999	Memory usage:	1436037336	percentage: 0.46
2018-08-14 13:46:07	Processing rows:	8300000	Hashtable size:	8299999	Memory usage:	1424036912	percentage: 0.456
2018-08-14 13:46:07	Processing rows:	8400000	Hashtable size:	8399999	Memory usage:	1485287400	percentage: 0.476
2018-08-14 13:46:07	Processing rows:	8500000	Hashtable size:	8499999	Memory usage:	1480217504	percentage: 0.474
2018-08-14 13:46:08	Processing rows:	8600000	Hashtable size:	8599999	Memory usage:	1540824376	percentage: 0.494
2018-08-14 13:46:08	Processing rows:	8700000	Hashtable size:	8699999	Memory usage:	1528675464	percentage: 0.49
2018-08-14 13:46:08	Processing rows:	8800000	Hashtable size:	8799999	Memory usage:	1517746424	percentage: 0.486
2018-08-14 13:46:09	Processing rows:	8900000	Hashtable size:	8899999	Memory usage:	1584652752	percentage: 0.508
2018-08-14 13:46:13	Processing rows:	9000000	Hashtable size:	8999999	Memory usage:	1560332000	percentage: 0.50
2018-08-14 13:46:13	Processing rows:	9100000	Hashtable size:	9099999	Memory usage:	1620469560	percentage: 0.519
2018-08-14 13:46:13	Processing rows:	9200000	Hashtable size:	9199999	Memory usage:	1599945184	percentage: 0.513
2018-08-14 13:46:14	Processing rows:	9300000	Hashtable size:	9299999	Memory usage:	1580137272	percentage: 0.506
2018-08-14 13:46:14	Processing rows:	9400000	Hashtable size:	9399999	Memory usage:	1641482312	percentage: 0.526
2018-08-14 13:46:14	Processing rows:	9500000	Hashtable size:	9499999	Memory usage:	1614488336	percentage: 0.517
2018-08-14 13:46:15	Processing rows:	9600000	Hashtable size:	9599999	Memory usage:	1675293336	percentage: 0.537
2018-08-14 13:46:15	Processing rows:	9700000	Hashtable size:	9699999	Memory usage:	1657061280	percentage: 0.531
2018-08-14 13:46:15	Processing rows:	9800000	Hashtable size:	9799999	Memory usage:	1717088536	percentage: 0.55
2018-08-14 13:46:16	Processing rows:	9900000	Hashtable size:	9899999	Memory usage:	1692437760	percentage: 0.542
2018-08-14 13:46:16	Processing rows:	10000000	Hashtable size:	9999999	Memory usage:	1753456128	percentage:	0.562
2018-08-14 13:46:16	Processing rows:	10100000	Hashtable size:	10099999	Memory usage:	1727535632  percentage:	0.553
2018-08-14 13:46:18	Processing rows:	10200000	Hashtable size:	10199999	Memory usage:	1818240240  percentage:	0.582
2018-08-14 13:46:18	Processing rows:	10300000	Hashtable size:	10299999	Memory usage:	1785491472  percentage:	0.572
2018-08-14 13:46:19	Processing rows:	10400000	Hashtable size:	10399999	Memory usage:	1761082392  percentage:	0.564
2018-08-14 13:46:19	Processing rows:	10500000	Hashtable size:	10499999	Memory usage:	1828164792  percentage:	0.586
2018-08-14 13:46:25	Processing rows:	10600000	Hashtable size:	10599999	Memory usage:	1702168256  percentage:	0.545
2018-08-14 13:46:25	Processing rows:	10700000	Hashtable size:	10699999	Memory usage:	1761954576  percentage:	0.564
2018-08-14 13:46:25	Processing rows:	10800000	Hashtable size:	10799999	Memory usage:	1728189176  percentage:	0.554
2018-08-14 13:46:26	Processing rows:	10900000	Hashtable size:	10899999	Memory usage:	1795855152  percentage:	0.575
2018-08-14 13:46:26	Processing rows:	11000000	Hashtable size:	10999999	Memory usage:	1857233056  percentage:	0.595
2018-08-14 13:46:27	Processing rows:	11100000	Hashtable size:	11099999	Memory usage:	1819814648  percentage:	0.583
2018-08-14 13:46:27	Processing rows:	11200000	Hashtable size:	11199999	Memory usage:	1880245616  percentage:	0.602
2018-08-14 13:46:28	Processing rows:	11300000	Hashtable size:	11299999	Memory usage:	1849364328  percentage:	0.592
2018-08-14 13:46:28	Processing rows:	11400000	Hashtable size:	11399999	Memory usage:	1910297424  percentage:	0.612
2018-08-14 13:46:29	Processing rows:	11500000	Hashtable size:	11499999	Memory usage:	1873573456  percentage:	0.60
2018-08-14 13:46:29	Processing rows:	11600000	Hashtable size:	11599999	Memory usage:	1934965952  percentage:	0.62
2018-08-14 13:46:30	Processing rows:	11700000	Hashtable size:	11699999	Memory usage:	1906794512  percentage:	0.611
2018-08-14 13:46:30	Processing rows:	11800000	Hashtable size:	11799999	Memory usage:	1966693536  percentage:	0.63
2018-08-14 13:46:31	Processing rows:	11900000	Hashtable size:	11899999	Memory usage:	1930835264  percentage:	0.619
2018-08-14 13:46:31	Processing rows:	12000000	Hashtable size:	11999999	Memory usage:	1991556136  percentage:	0.638
2018-08-14 13:46:31	Processing rows:	12100000	Hashtable size:	12099999	Memory usage:	1960712184  percentage:	0.628
2018-08-14 13:46:32	Processing rows:	12200000	Hashtable size:	12199999	Memory usage:	2020968704  percentage:	0.647
2018-08-14 13:46:32	Processing rows:	12300000	Hashtable size:	12299999	Memory usage:	1986817352  percentage:	0.636
2018-08-14 13:46:33	Processing rows:	12400000	Hashtable size:	12399999	Memory usage:	2048177120  percentage:	0.656
2018-08-14 13:46:33	Processing rows:	12500000	Hashtable size:	12499999	Memory usage:	2017107208  percentage:	0.646
2018-08-14 13:46:40	Processing rows:	12600000	Hashtable size:	12599999	Memory usage:	2165199152  percentage:	0.694
2018-08-14 13:46:41	Processing rows:	12700000	Hashtable size:	12699999	Memory usage:	2225404272  percentage:	0.713
2018-08-14 13:46:41	Processing rows:	12800000	Hashtable size:	12799999	Memory usage:	2285611600  percentage:	0.732
2018-08-14 13:46:42	Processing rows:	12900000	Hashtable size:	12899999	Memory usage:	2237191376  percentage:	0.717
2018-08-14 13:46:42	Processing rows:	13000000	Hashtable size:	12999999	Memory usage:	2297577448  percentage:	0.736
2018-08-14 13:46:42	Processing rows:	13100000	Hashtable size:	13099999	Memory usage:	2358896560  percentage:	0.756
2018-08-14 13:46:43	Processing rows:	13200000	Hashtable size:	13199999	Memory usage:	2301714744  percentage:	0.737
2018-08-14 13:46:43	Processing rows:	13300000	Hashtable size:	13299999	Memory usage:	2369063880  percentage:	0.759
2018-08-14 13:46:44	Processing rows:	13400000	Hashtable size:	13399999	Memory usage:	2311074456  percentage:	0.74
2018-08-14 13:46:44	Processing rows:	13500000	Hashtable size:	13499999	Memory usage:	2372441392  percentage:	0.76
2018-08-14 13:46:45	Processing rows:	13600000	Hashtable size:	13599999	Memory usage:	2433399456  percentage:	0.78
2018-08-14 13:46:45	Processing rows:	13700000	Hashtable size:	13699999	Memory usage:	2385617136  percentage:	0.764
2018-08-14 13:46:46	Processing rows:	13800000	Hashtable size:	13799999	Memory usage:	2446191864  percentage:	0.784
2018-08-14 13:46:46	Processing rows:	13900000	Hashtable size:	13899999	Memory usage:	2392632160  percentage:	0.766
2018-08-14 13:46:46	Processing rows:	14000000	Hashtable size:	13999999	Memory usage:	2454114736  percentage:	0.786
2018-08-14 13:46:47	Processing rows:	14100000	Hashtable size:	14099999	Memory usage:	2520376304  percentage:	0.807
2018-08-14 13:46:53	Processing rows:	14200000	Hashtable size:	14199999	Memory usage:	2466403888  percentage:	0.79
2018-08-14 13:46:53	Processing rows:	14300000	Hashtable size:	14299999	Memory usage:	2527498032  percentage:	0.81
2018-08-14 13:46:54	Processing rows:	14400000	Hashtable size:	14399999	Memory usage:	2466257960  percentage:	0.79
2018-08-14 13:46:55	Processing rows:	14500000	Hashtable size:	14499999	Memory usage:	2532743496  percentage:	0.811
2018-08-14 13:46:55	Processing rows:	14600000	Hashtable size:	14599999	Memory usage:	2593804768  percentage:	0.831
2018-08-14 13:46:56	Processing rows:	14700000	Hashtable size:	14699999	Memory usage:	2517593104  percentage:	0.807
2018-08-14 13:46:56	Processing rows:	14800000	Hashtable size:	14799999	Memory usage:	2579513248  percentage:	0.826
2018-08-14 13:46:56	Processing rows:	14900000	Hashtable size:	14899999	Memory usage:	2645665792  percentage:	0.848
2018-08-14 13:46:57	Processing rows:	15000000	Hashtable size:	14999999	Memory usage:	2567899120  percentage:	0.823
2018-08-14 13:46:57	Processing rows:	15100000	Hashtable size:	15099999	Memory usage:	2629490368  percentage:	0.842
2018-08-14 13:46:58	Processing rows:	15200000	Hashtable size:	15199999	Memory usage:	2690597416  percentage:	0.862
2018-08-14 13:46:58	Processing rows:	15300000	Hashtable size:	15299999	Memory usage:	2619078088  percentage:	0.839
2018-08-14 13:46:59	Processing rows:	15400000	Hashtable size:	15399999	Memory usage:	2679496480  percentage:	0.858
2018-08-14 13:46:59	Processing rows:	15500000	Hashtable size:	15499999	Memory usage:	2739121704  percentage:	0.877
2018-08-14 13:47:00	Processing rows:	15600000	Hashtable size:	15599999	Memory usage:	2662007064  percentage:	0.853
2018-08-14 13:47:00	Processing rows:	15700000	Hashtable size:	15699999	Memory usage:	2730572800  percentage:	0.875
2018-08-14 13:47:00	Processing rows:	15800000	Hashtable size:	15799999	Memory usage:	2790449144  percentage:	0.894
2018-08-14 13:47:01	Processing rows:	15900000	Hashtable size:	15899999	Memory usage:	2714047368  percentage:	0.869
2018-08-14 13:47:01	Processing rows:	16000000	Hashtable size:	15999999	Memory usage:	2773832008  percentage:	0.889
2018-08-14 13:47:02	Processing rows:	16100000	Hashtable size:	16099999	Memory usage:	2840990016  percentage:	0.91
Execution failed with exit status: 3
Obtaining error information

Task failed!
Task ID:
  Stage-7

Logs:

/tmp/hadoop/hive.log
FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
MapReduce Jobs Launched: 
Stage-Stage-3: Map: 3  Reduce: 1   Cumulative CPU: 55.34 sec   HDFS Read: 35756 HDFS Write: 114 SUCCESS
Stage-Stage-5: Map: 6   Cumulative CPU: 68.99 sec   HDFS Read: 1041020753 HDFS Write: 1329327464 SUCCESS
Total MapReduce CPU Time Spent: 2 minutes 4 seconds 330 msec

程序启动第一个信息是：

2018-08-14 13:45:17	Starting to launch local task to process map join;	maximum memory = 3121545216

错误原因

mapjoin的优化在于，在mapreduce task开始之前，创建一个local task，小表以hashtable的形式加载到内存，然后序列化到磁盘，把内存的hashtable压缩为tar文件。然后把文件分发到 Hadoop Distributed Cache，然后传输给每一个mapper，mapper在本地反序列化文件并加载进内存在做join
这是在map 端join，内存溢出导致的问题。
可以hive.mapjoin.localtask.max.memory.usage调大到0.999，这个配置默认是0.9.

set hive.mapjoin.localtask.max.memory.usage = 0.999

可以看到，在我这里16099999条的时候，恰好用到0.91，

2018-08-14 13:47:02	Processing rows:	16100000	Hashtable size:	16099999	Memory usage:	2840990016  percentage:	0.91

也就是说，数据量小于16099999条是可以的，这里实际是有两千5百万，肯定不行，其实，我调到了0.999，还是不行。

解决办法

设置了几个参数：

set hive.auto.convert.join = false;
set hive.ignore.mapjoin.hint=false;
set hive.exec.parallel=true;

然后，重新启动hive程序，成功了。

具体可以看这几篇博客：

https://blog.csdn.net/nysyxxg/article/details/73872245
https://blog.csdn.net/nieyanshun_me/article/details/54601492

hive优化中的常用参数：

https://blog.csdn.net/huangjin0507/article/details/49926317

nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
浅谈MapReduce Android路上的人 Hadoop 分布式计算 mapreduce 分布式框架 hadoop
从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
Presto【基础 01】简介+架构+数据源+数据模型 2401_84254343 程序员架构
一个Catalog包含Schema和Connector。例如，配置JMX的Catalog，通过JXMConnector访问JXM信息。当执行一条SQL语句时，可以同时运行在多个Catalog。Presto处理table时，是通过表的完全限定（fully-qualified）名来找到Catalog。例如，一个表的权限定名是hive.test_data.test，则test是表名，test_data是
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
大数据之flink与hive 星辰_mya 大数据 flink hive
其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧flink：高性能低延迟流批一体的分布式计算框架基于事件时间对实时数据精准处理快速响应支持批处理，高效离线分析和数据挖掘数据仓库的引擎丰富数据源/接收器，集成多种数据存储格式和源，比较常见就是咱们今天的主题hive了checkpoint恢复机制，故障恢复快速恢复计算任务分布式弹性扩展，据业务灵活增加
hive血缘关系之输入表与目标表的解析 zxfBdd hive 大数据治理大数据
接了一个新需求：需要做数据仓库的血缘关系。正所谓兵来将挡水来土掩，那咱就动手吧。血缘关系是数据治理的一块，其实有专门的第三方数据治理框架，但考虑到目前的线上环境已经趋于稳定，引入新的框架无疑是劳民伤财，伤筋动骨，所以就想以最小的代价把这个事情给做了。目前我们考虑做的血缘关系呢只是做输入表和输出表，最后会形成一张表与表之间的链路图。这个东西的好处就是有助于仓库人员梳理业务，后面可能还会做字段之间的血
初级练习[3]:Hive SQL子查询应用大数据深度洞察 Hive hive sql hadoop 数据仓库大数据数据库
目录环境准备看如下链接子查询查询所有课程成绩均小于60分的学生的学号、姓名查询没有学全所有课的学生的学号、姓名解释：没有学全所有课，也就是该学生选修的课程数<总的课程数。查询出只选修了三门课程的全部学生的学号和姓名环境准备看如下链接环境准备https://blog.csdn.net/qq_45115959/article/details/142057624?spm=1001.2014.3001.5
Linux下载压缩包：tar.gz、zip、tar.bz2格式全攻略 promise524 Linux linux 运维服务器后端 bash shell
在Linux中，下载各种格式的压缩包（如.tar.gz、.zip、.tar.bz2等）通常使用命令行工具如wget和curl。1.使用wget下载压缩包wget是Linux中最常用的文件下载工具，支持HTTP、HTTPS、FTP等协议，可以直接从命令行下载文件。基本命令：wget[URL]下载.tar.gz文件wgethttps://test.com/archive.tar.gz此命令将从指定的U
Anaconda版本和Python版本对应关系纬领网络 python anaconda3
官网下载地址：https://repo.anaconda.com/archive/下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/anaconda3版本基础python版本Anaconda3-2024.06-1Python3.12.4Anaconda3-2024.02-1Python3.11.7Anaconda3-2023.09
R语言包AMORE安装报错问题以及RStudio与Rtools环境配置卡卡_R-Python R语言数据分析与可视化 r语言开发语言
在使用R语言进行AMORE安装时会遇到报错，这时候需要采用解决办法：'''AMORE包安装，需要离线官网下载安装包：Indexof/src/contrib/Archive/AMORE(r-project.org)https://cran.r-project.org/src/contrib/Archive/AMORE/一、出现的问题最近开始学习R语言，安装了最新版的R4.4.1和RStudio，但安
中级练习[3]：Hive SQL用户行为与商品销售数据分析大数据深度洞察 Hive hive 数据仓库大数据 sql
目录1.用户累计消费金额及VIP等级查询1.1题目需求1.2代码实现2.首次下单后第二天连续下单的用户比率查询2.1题目需求2.2代码实现3.每个商品销售首年的年份、销售数量和销售金额统计3.1题目需求3.2代码实现1.用户累计消费金额及VIP等级查询1.1题目需求从订单信息表(order_info)中统计每个用户截止其每个下单日期的累积消费金额，以及每个用户在其每个下单日期的VIP等级。VIP等
Python基础知识进阶之正则表达式_头歌python正则表达式进阶前端陈萨龙程序员 python 学习面试
最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
编程常用命令总结 Yellow0523 Linux BigData 大数据
编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令kafka命令Hibench命令MySQL命令3.Linux常用命令Git命令conda命令pip命令查看Linux系统的详细信息查看Linux系统架构(X86还是ARM，两种方法都可)端口号命令L
博客园怎么了？ YYH1992
新年好，给大家拜个早年！今年来到安徽过年，无聊中，不知不觉中又来到博客园了（忠实粉丝哦），却发现一件奇怪的事情，请看截图难道博客园被挂马了？抑或其它问题？如果真有问题，还请dudu抓紧时间修正，免得影响我们园子的声誉！我要下线了，出去买回家的车票了，只能年后回家了。。。转载于:https://www.cnblogs.com/HollisYao/archive/2008/02/06/1065351.
linux下文件的复制、移动与删除搬砖中年人
一、文件复制命令cp命令格式：cp[-adfilprsu]源文件(source)目标文件(destination)cp[option]source1source2source3...directory参数说明：-a:是指archive的意思，也说是指复制所有的目录-d:若源文件为连接文件(linkfile)，则复制连接文件属性而非文件本身-f:强制(force)，若有重复或其它疑问时，不会询问用户
2024年最全使用Python求解方程_python解方程(1)，字节面试官迟到 2401_84569545 程序员 python 学习面试
最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
兼容 Trino Connector，扩展 Apache Doris 数据源接入能力｜Lakehouse 使用手册 vvvae1234 apache
ApacheDoris内置支持包括Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC在内的多种Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着ApacheDoris用户的增加，新的数据源连接需求也随之增加。因此，从3.0版本开始，ApacheDoris引入了TrinoConnector兼容框架。Trino/Presto作为业界较早应用
SAP HANA makaitai BW sap 数据库工具报表 layer 服务器
原文地址：http://LiuAlex.com/archives/1776也是刚刚开始学习HANA的一些知识，一边看书一遍做笔记，说到底无非是用自己的语言来理解标准帮组文档所讲解的意思，肯定有理解失误的地方，毕竟没有参加过标准培训，即使有培训，从老师那边来的知识也不可能是完整的传授过来，中间多少的知识遗漏是正常的，所以多看看HELP的文档，应该可以原汁原味的理解作者的意思。这张图片是从SAPHAN
Hive SQL查询汇总分析大数据深度洞察 Hive hive sql hadoop 数据仓库数据库大数据
目录SQL查询汇总分析成绩查询查询编号为“02”的课程的总成绩查询参加考试的学生个数分组查询查询各科成绩最高和最低的分查询每门课程有多少学生参加了考试（有考试成绩）查询男生、女生人数分组结果的条件查询平均成绩大于60分的学生的学号和平均成绩查询至少选修四门课程的学生学号查询同姓（假设每个学生姓名的第一个字为姓）的学生名单并统计同姓人数大于2的姓查询每门课程的平均成绩，结果按平均成绩升序排序，平均成
RMAN-08137 rman delete archivelog force jnrjian 数据库 oracle
deleteforcearchiveloguntiltime'trunc(sysdate-4)'backedup1timestodevicetypedisk;SymptomsDatabaseAClonedtoDatabaseBonCloneserver.GoldenGateisConfiguredonSourcedatbaseA.DatabaseBwhichisclonedfromSourcedo
hive表格统计信息不准确 weixin_41956627 hive hive hadoop 数据仓库
问题描述有个hive分区表，orc存储格式，有个分区，查询selectcount(1)fromtablewheredt='yyyyMMdd'结果是0，但查询select*fromtablewheredt='yyyyMMdd'又能查到数据，去hdfs对应目录下查看，也能看到有数据文件解决执行如下sqlANALYZETABLEdb.table1PARTITION(dt='20240908')COMPU
Conda创建环境失败：000和404错误柚柚柚柚柚 conda
一、首先下载Anaconda1.打开网址Indexof/anaconda/archive/|清华大学开源软件镜像站|TsinghuaOpenSourceMirror，滑到最底部，下载Anaconda3-5.3.1-Linux-x86_64.sh。2.使用winscp拖动本地的Anaconda3-5.3.1-Linux-x86_64.sh到服务器的个人工作目录下。二、安装Anaconda软件，创建虚
C#中两个问号的含义 weixin_30363981 测试
stringstrParam=Request.Params["param"]??"";取??左边的值,如果??左边的值为null则取右边的值转载于:https://www.cnblogs.com/shadowtale/archive/2012/10/19/2731152.html
如何下载各个版本的tomcat-比如tomcat9 耳边轻语999 tomcat java
1，找到tomcat官网https://tomcat.apache.org/ApacheTomcat®-Welcome!找到tomcat9，或者archives1.1，找到对应版本1.2，找到小版本1.3，找到bin2，Indexof/dist/tomcat/tomcat-9/v9.0.39/bin2.1，下载对应的解压版本或者安装版本
Percona-toolkit工具详解小一_d28d
1.pt工具安装[root@master~]#yuminstall-ypercona-toolkit-3.1.0-2.el7.x86_64.rpm2.常用工具使用介绍2.1pt-archiver归档表#重要参数--limit100每次取100行数据用pt-archive处理--txn-size100设置100行为一个事务提交一次，--where'id>/root/db/checksum.logpt
Ubuntu更换apt-get的下载源愤愤的有痣青年
将以下内容替换/etc/apt/sources.list中的内容deb-srchttp://archive.ubuntu.com/ubuntuxenialmainrestricted#Addedbysoftware-propertiesdebhttp://mirrors.aliyun.com/ubuntu/xenialmainrestricteddeb-srchttp://mirrors.aliy
apt 下载指定架构的包及离线安装的方法错误重复学习记录 linux
#设置系统架构sudodpkg--add-architectureamd64#安装apt-rdependssudoaptinstallapt-rdepends#创建单独的目录mkdir-p/home/apt/postgresql-client-common#仅下载安装包sudoapt-getinstall--download-onlysudomv/var/cache/apt/archives/*/
游戏运营环节的一些关键转化率 turtle081025 数据分析游戏网络游戏运营
转载于http://www.gamedatas.com/archives/134转化率这个指标在各行各业的数据分析中运用的非常之广泛，例如：电商中就会存在，点击到订单生成的一系列转化率，传统的销售行业也会在做广告的时候考虑该广告能够转化多少订单，而在游戏行业，转化率同样是一个不容忽视的指标。一般来说，游戏运营的过程中主要会关注到这些转化率：1.下载-安装（激活）转化率；2.安装（激活）-注册转化率
Python API操作RocketMQ 京城小筑 #Python编程 python
背景：开发背景:公司相关报表需求需要将订单业务数据同步至RocketMQ中，由于需要保证开发的一致性(多个部门协同开发)，所以采用读取Hive离线数据的方式通过PythonAPI写入RocketMQ中，便于其他开发同事调用~开发环境:本地调试系统MacPython3.7.5rocketmq0.4.4(Python模块)rocketmq-client-python2.0.0(Python模块)服务器
hive搭建 -----内嵌模式和本地模式 lzhlizihang hive hadoop
文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹7、修改hive-site.xml中的非法字符8、初始化元数据9、测试是否成功10、内嵌模式的缺点二、本地模式（最常用）1、检查mysql是否正常2、上传、解压、重命名3、配置环境变量4、修改c
ASM系列四利用Method 组件动态注入方法逻辑 lijingyao8206 字节码技术 jvm AOP 动态代理 ASM
这篇继续结合例子来深入了解下Method组件动态变更方法字节码的实现。通过前面一篇，知道ClassVisitor 的visitMethod()方法可以返回一个MethodVisitor的实例。那么我们也基本可以知道，同ClassVisitor改变类成员一样，MethodVIsistor如果需要改变方法成员，注入逻辑，也可以
java编程思想 --内部类百合不是茶 java 内部类匿名内部类
内部类;了解外部类并能与之通信内部类写出来的代码更加整洁与优雅 1,内部类的创建内部类是创建在类中的 package com.wj.InsideClass; /* * 内部类的创建 */ public class CreateInsideClass { public CreateInsideClass(
web.xml报错 crabdave web.xml
web.xml报错 The content of element type "web-app" must match "(icon?,display- name?,description?,distributable?,context-param*,filter*,filter-mapping*,listener*,servlet*,s
泛型类的自定义麦田的设计者 java android 泛型
为什么要定义泛型类，当类中要操作的引用数据类型不确定的时候。采用泛型类，完成扩展。例如有一个学生类 Student{ Student(){ System.out.println("I'm a student....."); } } 有一个老师类
CSS清除浮动的4中方法 IT独行者 JavaScript UI css
清除浮动这个问题，做前端的应该再熟悉不过了，咱是个新人，所以还是记个笔记，做个积累，努力学习向大神靠近。CSS清除浮动的方法网上一搜，大概有N多种，用过几种，说下个人感受。 1、结尾处加空div标签 clear:both 1 2 3 4 .div 1 { background : #000080 ; border : 1px s
Cygwin使用windows的jdk 配置方法 _wy_ jdk windows cygwin
1.[vim /etc/profile] JAVA_HOME="/cgydrive/d/Java/jdk1.6.0_43" (windows下jdk路径为D:\Java\jdk1.6.0_43) PATH="$JAVA_HOME/bin:${PATH}" CLAS
linux下安装maven 无量 maven linux 安装
Linux下安装maven(转) 1.首先到Maven官网下载安装文件，目前最新版本为3.0.3，下载文件为 apache-maven-3.0.3-bin.tar.gz，下载可以使用wget命令； 2.进入下载文件夹，找到下载的文件，运行如下命令解压 tar -xvf apache-maven-2.2.1-bin.tar.gz 解压后的文件夹
tomcat的https 配置,syslog-ng配置 aichenglong tomcat http跳转到https syslong-ng配置 syslog配置
1) tomcat配置https,以及http自动跳转到https的配置 1)TOMCAT_HOME目录下生成密钥(keytool是jdk中的命令) keytool -genkey -alias tomcat -keyalg RSA -keypass changeit -storepass changeit
关于领号活动总结 alafqq 活动
关于某彩票活动的总结具体需求，每个用户进活动页面，领取一个号码，1000中的一个；活动要求 1，随机性，一定要有随机性； 2，最少中奖概率，如果注数为3200注，则最多中4注 3，效率问题，（不能每个人来都产生一个随机数，这样效率不高）； 4，支持断电（仍然从下一个开始），重启服务；（存数据库有点大材小用，因此不能存放在数据库）解决方案 1，事先产生随机数1000个，并打
java数据结构冒泡排序的遍历与排序百合不是茶 java
java的冒泡排序是一种简单的排序规则冒泡排序的原理：比较两个相邻的数，首先将最大的排在第一个，第二次比较第二个，此后一样；针对所有的元素重复以上的步骤，除了最后一个例题；将int array[]
JS检查输入框输入的是否是数字的一种校验方法 bijian1013 js
如下是JS检查输入框输入的是否是数字的一种校验方法： <form method=post target="_blank"> 数字：<input type="text" name=num onkeypress="checkNum(this.form)"><br> </form>
Test注解的两个属性：expected和timeout bijian1013 java JUnit expected timeout
JUnit4：Test文档中的解释：　　The Test annotation supports two optional parameters. 　　The first, expected, declares that a test method should throw an exception. 　　If it doesn't throw an exception or if it
[Gson二]继承关系的POJO的反序列化 bit1129 POJO
父类 package inheritance.test2; import java.util.Map; public class Model { private String field1; private String field2; private Map<String, String> infoMap
【Spark八十四】Spark零碎知识点记录 bit1129 spark
1. ShuffleMapTask的shuffle数据在什么地方记录到MapOutputTracker中的 ShuffleMapTask的runTask方法负责写数据到shuffle map文件中。当任务执行完成成功，DAGScheduler会收到通知，在DAGScheduler的handleTaskCompletion方法中完成记录到MapOutputTracker中
WAS各种脚本作用大全 ronin47 WAS 脚本
　　　http://www.ibm.com/developerworks/cn/websphere/library/samples/SampleScripts.html 　　　无意中，在WAS官网上发现的各种脚本作用，感觉很有作用，先与各位分享一下　　　获取下载这些示例 jacl 和 Jython 脚本可用于在 WebSphere Application Server 的不同版本中自
java-12.求 1+2+3+..n不能使用乘除法、 for 、 while 、 if 、 else 、 switch 、 case 等关键字以及条件判断语句 bylijinnan switch
借鉴网上的思路，用java实现： public class NoIfWhile { /** * @param args * * find x=1+2+3+....n */ public static void main(String[] args) { int n=10; int re=find(n); System.o
Netty源码学习-ObjectEncoder和ObjectDecoder bylijinnan java netty
Netty中传递对象的思路很直观： Netty中数据的传递是基于ChannelBuffer（也就是byte[]）；那把对象序列化为字节流，就可以在Netty中传递对象了相应的从ChannelBuffer恢复对象，就是反序列化的过程 Netty已经封装好ObjectEncoder和ObjectDecoder 先看ObjectEncoder ObjectEncoder是往外发送
spring 定时任务中cronExpression表达式含义 chicony cronExpression
一个cron表达式有6个必选的元素和一个可选的元素，各个元素之间是以空格分隔的，从左至右，这些元素的含义如下表所示：代表含义是否必须允许的取值范围 &nb
Nutz配置Jndi ctrain JNDI
1、使用JNDI获取指定资源： var ioc = { dao : { type :"org.nutz.dao.impl.NutDao", args : [ {jndi :"jdbc/dataSource"} ] } } 以上方法,仅需要在容器中配置好数据源,注入到NutDao即可.
解决 /bin/sh^M: bad interpreter: No such file or directory daizj shell
在Linux中执行.sh脚本，异常/bin/sh^M: bad interpreter: No such file or directory。分析：这是不同系统编码格式引起的：在windows系统中编辑的.sh文件可能有不可见字符，所以在Linux系统下执行会报以上异常信息。解决： 1）在windows下转换：利用一些编辑器如UltraEdit或EditPlus等工具
[转]for 循环为何可恨？ dcj3sjt126com 程序员读书
Java的闭包(Closure)特征最近成为了一个热门话题。一些精英正在起草一份议案，要在Java将来的版本中加入闭包特征。然而，提议中的闭包语法以及语言上的这种扩充受到了众多Java程序员的猛烈抨击。不久前，出版过数十本编程书籍的大作家Elliotte Rusty Harold发表了对Java中闭包的价值的质疑。尤其是他问道“for 循环为何可恨？”[http://ju
Android实用小技巧 dcj3sjt126com android
1、去掉所有Activity界面的标题栏　　修改AndroidManifest.xml 　　在application 标签中添加android:theme="@android:style/Theme.NoTitleBar" 2、去掉所有Activity界面的TitleBar 和StatusBar 　　修改AndroidManifes
Oracle 复习笔记之序列 eksliang Oracle 序列 sequence Oracle sequence
转载请出自出处：http://eksliang.iteye.com/blog/2098859 1.序列的作用序列是用于生成唯一、连续序号的对象一般用序列来充当数据库表的主键值 2.创建序列语法如下： create sequence s_emp start with 1 --开始值 increment by 1 --増长值 maxval
有“品”的程序员 gongmeitao 工作
完美程序员的10种品质　　完美程序员的每种品质都有一个范围，这个范围取决于具体的问题和背景。没有能解决所有问题的完美程序员（至少在我们这个星球上），并且对于特定问题，完美程序员应该具有以下品质：　　1. 才智非凡- 能够理解问题、能够用清晰可读的代码翻译并表达想法、善于分析并且逻辑思维能力强（范围：用简单方式解决复杂问题）　　
使用KeleyiSQLHelper类进行分页查询 hvt sql .net C#asp.net hovertree
本文适用于sql server单主键表或者视图进行分页查询，支持多字段排序。KeleyiSQLHelper类的最新代码请到http://hovertree.codeplex.com/SourceControl/latest下载整个解决方案源代码查看。或者直接在线查看类的代码：http://hovertree.codeplex.com/SourceControl/latest#HoverTree.D
SVG 教程（三）圆形，椭圆，直线天梯梦 svg
SVG <circle> SVG 圆形 - <circle> <circle> 标签可用来创建一个圆：下面是SVG代码： <svg xmlns="http://www.w3.org/2000/svg" version="1.1"> <circle cx="100" c
链表栈 luyulong java 数据结构
public class Node { private Object object; private Node next; public Node() { this.next = null; this.object = null; } public Object getObject() { return object; } public
基础数据结构和算法十：2-3 search tree sunwinner Algorithm 2-3 search tree
Binary search tree works well for a wide variety of applications, but they have poor worst-case performance. Now we introduce a type of binary search tree where costs are guaranteed to be loga
spring配置定时任务 stunizhengjia spring timer
最近因工作的需要，用到了spring的定时任务的功能,觉得spring还是很智能化的,只需要配置一下配置文件就可以了,在此记录一下，以便以后用到： //------------------------定时任务调用的方法------------------------------ /** * 存储过程定时器 */ publi
ITeye 8月技术图书有奖试读获奖名单公布 ITeye管理员活动
ITeye携手博文视点举办的8月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 8月试读活动回顾： http://webmaster.iteye.com/blog/2102830 本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）：《跨终端Web》 gleams：http

hive MapJoin 异常 ： return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask