andyguan01_2

Hive错误解决：Failed with exception Operation category READ is not supported in state standby

问题描述：

通过Azkaban调Sqoop，将Oracle数据导入Hive，报Failed with exception Operation category READ is not supported in state standby错误。Azkaban日志如下：

22-03-2019 15:01:14 CST sqoop INFO - Starting job sqoop at 1553238074471
......省略部分内容
22-03-2019 15:01:19 CST sqoop INFO - INFO: HADOOP_MAPRED_HOME is /u01/app/hadoop
22-03-2019 15:01:23 CST sqoop INFO - Note: /tmp/sqoop-hadoop/compile/4aa3a6c562acbf7c394308adbd2ba742/SSJ_BURIEDINFO_CALL.java uses or overrides a deprecated API.
......省略部分内容
22-03-2019 15:01:23 CST sqoop INFO - Mar 22, 2019 7:01:23 AM org.apache.sqoop.mapreduce.ImportJobBase runImport
22-03-2019 15:01:23 CST sqoop INFO - INFO: Beginning import of SSJ.BURIEDINFO_CALL
22-03-2019 15:01:23 CST sqoop INFO - Mar 22, 2019 7:01:23 AM org.apache.hadoop.conf.Configuration.deprecation warnOnceIfDeprecated
22-03-2019 15:01:23 CST sqoop INFO - INFO: mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address
......省略部分内容
22-03-2019 15:01:24 CST sqoop INFO - INFO: Connecting to ResourceManager at /10.200.4.117:8032
22-03-2019 15:01:26 CST sqoop INFO - Mar 22, 2019 7:01:26 AM org.apache.sqoop.mapreduce.db.DBInputFormat setTxIsolation
22-03-2019 15:01:26 CST sqoop INFO - INFO: Using read commited transaction isolation
22-03-2019 15:01:26 CST sqoop INFO - Mar 22, 2019 7:01:26 AM org.apache.hadoop.mapreduce.JobSubmitter submitJobInternal
22-03-2019 15:01:26 CST sqoop INFO - INFO: number of splits:1
22-03-2019 15:01:27 CST sqoop INFO - Mar 22, 2019 7:01:27 AM org.apache.hadoop.mapreduce.JobSubmitter printTokens
22-03-2019 15:01:27 CST sqoop INFO - INFO: Submitting tokens for job: job_1553163796336_0004
22-03-2019 15:01:27 CST sqoop INFO - Mar 22, 2019 7:01:27 AM org.apache.hadoop.yarn.client.api.impl.YarnClientImpl submitApplication
22-03-2019 15:01:27 CST sqoop INFO - INFO: Submitted application application_1553163796336_0004
22-03-2019 15:01:27 CST sqoop INFO - Mar 22, 2019 7:01:27 AM org.apache.hadoop.mapreduce.Job submit
22-03-2019 15:01:27 CST sqoop INFO - INFO: The url to track the job: http://oracle02.auditonline.prd.df.cn:8088/proxy/application_1553163796336_0004/
22-03-2019 15:01:27 CST sqoop INFO - Mar 22, 2019 7:01:27 AM org.apache.hadoop.mapreduce.Job monitorAndPrintJob
22-03-2019 15:01:27 CST sqoop INFO - INFO: Running job: job_1553163796336_0004
22-03-2019 15:01:34 CST sqoop INFO - Mar 22, 2019 7:01:34 AM org.apache.hadoop.mapreduce.Job monitorAndPrintJob
22-03-2019 15:01:34 CST sqoop INFO - INFO: Job job_1553163796336_0004 running in uber mode : false
22-03-2019 15:01:34 CST sqoop INFO - Mar 22, 2019 7:01:34 AM org.apache.hadoop.mapreduce.Job monitorAndPrintJob
22-03-2019 15:01:34 CST sqoop INFO - INFO:  map 0% reduce 0%
22-03-2019 15:05:30 CST sqoop INFO - Mar 22, 2019 7:05:30 AM org.apache.hadoop.mapreduce.Job monitorAndPrintJob
22-03-2019 15:05:30 CST sqoop INFO - INFO:  map 100% reduce 0%
22-03-2019 15:05:31 CST sqoop INFO - Mar 22, 2019 7:05:31 AM org.apache.hadoop.mapreduce.Job monitorAndPrintJob
22-03-2019 15:05:31 CST sqoop INFO - INFO: Job job_1553163796336_0004 completed successfully
22-03-2019 15:05:31 CST sqoop INFO - Mar 22, 2019 7:05:31 AM org.apache.hadoop.mapreduce.Job monitorAndPrintJob
22-03-2019 15:05:31 CST sqoop INFO - INFO: Counters: 30
22-03-2019 15:05:31 CST sqoop INFO - 	File System Counters
22-03-2019 15:05:31 CST sqoop INFO - 		FILE: Number of bytes read=0
22-03-2019 15:05:31 CST sqoop INFO - 		FILE: Number of bytes written=127688
22-03-2019 15:05:31 CST sqoop INFO - 		FILE: Number of read operations=0
22-03-2019 15:05:31 CST sqoop INFO - 		FILE: Number of large read operations=0
22-03-2019 15:05:31 CST sqoop INFO - 		FILE: Number of write operations=0
22-03-2019 15:05:31 CST sqoop INFO - 		HDFS: Number of bytes read=87
22-03-2019 15:05:31 CST sqoop INFO - 		HDFS: Number of bytes written=7331590541
22-03-2019 15:05:31 CST sqoop INFO - 		HDFS: Number of read operations=4
22-03-2019 15:05:31 CST sqoop INFO - 		HDFS: Number of large read operations=0
22-03-2019 15:05:31 CST sqoop INFO - 		HDFS: Number of write operations=2
22-03-2019 15:05:31 CST sqoop INFO - 	Job Counters 
22-03-2019 15:05:31 CST sqoop INFO - 		Launched map tasks=1
22-03-2019 15:05:31 CST sqoop INFO - 		Other local map tasks=1
22-03-2019 15:05:31 CST sqoop INFO - 		Total time spent by all maps in occupied slots (ms)=233694
22-03-2019 15:05:31 CST sqoop INFO - 		Total time spent by all reduces in occupied slots (ms)=0
22-03-2019 15:05:31 CST sqoop INFO - 		Total time spent by all map tasks (ms)=233694
22-03-2019 15:05:31 CST sqoop INFO - 		Total vcore-milliseconds taken by all map tasks=233694
22-03-2019 15:05:31 CST sqoop INFO - 		Total megabyte-milliseconds taken by all map tasks=239302656
22-03-2019 15:05:31 CST sqoop INFO - 	Map-Reduce Framework
22-03-2019 15:05:31 CST sqoop INFO - 		Map input records=65351814
22-03-2019 15:05:31 CST sqoop INFO - 		Map output records=65351814
22-03-2019 15:05:31 CST sqoop INFO - 		Input split bytes=87
22-03-2019 15:05:31 CST sqoop INFO - 		Spilled Records=0
22-03-2019 15:05:31 CST sqoop INFO - 		Failed Shuffles=0
22-03-2019 15:05:31 CST sqoop INFO - 		Merged Map outputs=0
22-03-2019 15:05:31 CST sqoop INFO - 		GC time elapsed (ms)=5748
22-03-2019 15:05:31 CST sqoop INFO - 		CPU time spent (ms)=259570
22-03-2019 15:05:31 CST sqoop INFO - 		Physical memory (bytes) snapshot=281100288
22-03-2019 15:05:31 CST sqoop INFO - 		Virtual memory (bytes) snapshot=2138533888
22-03-2019 15:05:31 CST sqoop INFO - 		Total committed heap usage (bytes)=179830784
22-03-2019 15:05:31 CST sqoop INFO - 	File Input Format Counters 
22-03-2019 15:05:31 CST sqoop INFO - 		Bytes Read=0
22-03-2019 15:05:31 CST sqoop INFO - 	File Output Format Counters 
22-03-2019 15:05:31 CST sqoop INFO - 		Bytes Written=7331590541
22-03-2019 15:05:31 CST sqoop INFO - Mar 22, 2019 7:05:31 AM org.apache.sqoop.mapreduce.ImportJobBase runJob
22-03-2019 15:05:31 CST sqoop INFO - INFO: Transferred 6.8281 GB in 247.242 seconds (28.2798 MB/sec)
22-03-2019 15:05:31 CST sqoop INFO - Mar 22, 2019 7:05:31 AM org.apache.sqoop.mapreduce.ImportJobBase runJob
22-03-2019 15:05:31 CST sqoop INFO - INFO: Retrieved 65351814 records.
22-03-2019 15:05:31 CST sqoop INFO - Mar 22, 2019 7:05:31 AM org.apache.sqoop.mapreduce.ImportJobBase runImport
22-03-2019 15:05:31 CST sqoop INFO - INFO: Publishing Hive/Hcat import job data to Listeners for table SSJ.BURIEDINFO_CALL
22-03-2019 15:05:31 CST sqoop INFO - Mar 22, 2019 7:05:31 AM org.apache.sqoop.manager.OracleManager setSessionTimeZone
22-03-2019 15:05:31 CST sqoop INFO - INFO: Time zone has been set to GMT
22-03-2019 15:05:31 CST sqoop INFO - Mar 22, 2019 7:05:31 AM org.apache.sqoop.manager.SqlManager execute
22-03-2019 15:05:31 CST sqoop INFO - INFO: Executing SQL statement: SELECT t.* FROM SSJ.BURIEDINFO_CALL t WHERE 1=0
22-03-2019 15:05:31 CST sqoop INFO - Mar 22, 2019 7:05:31 AM org.apache.sqoop.hive.TableDefWriter getCreateTableStmt
22-03-2019 15:05:31 CST sqoop INFO - WARNING: Column CALL_TIME had to be cast to a less precise type in Hive
22-03-2019 15:05:31 CST sqoop INFO - Mar 22, 2019 7:05:31 AM org.apache.sqoop.hive.TableDefWriter getCreateTableStmt
22-03-2019 15:05:31 CST sqoop INFO - WARNING: Column CREATE_TIME had to be cast to a less precise type in Hive
22-03-2019 15:05:31 CST sqoop INFO - Mar 22, 2019 7:05:31 AM org.apache.sqoop.hive.HiveImport importTable
22-03-2019 15:05:31 CST sqoop INFO - INFO: Loading uploaded data into Hive
22-03-2019 15:05:31 CST sqoop INFO - 19/03/22 15:05:31 INFO conf.HiveConf: Found configuration file null
22-03-2019 15:05:33 CST sqoop INFO - Mar 22, 2019 7:05:33 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:33 CST sqoop INFO - INFO: which: no hbase in (/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/usr/java/jdk1.8.0_121/bin:/u01/app/hadoop/bin:/u01/app/hadoop/sbin:/u01/app/spark-2.4.0-bin-hadoop2.6/bin:/u01/app/spark-2.4.0-bin-hadoop2.6/sbin:/u01/app/zookeeper-3.4.13/bin:/u01/app/kafka_2.12-2.1.0/bin:/u01/app/apache-hive-2.3.4-bin/bin:/u01/app/sqoop-1.4.7.bin-hadoop-2.6.0/bin:/home/hadoop/bin:/data/ogg_app)
22-03-2019 15:05:33 CST sqoop INFO - Mar 22, 2019 7:05:33 AM org.apache.sqoop.hive.HiveImport run
......省略部分内容
22-03-2019 15:05:40 CST sqoop INFO - Mar 22, 2019 7:05:40 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:40 CST sqoop INFO - INFO: OK
22-03-2019 15:05:40 CST sqoop INFO - Mar 22, 2019 7:05:40 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:40 CST sqoop INFO - INFO: Time taken: 1.714 seconds
22-03-2019 15:05:40 CST sqoop INFO - Mar 22, 2019 7:05:40 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:40 CST sqoop INFO - INFO: Loading data to table ssj.buriedinfo_call
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: Failed with exception Operation category READ is not supported in state standby
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 	at org.apache.hadoop.hdfs.server.namenode.ha.StandbyState.checkOperation(StandbyState.java:87)
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 	at org.apache.hadoop.hdfs.server.namenode.NameNode$NameNodeHAContext.checkOperation(NameNode.java:1727)
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkOperation(FSNamesystem.java:1352)
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getFileInfo(FSNamesystem.java:4174)
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.getFileInfo(NameNodeRpcServer.java:881)
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.getFileInfo(ClientNamenodeProtocolServerSideTranslatorPB.java:821)
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:619)
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:975)
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2040)
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2036)
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 	at java.security.AccessController.doPrivileged(Native Method)
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 	at javax.security.auth.Subject.doAs(Subject.java:422)
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1692)
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2034)
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Operation category READ is not supported in state standby
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 	at org.apache.hadoop.hdfs.server.namenode.ha.StandbyState.checkOperation(StandbyState.java:87)
......省略部分内容
22-03-2019 15:05:41 CST sqoop INFO - INFO: 	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2034)
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: 
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.tool.ImportTool run
22-03-2019 15:05:41 CST sqoop INFO - SEVERE: Import failed: java.io.IOException: Hive exited with status 1
22-03-2019 15:05:41 CST sqoop INFO - 	at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:384)
22-03-2019 15:05:41 CST sqoop INFO - 	at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:337)
22-03-2019 15:05:41 CST sqoop INFO - 	at org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:241)
22-03-2019 15:05:41 CST sqoop INFO - 	at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:537)
22-03-2019 15:05:41 CST sqoop INFO - 	at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:628)
22-03-2019 15:05:41 CST sqoop INFO - 	at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
22-03-2019 15:05:41 CST sqoop INFO - 	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
22-03-2019 15:05:41 CST sqoop INFO - 	at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
22-03-2019 15:05:41 CST sqoop INFO - 	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
22-03-2019 15:05:41 CST sqoop INFO - 	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
22-03-2019 15:05:41 CST sqoop INFO - 	at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
22-03-2019 15:05:41 CST sqoop INFO - 
22-03-2019 15:05:41 CST sqoop INFO - Process completed unsuccessfully in 266 seconds.
22-03-2019 15:05:41 CST sqoop ERROR - Job run failed!
java.lang.RuntimeException: azkaban.jobExecutor.utils.process.ProcessFailureException
	at azkaban.jobExecutor.ProcessJob.run(ProcessJob.java:304)
	at azkaban.execapp.JobRunner.runJob(JobRunner.java:784)
	at azkaban.execapp.JobRunner.doRun(JobRunner.java:600)
	at azkaban.execapp.JobRunner.run(JobRunner.java:561)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at java.lang.Thread.run(Thread.java:745)
Caused by: azkaban.jobExecutor.utils.process.ProcessFailureException
	at azkaban.jobExecutor.utils.process.AzkabanProcess.run(AzkabanProcess.java:130)
	at azkaban.jobExecutor.ProcessJob.run(ProcessJob.java:296)
	... 8 more
22-03-2019 15:05:41 CST sqoop ERROR - azkaban.jobExecutor.utils.process.ProcessFailureException cause: azkaban.jobExecutor.utils.process.ProcessFailureException
22-03-2019 15:05:41 CST sqoop INFO - Finishing job sqoop at 1553238341300 with status FAILED

重点看以下内容：

22-03-2019 15:05:40 CST sqoop INFO - Mar 22, 2019 7:05:40 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:40 CST sqoop INFO - INFO: OK
22-03-2019 15:05:40 CST sqoop INFO - Mar 22, 2019 7:05:40 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:40 CST sqoop INFO - INFO: Time taken: 1.714 seconds
22-03-2019 15:05:40 CST sqoop INFO - Mar 22, 2019 7:05:40 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:40 CST sqoop INFO - INFO: Loading data to table ssj.buriedinfo_call
22-03-2019 15:05:41 CST sqoop INFO - Mar 22, 2019 7:05:41 AM org.apache.sqoop.hive.HiveImport run
22-03-2019 15:05:41 CST sqoop INFO - INFO: Failed with exception Operation category READ is not supported in state standby

可以看到，数据是在写入HIVE表的时候报错。

解决方法：

我这里的集群架构是：

服务器	NameNode	DataNode	Hive
117（nn1）	是（standby）		是
116（nn2）	是（active）	是
156		是

有3台服务器，117（nn1）和116（nn2）为主备NameNode（117为standby，116为active），116和156为DataNode。

也就是116同时作为NameNode和DataNode，并且是active状态，117为standby，Hive程序安装在117上面。将117和116的状态切换后，117作为active，116作为standby，问题解决。

思考：

Sqoop导入数据到Hive的数据流程为：

1、Oracle表导入到HDFS的当前用户目录下（相当于临时文件）；
2、从上面的临时文件复制到Hive指定的HDFS目录下；
3、删除临时目录。

我们验证下这个流程。先查看HDFS的临时文件目录，里面有新生成的文件：

hdfs dfs -ls /user/hadoop/SSJ.BURIEDINFO_CALL

再查看HDFS的Hive文件目录，没有新生成的文件：（下面截图里面，数据文件是前一天的，没有重新生成）

hdfs dfs -ls /user/hive/warehouse/ssj.db/buriedinfo_call

然后将117和116的状态进行切换，117（nn1）从standby变为active，116（nn2）从active变为standby。关于两个NameNode之间的状态切换，我这里再多提一下。网上很多介绍的是通过命令hdfs haadmin -transitionToActive --forcemanual nn1，我这里执行后提示以下信息：

[hadoop@oracle02 logs]$ hdfs haadmin -transitionToActive --forcemanual nn1
You have specified the forcemanual flag. This flag is dangerous, as it can induce a split-brain scenario that WILL CORRUPT your HDFS namespace, possibly irrecoverably.

It is recommended not to use this flag, but instead to shut down the cluster and disable automatic failover if you prefer to manually manage your HA state.

You may abort safely by answering 'n' or hitting ^C now.

提示信息里面说，指定forcemanual参数是危险的，因为它可能导致集群脑裂和不可修复的HDFS命名空间损坏。如果想手工切换NameNode状态，建议先关闭集群，再将配置项automatic failover置为false。配置项在文件hdfs-site.xml，我这里配置的是true：


   dfs.ha.automatic-failover.enabled
   true

因为我是想让集群保持自动切换，所有没有修改automatic failover配置项，采取了另外一种方法：先kill掉116上面的NameNode进程，这样117的状态就由standby变为active，再将116的NameNode进程启动，116的状态为standby。

在116执行：

jps #找到NameNode进程ID
kill -9 NameNode进程ID
hadoop-daemon.sh start namenode

再查看两个NameNode的状态：

hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2

117（nn1）变为active，116（nn2）变为standby。

最后，删除HDFS的临时文件目录：

hdfs dfs -rm -r /user/hadoop/SSJ.BURIEDINFO_CALL

再重新跑一次Azkaban调度，正常。

这个时候，我们可以再看一下HDFS的临时文件目录和Hive文件目录。

HDFS临时文件目录：

hdfs dfs -ls /user/hadoop
hdfs dfs -ls /user

可以看到，原来的临时文件目录/user/hadoop/SSJ.BURIEDINFO_CALL不见了。

再查看HDFS的Hive文件目录：

hdfs dfs -ls /user/hive/warehouse/ssj.db/buriedinfo_call

有最新文件生成。也就是，数据从HDFS的临时文件目录复制到Hive文件目录后，临时文件目录会删除。

完毕。

nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
浅谈MapReduce Android路上的人 Hadoop 分布式计算 mapreduce 分布式框架 hadoop
从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
Presto【基础 01】简介+架构+数据源+数据模型 2401_84254343 程序员架构
一个Catalog包含Schema和Connector。例如，配置JMX的Catalog，通过JXMConnector访问JXM信息。当执行一条SQL语句时，可以同时运行在多个Catalog。Presto处理table时，是通过表的完全限定（fully-qualified）名来找到Catalog。例如，一个表的权限定名是hive.test_data.test，则test是表名，test_data是
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
大数据之flink与hive 星辰_mya 大数据 flink hive
其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧flink：高性能低延迟流批一体的分布式计算框架基于事件时间对实时数据精准处理快速响应支持批处理，高效离线分析和数据挖掘数据仓库的引擎丰富数据源/接收器，集成多种数据存储格式和源，比较常见就是咱们今天的主题hive了checkpoint恢复机制，故障恢复快速恢复计算任务分布式弹性扩展，据业务灵活增加
hive血缘关系之输入表与目标表的解析 zxfBdd hive 大数据治理大数据
接了一个新需求：需要做数据仓库的血缘关系。正所谓兵来将挡水来土掩，那咱就动手吧。血缘关系是数据治理的一块，其实有专门的第三方数据治理框架，但考虑到目前的线上环境已经趋于稳定，引入新的框架无疑是劳民伤财，伤筋动骨，所以就想以最小的代价把这个事情给做了。目前我们考虑做的血缘关系呢只是做输入表和输出表，最后会形成一张表与表之间的链路图。这个东西的好处就是有助于仓库人员梳理业务，后面可能还会做字段之间的血
初级练习[3]:Hive SQL子查询应用大数据深度洞察 Hive hive sql hadoop 数据仓库大数据数据库
目录环境准备看如下链接子查询查询所有课程成绩均小于60分的学生的学号、姓名查询没有学全所有课的学生的学号、姓名解释：没有学全所有课，也就是该学生选修的课程数<总的课程数。查询出只选修了三门课程的全部学生的学号和姓名环境准备看如下链接环境准备https://blog.csdn.net/qq_45115959/article/details/142057624?spm=1001.2014.3001.5
Linux下载压缩包：tar.gz、zip、tar.bz2格式全攻略 promise524 Linux linux 运维服务器后端 bash shell
在Linux中，下载各种格式的压缩包（如.tar.gz、.zip、.tar.bz2等）通常使用命令行工具如wget和curl。1.使用wget下载压缩包wget是Linux中最常用的文件下载工具，支持HTTP、HTTPS、FTP等协议，可以直接从命令行下载文件。基本命令：wget[URL]下载.tar.gz文件wgethttps://test.com/archive.tar.gz此命令将从指定的U
Anaconda版本和Python版本对应关系纬领网络 python anaconda3
官网下载地址：https://repo.anaconda.com/archive/下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/anaconda3版本基础python版本Anaconda3-2024.06-1Python3.12.4Anaconda3-2024.02-1Python3.11.7Anaconda3-2023.09
R语言包AMORE安装报错问题以及RStudio与Rtools环境配置卡卡_R-Python R语言数据分析与可视化 r语言开发语言
在使用R语言进行AMORE安装时会遇到报错，这时候需要采用解决办法：'''AMORE包安装，需要离线官网下载安装包：Indexof/src/contrib/Archive/AMORE(r-project.org)https://cran.r-project.org/src/contrib/Archive/AMORE/一、出现的问题最近开始学习R语言，安装了最新版的R4.4.1和RStudio，但安
中级练习[3]：Hive SQL用户行为与商品销售数据分析大数据深度洞察 Hive hive 数据仓库大数据 sql
目录1.用户累计消费金额及VIP等级查询1.1题目需求1.2代码实现2.首次下单后第二天连续下单的用户比率查询2.1题目需求2.2代码实现3.每个商品销售首年的年份、销售数量和销售金额统计3.1题目需求3.2代码实现1.用户累计消费金额及VIP等级查询1.1题目需求从订单信息表(order_info)中统计每个用户截止其每个下单日期的累积消费金额，以及每个用户在其每个下单日期的VIP等级。VIP等
Python基础知识进阶之正则表达式_头歌python正则表达式进阶前端陈萨龙程序员 python 学习面试
最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
编程常用命令总结 Yellow0523 Linux BigData 大数据
编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令kafka命令Hibench命令MySQL命令3.Linux常用命令Git命令conda命令pip命令查看Linux系统的详细信息查看Linux系统架构(X86还是ARM，两种方法都可)端口号命令L
博客园怎么了？ YYH1992
新年好，给大家拜个早年！今年来到安徽过年，无聊中，不知不觉中又来到博客园了（忠实粉丝哦），却发现一件奇怪的事情，请看截图难道博客园被挂马了？抑或其它问题？如果真有问题，还请dudu抓紧时间修正，免得影响我们园子的声誉！我要下线了，出去买回家的车票了，只能年后回家了。。。转载于:https://www.cnblogs.com/HollisYao/archive/2008/02/06/1065351.
linux下文件的复制、移动与删除搬砖中年人
一、文件复制命令cp命令格式：cp[-adfilprsu]源文件(source)目标文件(destination)cp[option]source1source2source3...directory参数说明：-a:是指archive的意思，也说是指复制所有的目录-d:若源文件为连接文件(linkfile)，则复制连接文件属性而非文件本身-f:强制(force)，若有重复或其它疑问时，不会询问用户
2024年最全使用Python求解方程_python解方程(1)，字节面试官迟到 2401_84569545 程序员 python 学习面试
最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
兼容 Trino Connector，扩展 Apache Doris 数据源接入能力｜Lakehouse 使用手册 vvvae1234 apache
ApacheDoris内置支持包括Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC在内的多种Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着ApacheDoris用户的增加，新的数据源连接需求也随之增加。因此，从3.0版本开始，ApacheDoris引入了TrinoConnector兼容框架。Trino/Presto作为业界较早应用
SAP HANA makaitai BW sap 数据库工具报表 layer 服务器
原文地址：http://LiuAlex.com/archives/1776也是刚刚开始学习HANA的一些知识，一边看书一遍做笔记，说到底无非是用自己的语言来理解标准帮组文档所讲解的意思，肯定有理解失误的地方，毕竟没有参加过标准培训，即使有培训，从老师那边来的知识也不可能是完整的传授过来，中间多少的知识遗漏是正常的，所以多看看HELP的文档，应该可以原汁原味的理解作者的意思。这张图片是从SAPHAN
Hive SQL查询汇总分析大数据深度洞察 Hive hive sql hadoop 数据仓库数据库大数据
目录SQL查询汇总分析成绩查询查询编号为“02”的课程的总成绩查询参加考试的学生个数分组查询查询各科成绩最高和最低的分查询每门课程有多少学生参加了考试（有考试成绩）查询男生、女生人数分组结果的条件查询平均成绩大于60分的学生的学号和平均成绩查询至少选修四门课程的学生学号查询同姓（假设每个学生姓名的第一个字为姓）的学生名单并统计同姓人数大于2的姓查询每门课程的平均成绩，结果按平均成绩升序排序，平均成
RMAN-08137 rman delete archivelog force jnrjian 数据库 oracle
deleteforcearchiveloguntiltime'trunc(sysdate-4)'backedup1timestodevicetypedisk;SymptomsDatabaseAClonedtoDatabaseBonCloneserver.GoldenGateisConfiguredonSourcedatbaseA.DatabaseBwhichisclonedfromSourcedo
hive表格统计信息不准确 weixin_41956627 hive hive hadoop 数据仓库
问题描述有个hive分区表，orc存储格式，有个分区，查询selectcount(1)fromtablewheredt='yyyyMMdd'结果是0，但查询select*fromtablewheredt='yyyyMMdd'又能查到数据，去hdfs对应目录下查看，也能看到有数据文件解决执行如下sqlANALYZETABLEdb.table1PARTITION(dt='20240908')COMPU
Conda创建环境失败：000和404错误柚柚柚柚柚 conda
一、首先下载Anaconda1.打开网址Indexof/anaconda/archive/|清华大学开源软件镜像站|TsinghuaOpenSourceMirror，滑到最底部，下载Anaconda3-5.3.1-Linux-x86_64.sh。2.使用winscp拖动本地的Anaconda3-5.3.1-Linux-x86_64.sh到服务器的个人工作目录下。二、安装Anaconda软件，创建虚
C#中两个问号的含义 weixin_30363981 测试
stringstrParam=Request.Params["param"]??"";取??左边的值,如果??左边的值为null则取右边的值转载于:https://www.cnblogs.com/shadowtale/archive/2012/10/19/2731152.html
如何下载各个版本的tomcat-比如tomcat9 耳边轻语999 tomcat java
1，找到tomcat官网https://tomcat.apache.org/ApacheTomcat®-Welcome!找到tomcat9，或者archives1.1，找到对应版本1.2，找到小版本1.3，找到bin2，Indexof/dist/tomcat/tomcat-9/v9.0.39/bin2.1，下载对应的解压版本或者安装版本
Percona-toolkit工具详解小一_d28d
1.pt工具安装[root@master~]#yuminstall-ypercona-toolkit-3.1.0-2.el7.x86_64.rpm2.常用工具使用介绍2.1pt-archiver归档表#重要参数--limit100每次取100行数据用pt-archive处理--txn-size100设置100行为一个事务提交一次，--where'id>/root/db/checksum.logpt
Ubuntu更换apt-get的下载源愤愤的有痣青年
将以下内容替换/etc/apt/sources.list中的内容deb-srchttp://archive.ubuntu.com/ubuntuxenialmainrestricted#Addedbysoftware-propertiesdebhttp://mirrors.aliyun.com/ubuntu/xenialmainrestricteddeb-srchttp://mirrors.aliy
apt 下载指定架构的包及离线安装的方法错误重复学习记录 linux
#设置系统架构sudodpkg--add-architectureamd64#安装apt-rdependssudoaptinstallapt-rdepends#创建单独的目录mkdir-p/home/apt/postgresql-client-common#仅下载安装包sudoapt-getinstall--download-onlysudomv/var/cache/apt/archives/*/
游戏运营环节的一些关键转化率 turtle081025 数据分析游戏网络游戏运营
转载于http://www.gamedatas.com/archives/134转化率这个指标在各行各业的数据分析中运用的非常之广泛，例如：电商中就会存在，点击到订单生成的一系列转化率，传统的销售行业也会在做广告的时候考虑该广告能够转化多少订单，而在游戏行业，转化率同样是一个不容忽视的指标。一般来说，游戏运营的过程中主要会关注到这些转化率：1.下载-安装（激活）转化率；2.安装（激活）-注册转化率
Python API操作RocketMQ 京城小筑 #Python编程 python
背景：开发背景:公司相关报表需求需要将订单业务数据同步至RocketMQ中，由于需要保证开发的一致性(多个部门协同开发)，所以采用读取Hive离线数据的方式通过PythonAPI写入RocketMQ中，便于其他开发同事调用~开发环境:本地调试系统MacPython3.7.5rocketmq0.4.4(Python模块)rocketmq-client-python2.0.0(Python模块)服务器
hive搭建 -----内嵌模式和本地模式 lzhlizihang hive hadoop
文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹7、修改hive-site.xml中的非法字符8、初始化元数据9、测试是否成功10、内嵌模式的缺点二、本地模式（最常用）1、检查mysql是否正常2、上传、解压、重命名3、配置环境变量4、修改c
二分查找排序算法周凡杨 java 二分查找排序算法折半
一：概念二分查找又称折半查找（折半搜索/ 二分搜索），优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步
java中的BigDecimal bijian1013 java BigDecimal
在项目开发过程中出现精度丢失问题，查资料用BigDecimal解决，并发现如下这篇BigDecimal的解决问题的思路和方法很值得学习，特转载。原文地址：http://blog.csdn.net/ugg/article/de
Shell echo命令详解 daizj echo shell
Shell echo命令 Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。命令格式： echo string 您可以使用echo实现更复杂的输出格式控制。 1.显示普通字符串: echo "It is a test" 这里的双引号完全可以省略，以下命令与上面实例效果一致： echo Itis a test 2.显示转义
Oracle DBA 简单操作周凡杨 oracle dba sql
--执行次数多的SQL select sql_text,executions from ( select sql_text,executions from v$sqlarea order by executions desc ) where rownum<81; &nb
画图重绘朱辉辉33 游戏
我第一次接触重绘是编写五子棋小游戏的时候，因为游戏里的棋盘是用线绘制的，而这些东西并不在系统自带的重绘里，所以在移动窗体时，棋盘并不会重绘出来。所以我们要重写系统的重绘方法。在重写系统重绘方法时，我们要注意一定要调用父类的重绘方法，即加上super.paint(g)，因为如果不调用父类的重绘方式，重写后会把父类的重绘覆盖掉，而父类的重绘方法是绘制画布，这样就导致我们
线程之初体验西蜀石兰线程
一直觉得多线程是学Java的一个分水岭，懂多线程才算入门。之前看《编程思想》的多线程章节，看的云里雾里，知道线程类有哪几个方法，却依旧不知道线程到底是什么？书上都写线程是进程的模块，共享线程的资源，可是这跟多线程编程有毛线的关系，呜呜。。。线程其实也是用户自定义的任务，不要过多的强调线程的属性，而忽略了线程最基本的属性。你可以在线程类的run()方法中定义自己的任务，就跟正常的Ja
linux集群互相免登陆配置林鹤霄 linux
配置ssh免登陆 1、生成秘钥和公钥 ssh-keygen -t rsa 2、提示让你输入，什么都不输，三次回车之后会在~下面的.ssh文件夹中多出两个文件id_rsa 和 id_rsa.pub 其中id_rsa为秘钥，id_rsa.pub为公钥，使用公钥加密的数据只有私钥才能对这些数据解密 c
mysql : Lock wait timeout exceeded; try restarting transaction aigo mysql
原文：http://www.cnblogs.com/freeliver54/archive/2010/09/30/1839042.html 原因是你使用的InnoDB 表类型的时候, 默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s, 因为有的锁等待超过了这个时间,所以抱错. 你可以把这个时间加长,或者优化存储
Socket编程基本的聊天实现。 alleni123 socket
public class Server { //用来存储所有连接上来的客户 private List<ServerThread> clients; public static void main(String[] args) { Server s = new Server(); s.startServer(9988); } publi
多线程监听器事件模式(一个简单的例子) 百合不是茶线程监听模式
多线程的事件监听器模式监听器时间模式经常与多线程使用,在多线程中如何知道我的线程正在执行那什么内容,可以通过时间监听器模式得到创建多线程的事件监听器模式思路: 1, 创建线程并启动,在创建线程的位置设置一个标记 2,创建队
spring InitializingBean接口 bijian1013 java spring
spring的事务的TransactionTemplate，其源码如下： public class TransactionTemplate extends DefaultTransactionDefinition implements TransactionOperations, InitializingBean{ ... } TransactionTemplate继承了DefaultT
Oracle中询表的权限被授予给了哪些用户 bijian1013 oracle 数据库权限
Oracle查询表将权限赋给了哪些用户的SQL，以备查用。 select t.table_name as "表名", t.grantee as "被授权的属组", t.owner as "对象所在的属组"
【Struts2五】Struts2 参数传值 bit1129 struts2
Struts2中参数传值的3种情况 1.请求参数绑定到Action的实例字段上 2.Action将值传递到转发的视图上 3.Action将值传递到重定向的视图上一、请求参数绑定到Action的实例字段上以及Action将值传递到转发的视图上 Struts可以自动将请求URL中的请求参数或者表单提交的参数绑定到Action定义的实例字段上，绑定的规则使用ognl表达式语言
【Kafka十四】关于auto.offset.reset[Q/A] bit1129 kafka
I got serveral questions about auto.offset.reset. This configuration parameter governs how consumer read the message from Kafka when there is no initial offset in ZooKeeper or
nginx gzip压缩配置 ronin47 nginx gzip 压缩范例
nginx gzip压缩配置更多 0 nginx gzip 配置随着nginx的发展，越来越多的网站使用nginx，因此nginx的优化变得越来越重要，今天我们来看看nginx的gzip压缩到底是怎么压缩的呢？ gzip(GNU-ZIP)是一种压缩技术。经过gzip压缩后页面大小可以变为原来的30%甚至更小，这样，用
java-13.输入一个单向链表，输出该链表中倒数第 k 个节点 bylijinnan java
two cursors. Make the first cursor go K steps first. /* * 第 13 题：题目：输入一个单向链表，输出该链表中倒数第 k 个节点 */ public void displayKthItemsBackWard(ListNode head,int k){ ListNode p1=head,p2=head;
Spring源码学习-JdbcTemplate queryForObject bylijinnan java spring
JdbcTemplate中有两个可能会混淆的queryForObject方法： 1. Object queryForObject(String sql, Object[] args, Class requiredType) 2. Object queryForObject(String sql, Object[] args, RowMapper rowMapper) 第1个方法是只查
[冰川时代]在冰川时代,我们需要什么样的技术? comsci 技术
看美国那边的气候情况....我有个感觉...是不是要进入小冰期了? 那么在小冰期里面...我们的户外活动肯定会出现很多问题...在室内呆着的情况会非常多...怎么在室内呆着而不发闷...怎么用最低的电力保证室内的温度.....这都需要技术手段... &nb
js 获取浏览器型号 cuityang js 浏览器
根据浏览器获取iphone和apk的下载地址 <!DOCTYPE html> <html> <head> <meta charset="utf-8" content="text/html"/> <meta name=
C# socks5详解转 dalan_123 socket C#
http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html 这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯，Socket4的实现是类似的，注意的事，这里不是讲用C#实现一个代理服务器，因为实现一个代理服务器需要实现很多协议，头大，而且现在市面上有很多现成的代理服务器用，性能又好，
运维 Centos问题汇总 dcj3sjt126com 云主机
一、sh 脚本不执行的原因 sh脚本不执行的原因只有2个 1.权限不够 2.sh脚本里路径没写完整。二、解决You have new mail in /var/spool/mail/root 修改/usr/share/logwatch/default.conf/logwatch.conf配置文件 MailTo = MailFrom 三、查询连接数
Yii防注入攻击笔记 dcj3sjt126com sql WEB安全 yii
网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查，可以使用正则表达式或者直接输入字符判断，大部分是只允许输入字母和数字的，其它字符度不允许；对于内容复杂表单的内容，应该对html和script的符号进行转义替换：尤其是<,>,',"",&这几个符号这里有个转义对照表： http://blog.csdn.net/xinzhu1990/articl
MongoDB简介[一] eksliang mongodb MongoDB简介
MongoDB简介转载请出自出处：http://eksliang.iteye.com/blog/2173288 1.1易于使用 MongoDB是一个面向文档的数据库，而不是关系型数据库。与关系型数据库相比，面向文档的数据库不再有行的概念，取而代之的是更为灵活的“文档”模型。另外，不
zookeeper windows 入门安装和测试 greemranqq zookeeper 安装分布式
一、序言以下是我对zookeeper 的一些理解： zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。栗子1号：假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视
Spring之使用事务缘由(2-注解实现) ihuning spring
Spring事务注解实现 1. 依赖包： 1.1 spring包： spring-beans-4.0.0.RELEASE.jar spring-context-4.0.0.
iOS App Launch Option 啸笑天 option
iOS 程序启动时总会调用application:didFinishLaunchingWithOptions:，其中第二个参数launchOptions为NSDictionary类型的对象，里面存储有此程序启动的原因。 launchOptions中的可能键值见UIApplication Class Reference的Launch Options Keys节。 1、若用户直接
jdk与jre的区别（_） macroli java jvm jdk
简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。 JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者，而不是开发者。如果安装了JDK，会发同你
Updates were rejected because the tip of your current branch is behind qiaolevip 学习永无止境每天进步一点点众观千象 git
$ git push joe prod-2295-1 To [email protected]:joe.le/dr-frontend.git ! [rejected] prod-2295-1 -> prod-2295-1 (non-fast-forward) error: failed to push some refs to '[email protected]
[一起学Hive]之十四-Hive的元数据表结构详解 superlxw1234 hive hive元数据结构
关键字：Hive元数据、Hive元数据表结构之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。文章最后面，会以一个示例来全面了解一下，
Spring 3.2.14，4.1.7，4.2.RC2发布 wiselyman Spring 3
Spring 3.2.14、4.1.7及4.2.RC2于6月30日发布。其中Spring 3.2.1是一个维护版本(维护周期到2016-12-31截止)，后续会继续根据需求和bug发布维护版本。此时，Spring官方强烈建议升级Spring框架至4.1.7 或者将要发布的4.2 。其中Spring 4.1.7主要包含这些更新内容。

Hive错误解决：Failed with exception Operation category READ is not supported in state standby

你可能感兴趣的:(hive)