qu6zhi

基于 Hadoop 数据仓库的搭建

为什么需要数据仓库？

传统的数据库中，存放的数据较多是一些定制性数据，表是二维的，一张表可以有很多字段，字段一字排开，对应的数据就一行一行写入表中，特点就是利用二维表表现多维关系。

但这种表关系的上限和下限就定死了，比如 QQ 的用户信息，直接通过查询 info 表，对应的 username、introduce 等信息即可，而此时我想知道这个用户在哪个时间段购买了什么？修改信息的次数？诸如此类的指标时，就要重新设计数据库的表结构，因此无法满足我们的分析需求。

在产品脑图中可以很清晰的看到根据业务需求设计所需的字段，因此也导致数据库是根据业务需求进行设计。

那么，为什么一开始就不考虑好这个扩展性呢？为什么数据库一开始就不以数据仓库的形式设计？

主要原因有二：

第一，数据仓库，从字面上理解就可以感受到这是一个很大的空间，而且存储的物品很杂，里面会存放酱油、沐浴露、洗发精等物品，而数据库是存放酱油、盐等厨房用品，洗浴又是一个数据库。

第二，国内互联网的发展，一开始大家都是做个软件出来，大家一起用，这个时候只要满足的了需求即可，现今不止是需求还有用户的体验等各种方面，需要根据这些分析指标做调整。

小结：

数据库是跟业务挂钩的，因此数据库的设计通常是针对一个应用进行设计的。

数据仓库是依照分析需求、分析维度、分析指标进行设计的。

什么是数据仓库？

数据仓库（Data Warehouse）简称 DW 或 DWH，是数据库的一种概念上的升级，可以说是为满足新需求设计的一种新数据库，而这个数据库是需容纳更多的数据，更加庞大的数据集，从逻辑上讲数据仓库和数据库是没有什么区别的。

为企业所有级别的决策制定过程，提供所有类型数据支撑的战略集合，主要是用于数据挖掘和数据分析，以建立数据沙盘为基础，为消灭消息孤岛和支持决策为目的而创建的。

数据仓库特点

面向主题

是企业系统信息中的数据综合、归类并进行分析的一个抽象，对应企业中某一个宏观分析领域所涉及的分析对象。

比如购物是一个主题，那么购物里面包含用户、订单、支付、物流等数据综合，对这些数据要进行归类并分析，分析这个对象数据的一个完整性、一致性的描述，能完整、统一的划分对象所设计的各项数据。

如果此时要统计一个用户从浏览到支付完成的时间时，在购物主题中缺少了支付数据或订单数据，那么这个对象数据的完整性和一致性就可能无法保证了。

数据集成

数据仓库的数据是从原有分散的数据库中的数据抽取而来的。

操作型数据和支持决策分析型（DSS）数据差别甚大，这里需要做大量的数据清洗与数据整理的工作。

第一：每一个主题的源数据在原有分散数据库中的有许多重复和不一致，且不同数据库的数据是和不同的应用逻辑捆绑的。

第二：数据仓库中的综合性数据不能从原有的数据库系统直接得到，因此在数据进入数据仓库之前要进过统一和综合。（字段同名异意，异名同义，长度等）

不可更新

数据仓库的数据主要是提供决策分析用，设计的数据主要是数据查询，一般情况下不做修改，这些数据反映的是一段较长时间内历史数据的内容，有一块修改了影响的是整个历史数据的过程数据。

数据仓库的查询量往往很大，所以对数据查询提出了更高的要求，要求采用各种复杂的索引技术，并对数据查询的界面友好性和数据凸显性提出更高的要求。

随时间不断变化

数据仓库中的数据不可更新是针对应用来说，从数据的进入到删除的整个生命周期中，数据仓库的数据是永远不变的。

数据仓库的数据是随着时间变化而不断增加新的数据。

数据仓库随着时间变化不断删去久的数据内容，数据仓库的数据也有时限的，数据库的数据时限一般是60 ~ 90天，而数据仓库的数据一般是5年~10年。

数据仓库中包含大量的综合性数据，这些数据很多是跟时间有关的，这些数据特征都包含时间项，以标明数据的历史时期。

数据仓库的选型

需求

备选：

在线收费

(1)Amazon Redshift

(2)Google BigQuery

(3)IBM Db2 Warehouse

(4)Microsoft Azure SQL Data Warehouse

(5)Oracle Autonomous Data Warehouse

(6)SAP Data Warehouse Cloud

(7)Snowflake

自建收费

自建免费

Teradata

筛选条件

（1）成本

（2）效率

（3）易用

（4）规模上限

目前主流公司应用比较广泛的大数据数据仓库架构

为什么是Hadoop？

环境

CentOS-7 Minimal

操作系统信息

# 查看
#
hostname

# 更新 hostname
#
hostnamectl set-hostname UXmall

# 重启生效
#
reboot

配置 IP（非必要项）

vi /etc/sysconfig/network-scripts/ifcfg-ens33

#
#
#

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
# BOOTPROTO="dhcp"
BOOTPROTO=static
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="ced0e9c8-87c5-4550-9f73-8b519462a338"
DEVICE="ens33"
ONBOOT="yes"

#
#
#

IPADDR0=192.168.1.100
PREFIX0=24
GATEWAY0=192.168.1.1
NETMASK=255.255.255.0
DNS1=192.168.1.1

#
#
#

service network restart

安装 Hadoop 依赖环境 JDK

下载页面：https://www.oracle.com/java/technologies/javase-jdk8-downloads.html#/

# 

jdk-8u251-linux-x64.rpm

# 
rpm -ivh jdk-8u251-linux-x64.rpm 
警告：jdk-8u251-linux-x64.rpm: 头V3 RSA/SHA256 Signature, 密钥 ID ec551f03: NOKEY
准备中...                          ################################# [100%]
正在升级/安装...
   1:jdk1.8-2000:1.8.0_251-fcs        ################################# [100%]
Unpacking JAR files...
	tools.jar...
	plugin.jar...
	javaws.jar...
	deploy.jar...
	rt.jar...
	jsse.jar...
	charsets.jar...
	localedata.jar...

# 查看是否安装成功
#
java -version

java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)

配置 JAVA_HOME

查看

# 查看 jdk 安装路径
#
which java

/usr/bin/java

# 
ls -lr /usr/bin/java

/usr/bin/java -> /etc/alternatives/java

# 
ls -lrt /etc/alternatives/java

/etc/alternatives/java -> /usr/java/jdk1.8.0_251-amd64/jre/bin/java

# 此时，确定 java 的安装目录为
/usr/java/jdk1.8.0_251-amd64/

配置

# 编辑
#
vim /etc/profile

# 在最后添加
#
export JAVA_HOME=/usr/java/jdk1.8.0_251-amd64/
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

# 生效
#
source /etc/profile

# 测试
#
echo $JAVA_HOME

/usr/java/jdk1.8.0_251-amd64/

安装 Hadoop

下载地址：https://mirror.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/

安装

# 建立目录
#
mkdir -p /var/Hadoop
#
cd /var/Hadoop

# 下载
#
wget https://mirror.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

# 解压
#
tar -zxvf hadoop-3.2.1.tar.gz

# 查看
#
tree -L 3
.
├── hadoop-3.2.1
│   ├── bin
│   │   ├── container-executor
│   │   ├── hadoop
│   │   ├── hadoop.cmd
│   │   ├── hdfs
│   │   ├── hdfs.cmd
│   │   ├── mapred
│   │   ├── mapred.cmd
│   │   ├── oom-listener
│   │   ├── test-container-executor
│   │   ├── yarn
│   │   └── yarn.cmd
│   ├── etc
│   │   └── hadoop
│   ├── include
│   │   ├── hdfs.h
│   │   ├── Pipes.hh
│   │   ├── SerialUtils.hh
│   │   ├── StringUtils.hh
│   │   └── TemplateFactory.hh
│   ├── lib
│   │   └── native
│   ├── libexec
│   │   ├── hadoop-config.cmd
│   │   ├── hadoop-config.sh
│   │   ├── hadoop-functions.sh
│   │   ├── hadoop-layout.sh.example
│   │   ├── hdfs-config.cmd
│   │   ├── hdfs-config.sh
│   │   ├── mapred-config.cmd
│   │   ├── mapred-config.sh
│   │   ├── shellprofile.d
│   │   ├── tools
│   │   ├── yarn-config.cmd
│   │   └── yarn-config.sh
│   ├── LICENSE.txt
│   ├── NOTICE.txt
│   ├── README.txt
│   ├── sbin
│   │   ├── distribute-exclude.sh
│   │   ├── FederationStateStore
│   │   ├── hadoop-daemon.sh
│   │   ├── hadoop-daemons.sh
│   │   ├── httpfs.sh
│   │   ├── kms.sh
│   │   ├── mr-jobhistory-daemon.sh
│   │   ├── refresh-namenodes.sh
│   │   ├── start-all.cmd
│   │   ├── start-all.sh
│   │   ├── start-balancer.sh
│   │   ├── start-dfs.cmd
│   │   ├── start-dfs.sh
│   │   ├── start-secure-dns.sh
│   │   ├── start-yarn.cmd
│   │   ├── start-yarn.sh
│   │   ├── stop-all.cmd
│   │   ├── stop-all.sh
│   │   ├── stop-balancer.sh
│   │   ├── stop-dfs.cmd
│   │   ├── stop-dfs.sh
│   │   ├── stop-secure-dns.sh
│   │   ├── stop-yarn.cmd
│   │   ├── stop-yarn.sh
│   │   ├── workers.sh
│   │   ├── yarn-daemon.sh
│   │   └── yarn-daemons.sh
│   └── share
│       ├── doc
│       └── hadoop

配置 Hadoop

# 进入目录
#
cd /var/Hadoop/hadoop-3.2.1/etc/hadoop

参考

https://hadoop.apache.org/docs/stable/

一、配置 hadoop-env.sh

# 
#
vim hadoop-env.sh

#

export JAVA_HOME=/usr/java/jdk1.8.0_251-amd64/

二、配置 core-site.xml

# 

vim core-site.xml

# 在  之间，分别添加以下内容

------------------------------------

# 配置默认采用的文件系统
# 由于存储层和运算层松耦合，要为它们指定使用 hadoop 原生的分布式文件系统 hdfs。
# value 填入的是 uri，参数是分布式集群中主节点的地址 : 指定端口号


fs.defaultFS
hdfs://uxmall:9000/


------------------------------------

# 配置 hadoop 的公共目录
# 指定 hadoop 进程运行中产生的数据存放的工作目录，NameNode、DataNode 等就在本地工作目录下建子目录存放数据。
# 但事实上在生产系统里，NameNode、DataNode 等进程都应单独配置目录，而且配置的应该是磁盘挂载点，以方便挂载更多的磁盘扩展容量。


hadoop.tmp.dir
/var/Hadoop/hadoop-3.2.1/data/

三、配置 hdfs-site.xml

不配置也不影响启动，但方便后续排查问题与监控管理。

# 

vim hdfs-site.xml

# 配置 hdfs 的副本数
# 客户端将文件存到 hdfs 的时候，会存放在多个副本。
# value 一般指定 3，但因为搭建的是伪分布式就只有一台机器，所以只能写 1。

# 在  之间，添加以下内容


dfs.replication
1

四、配置 mapred-site.xml



# 

vim mapred-site.xml

# 指定 MapReduce 程序应该放在哪个资源调度集群上运行。
# 若不指定为 yarn，那么 MapReduce 程序就只会在本地运行而非在整个集群中运行。

# 在  之间，添加以下内容


mapreduce.framework.name
yarn

五、配置 yarn-site.xml

# 
vim yarn-site.xml

# 在  之间，分别添加以下内容

------------------------------------

# 指定 yarn 集群中主



yarn.resourcemanager.hostname
uxmall


------------------------------------

# 配置 yarn 集群中的重节点，指定 map 产生的中间结果传递给 reduce 采用的机制是 shuffle



yarn.nodemanager.aux-services
mapreduce_shuffle

启动 Hadoop

初始化

# 初始化
#

cd /var/Hadoop/hadoop-3.2.1/bin

#

./hadoop namenode -format

WARNING: Use of this script to execute namenode is deprecated.
WARNING: Attempting to execute replacement "hdfs namenode" instead.

2020-04-26 20:52:40,095 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = uxmall/172.20.10.3
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 3.2.1
STARTUP_MSG:   classpath = /var/Hadoop/hadoop-3.2.1/etc/hadoop:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/kerby-util-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/kerby-xdr-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/commons-net-3.6.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/commons-beanutils-1.9.3.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/snappy-java-1.0.5.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jul-to-slf4j-1.7.25.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/kerb-server-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/commons-cli-1.2.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jetty-xml-9.3.24.v20180605.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/kerb-simplekdc-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/zookeeper-3.4.13.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jersey-json-1.19.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/guava-27.0-jre.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/javax.servlet-api-3.1.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/kerby-asn1-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/log4j-1.2.17.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jetty-http-9.3.24.v20180605.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/kerb-admin-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jsch-0.1.54.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/kerb-common-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/hadoop-annotations-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/animal-sniffer-annotations-1.17.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/kerb-crypto-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/woodstox-core-5.0.3.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/kerb-core-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jackson-annotations-2.9.8.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jetty-servlet-9.3.24.v20180605.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/kerb-identity-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jsp-api-2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/kerb-client-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/commons-text-1.4.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/nimbus-jose-jwt-4.41.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/asm-5.0.4.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jersey-server-1.19.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jetty-security-9.3.24.v20180605.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jackson-jaxrs-1.9.13.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/kerby-pkix-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/kerb-util-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jcip-annotations-1.0-1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/avro-1.7.7.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/htrace-core4-4.1.0-incubating.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/commons-math3-3.1.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jettison-1.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jackson-mapper-asl-1.9.13.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/httpcore-4.4.10.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/paranamer-2.3.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/commons-collections-3.2.2.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/httpclient-4.5.6.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/kerby-config-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/dnsjava-2.1.7.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jetty-server-9.3.24.v20180605.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jaxb-impl-2.2.3-1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jsr311-api-1.1.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jetty-util-9.3.24.v20180605.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/hadoop-auth-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/commons-configuration2-2.1.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/curator-recipes-2.13.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/commons-lang3-3.7.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/checker-qual-2.5.2.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/audience-annotations-0.5.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/commons-codec-1.11.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/json-smart-2.3.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jackson-core-2.9.8.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/stax2-api-3.1.4.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/slf4j-api-1.7.25.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/protobuf-java-2.5.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/listenablefuture-9999.0-empty-to-avoid-conflict-with-guava.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/j2objc-annotations-1.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jersey-core-1.19.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/accessors-smart-1.2.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jetty-io-9.3.24.v20180605.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jaxb-api-2.2.11.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/error_prone_annotations-2.2.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jsr305-3.0.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/metrics-core-3.2.4.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jetty-webapp-9.3.24.v20180605.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jersey-servlet-1.19.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/token-provider-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/commons-compress-1.18.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/curator-framework-2.13.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jackson-xc-1.9.13.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/gson-2.2.4.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/failureaccess-1.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/commons-io-2.5.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jackson-core-asl-1.9.13.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/curator-client-2.13.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/re2j-1.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/jackson-databind-2.9.8.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/commons-logging-1.1.3.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/netty-3.10.5.Final.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/hadoop-kms-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/hadoop-nfs-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/hadoop-common-3.2.1-tests.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/common/hadoop-common-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/kerby-util-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/kerby-xdr-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/commons-net-3.6.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/commons-beanutils-1.9.3.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/snappy-java-1.0.5.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/kerb-server-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/commons-cli-1.2.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jetty-xml-9.3.24.v20180605.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/kerb-simplekdc-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/leveldbjni-all-1.8.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/netty-all-4.0.52.Final.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/zookeeper-3.4.13.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jersey-json-1.19.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/guava-27.0-jre.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/javax.servlet-api-3.1.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/kerby-asn1-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/log4j-1.2.17.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jetty-http-9.3.24.v20180605.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/kerb-admin-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jsch-0.1.54.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/kerb-common-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/hadoop-annotations-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/animal-sniffer-annotations-1.17.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/kerb-crypto-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/woodstox-core-5.0.3.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/kerb-core-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jackson-annotations-2.9.8.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jetty-servlet-9.3.24.v20180605.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/kerb-identity-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/kerb-client-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/commons-text-1.4.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/okhttp-2.7.5.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/nimbus-jose-jwt-4.41.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/asm-5.0.4.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/json-simple-1.1.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jersey-server-1.19.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jetty-security-9.3.24.v20180605.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jackson-jaxrs-1.9.13.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/kerby-pkix-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/kerb-util-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jcip-annotations-1.0-1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/avro-1.7.7.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/htrace-core4-4.1.0-incubating.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/commons-math3-3.1.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jettison-1.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jackson-mapper-asl-1.9.13.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/httpcore-4.4.10.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/paranamer-2.3.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/commons-collections-3.2.2.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/httpclient-4.5.6.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/kerby-config-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/dnsjava-2.1.7.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jetty-util-ajax-9.3.24.v20180605.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jetty-server-9.3.24.v20180605.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jaxb-impl-2.2.3-1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jsr311-api-1.1.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jetty-util-9.3.24.v20180605.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/hadoop-auth-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/commons-configuration2-2.1.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/curator-recipes-2.13.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/commons-daemon-1.0.13.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/commons-lang3-3.7.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/checker-qual-2.5.2.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/audience-annotations-0.5.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/commons-codec-1.11.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/json-smart-2.3.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jackson-core-2.9.8.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/stax2-api-3.1.4.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/protobuf-java-2.5.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/listenablefuture-9999.0-empty-to-avoid-conflict-with-guava.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/j2objc-annotations-1.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jersey-core-1.19.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/accessors-smart-1.2.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jetty-io-9.3.24.v20180605.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jaxb-api-2.2.11.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/error_prone_annotations-2.2.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jsr305-3.0.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jetty-webapp-9.3.24.v20180605.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jersey-servlet-1.19.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/token-provider-1.0.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/commons-compress-1.18.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/curator-framework-2.13.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jackson-xc-1.9.13.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/gson-2.2.4.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/okio-1.6.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/failureaccess-1.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/commons-io-2.5.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jackson-core-asl-1.9.13.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/curator-client-2.13.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/re2j-1.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/jackson-databind-2.9.8.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/commons-logging-1.1.3.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/netty-3.10.5.Final.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/hadoop-hdfs-nfs-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/hadoop-hdfs-3.2.1-tests.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/hadoop-hdfs-client-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/hadoop-hdfs-native-client-3.2.1-tests.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/hadoop-hdfs-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/hadoop-hdfs-httpfs-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/hadoop-hdfs-native-client-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/hadoop-hdfs-rbf-3.2.1-tests.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/hadoop-hdfs-rbf-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/hdfs/hadoop-hdfs-client-3.2.1-tests.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/mapreduce/lib/junit-4.11.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/mapreduce/lib/hamcrest-core-1.3.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-client-hs-plugins-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.1-tests.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-client-hs-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-client-common-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-client-app-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-client-shuffle-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-client-uploader-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-client-nativetask-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/aopalliance-1.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/jackson-jaxrs-base-2.9.8.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/java-util-1.9.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/snakeyaml-1.16.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/HikariCP-java7-2.4.12.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/bcpkix-jdk15on-1.60.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/json-io-2.5.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/jackson-jaxrs-json-provider-2.9.8.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/jersey-client-1.19.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/swagger-annotations-1.5.4.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/guice-servlet-4.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/bcprov-jdk15on-1.60.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/objenesis-1.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/javax.inject-1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/jersey-guice-1.19.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/geronimo-jcache_1.0_spec-1.0-alpha-1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/fst-2.50.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/ehcache-3.3.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/metrics-core-3.2.4.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/mssql-jdbc-6.2.1.jre7.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/guice-4.0.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/jackson-module-jaxb-annotations-2.9.8.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-server-nodemanager-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-submarine-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-server-sharedcachemanager-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-server-timeline-pluginstorage-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-common-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-applications-unmanaged-am-launcher-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-services-core-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-server-router-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-client-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-server-resourcemanager-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-server-tests-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-server-web-proxy-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-applications-distributedshell-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-services-api-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-server-common-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-api-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-registry-3.2.1.jar:/var/Hadoop/hadoop-3.2.1/share/hadoop/yarn/hadoop-yarn-server-applicationhistoryservice-3.2.1.jar
STARTUP_MSG:   build = https://gitbox.apache.org/repos/asf/hadoop.git -r b3cbbb467e22ea829b3808f4b7b01d07e0bf3842; compiled by 'rohithsharmaks' on 2019-09-10T15:56Z
STARTUP_MSG:   java = 1.8.0_251
************************************************************/
2020-04-26 20:52:40,140 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]
2020-04-26 20:52:40,494 INFO namenode.NameNode: createNameNode [-format]
Formatting using clusterid: CID-a0fd9016-a370-409f-b90c-806b2805d80e
2020-04-26 20:52:42,748 INFO namenode.FSEditLog: Edit logging is async:true
2020-04-26 20:52:42,799 INFO namenode.FSNamesystem: KeyProvider: null
2020-04-26 20:52:42,802 INFO namenode.FSNamesystem: fsLock is fair: true
2020-04-26 20:52:42,802 INFO namenode.FSNamesystem: Detailed lock hold time metrics enabled: false
2020-04-26 20:52:42,848 INFO namenode.FSNamesystem: fsOwner             = root (auth:SIMPLE)
2020-04-26 20:52:42,848 INFO namenode.FSNamesystem: supergroup          = supergroup
2020-04-26 20:52:42,848 INFO namenode.FSNamesystem: isPermissionEnabled = true
2020-04-26 20:52:42,848 INFO namenode.FSNamesystem: HA Enabled: false
2020-04-26 20:52:43,035 INFO common.Util: dfs.datanode.fileio.profiling.sampling.percentage set to 0. Disabling file IO profiling
2020-04-26 20:52:43,081 INFO blockmanagement.DatanodeManager: dfs.block.invalidate.limit: configured=1000, counted=60, effected=1000
2020-04-26 20:52:43,081 INFO blockmanagement.DatanodeManager: dfs.namenode.datanode.registration.ip-hostname-check=true
2020-04-26 20:52:43,098 INFO blockmanagement.BlockManager: dfs.namenode.startup.delay.block.deletion.sec is set to 000:00:00:00.000
2020-04-26 20:52:43,099 INFO blockmanagement.BlockManager: The block deletion will start around 2020 四月 26 20:52:43
2020-04-26 20:52:43,101 INFO util.GSet: Computing capacity for map BlocksMap
2020-04-26 20:52:43,101 INFO util.GSet: VM type       = 64-bit
2020-04-26 20:52:43,105 INFO util.GSet: 2.0% max memory 674.8 MB = 13.5 MB
2020-04-26 20:52:43,106 INFO util.GSet: capacity      = 2^21 = 2097152 entries
2020-04-26 20:52:43,119 INFO blockmanagement.BlockManager: Storage policy satisfier is disabled
2020-04-26 20:52:43,119 INFO blockmanagement.BlockManager: dfs.block.access.token.enable = false
2020-04-26 20:52:43,131 INFO Configuration.deprecation: No unit for dfs.namenode.safemode.extension(30000) assuming MILLISECONDS
2020-04-26 20:52:43,132 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
2020-04-26 20:52:43,132 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.min.datanodes = 0
2020-04-26 20:52:43,132 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.extension = 30000
2020-04-26 20:52:43,133 INFO blockmanagement.BlockManager: defaultReplication         = 1
2020-04-26 20:52:43,133 INFO blockmanagement.BlockManager: maxReplication             = 512
2020-04-26 20:52:43,133 INFO blockmanagement.BlockManager: minReplication             = 1
2020-04-26 20:52:43,134 INFO blockmanagement.BlockManager: maxReplicationStreams      = 2
2020-04-26 20:52:43,134 INFO blockmanagement.BlockManager: redundancyRecheckInterval  = 3000ms
2020-04-26 20:52:43,134 INFO blockmanagement.BlockManager: encryptDataTransfer        = false
2020-04-26 20:52:43,134 INFO blockmanagement.BlockManager: maxNumBlocksToLog          = 1000
2020-04-26 20:52:43,338 INFO namenode.FSDirectory: GLOBAL serial map: bits=29 maxEntries=536870911
2020-04-26 20:52:43,338 INFO namenode.FSDirectory: USER serial map: bits=24 maxEntries=16777215
2020-04-26 20:52:43,338 INFO namenode.FSDirectory: GROUP serial map: bits=24 maxEntries=16777215
2020-04-26 20:52:43,338 INFO namenode.FSDirectory: XATTR serial map: bits=24 maxEntries=16777215
2020-04-26 20:52:43,359 INFO util.GSet: Computing capacity for map INodeMap
2020-04-26 20:52:43,359 INFO util.GSet: VM type       = 64-bit
2020-04-26 20:52:43,360 INFO util.GSet: 1.0% max memory 674.8 MB = 6.7 MB
2020-04-26 20:52:43,360 INFO util.GSet: capacity      = 2^20 = 1048576 entries
2020-04-26 20:52:43,364 INFO namenode.FSDirectory: ACLs enabled? false
2020-04-26 20:52:43,365 INFO namenode.FSDirectory: POSIX ACL inheritance enabled? true
2020-04-26 20:52:43,365 INFO namenode.FSDirectory: XAttrs enabled? true
2020-04-26 20:52:43,365 INFO namenode.NameNode: Caching file names occurring more than 10 times
2020-04-26 20:52:43,371 INFO snapshot.SnapshotManager: Loaded config captureOpenFiles: false, skipCaptureAccessTimeOnlyChange: false, snapshotDiffAllowSnapRootDescendant: true, maxSnapshotLimit: 65536
2020-04-26 20:52:43,374 INFO snapshot.SnapshotManager: SkipList is disabled
2020-04-26 20:52:43,392 INFO util.GSet: Computing capacity for map cachedBlocks
2020-04-26 20:52:43,392 INFO util.GSet: VM type       = 64-bit
2020-04-26 20:52:43,392 INFO util.GSet: 0.25% max memory 674.8 MB = 1.7 MB
2020-04-26 20:52:43,392 INFO util.GSet: capacity      = 2^18 = 262144 entries
2020-04-26 20:52:43,409 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.window.num.buckets = 10
2020-04-26 20:52:43,409 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.num.users = 10
2020-04-26 20:52:43,409 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.windows.minutes = 1,5,25
2020-04-26 20:52:43,413 INFO namenode.FSNamesystem: Retry cache on namenode is enabled
2020-04-26 20:52:43,413 INFO namenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cache entry expiry time is 600000 millis
2020-04-26 20:52:43,423 INFO util.GSet: Computing capacity for map NameNodeRetryCache
2020-04-26 20:52:43,423 INFO util.GSet: VM type       = 64-bit
2020-04-26 20:52:43,424 INFO util.GSet: 0.029999999329447746% max memory 674.8 MB = 207.3 KB
2020-04-26 20:52:43,424 INFO util.GSet: capacity      = 2^15 = 32768 entries
Re-format filesystem in Storage Directory root= /var/Hadoop/hadoop-3.2.1/data/dfs/name; location= null ? (Y or N) Y
2020-04-26 20:53:22,882 INFO namenode.FSImage: Allocated new BlockPoolId: BP-910918937-172.20.10.3-1587948802861
2020-04-26 20:53:22,882 INFO common.Storage: Will remove files: [/var/Hadoop/hadoop-3.2.1/data/dfs/name/current/VERSION, /var/Hadoop/hadoop-3.2.1/data/dfs/name/current/seen_txid, /var/Hadoop/hadoop-3.2.1/data/dfs/name/current/fsimage_0000000000000000000.md5, /var/Hadoop/hadoop-3.2.1/data/dfs/name/current/fsimage_0000000000000000000]
#
#
#
2020-04-26 20:53:23,265 INFO common.Storage: Storage directory /var/Hadoop/hadoop-3.2.1/data/dfs/name has been successfully formatted.
#
#
#
2020-04-26 20:53:23,344 INFO namenode.FSImageFormatProtobuf: Saving image file /var/Hadoop/hadoop-3.2.1/data/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
2020-04-26 20:53:23,550 INFO namenode.FSImageFormatProtobuf: Image file /var/Hadoop/hadoop-3.2.1/data/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 399 bytes saved in 0 seconds .
2020-04-26 20:53:23,560 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
2020-04-26 20:53:23,568 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid=0 when meet shutdown.
2020-04-26 20:53:23,569 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at uxmall/172.20.10.3
************************************************************/

修改启动文件参数

vim start-dfs.sh

#!/usr/bin/env bash

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

vim stop-dfs.sh

#!/usr/bin/env bash

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

vim start-yarn.sh

#!/usr/bin/env bash

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

vim stop-yarn.sh

#!/usr/bin/env bash

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

启动

cd /var/Hadoop/hadoop-3.2.1/sbin

#
#
./start-dfs.sh

#
#
./start-yarn.sh

# 查看已成功启动的进程
jps

【配置】防火墙

# 查看防火墙【服务】状态
systemctl status firewalld
 
# 查看防火墙【运行】状态
firewall-cmd --state
 
# 开启
service firewalld start
 
# 重启
service firewalld restart
 
# 关闭
service firewalld stop
 
# 查询端口是否开放
firewall-cmd --query-port=8080/tcp
 
# 开放80端口
firewall-cmd --permanent --add-port=80/tcp
firewall-cmd --permanent --add-port=8080-8088/tcp
firewall-cmd --permanent --add-port=50070/tcp
 
# 移除端口
firewall-cmd --permanent --remove-port=8080/tcp
 
# 查看防火墙的开放的端口
firewall-cmd --permanent --list-ports
 
# 重启防火墙(修改配置后要重启防火墙)
firewall-cmd --reload

【配置】SELinux


# 临时关闭 SELinux
setenforce 0
 
# 临时打开 SELinux
setenforce 1
 
# 查看 SELinux 状态
getenforce
 
# 开机关闭 SELinux
# 编辑 /etc/selinux/config 文件，将 SELinux 的值设置为 disabled。
vi /etc/selinux/config
 
# 查看防火墙规则
firewall-cmd --list-all

参考：

https://baike.baidu.com/item/%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93/381916?fr=aladdin

https://blog.51cto.com/14463231/2458413?source=dra

https://blog.csdn.net/xuheng8600/article/details/79956539

https://www.tinymind.net.cn/articles/63e45355916196

https://www.jianshu.com/p/e4bd7176670d

http://www.chinacloud.cn/show.aspx/show.aspx?id=28609&cid=30

https://www.cnblogs.com/thousfeet/p/8618696.html

你可能感兴趣的:(Hadoop,数据仓库)

数据仓库——维度表一致性墨染丶eye 背诵数据仓库
数据仓库基础笔记思维导图已经整理完毕，完整连接为：数据仓库基础知识笔记思维导图维度一致性问题从逻辑层面来看，当一系列星型模型共享一组公共维度时，所涉及的维度称为一致性维度。当维度表存在不一致时，短期的成功难以弥补长期的错误。维度时确保不同过程中信息集成起来实现横向钻取货活动的关键。造成横向钻取失败的原因维度结构的差别，因为维度的差别，分析工作涉及的领域从简单到复杂，但是都是通过复杂的报表来弥补设计
浅谈MapReduce Android路上的人 Hadoop 分布式计算 mapreduce 分布式框架 hadoop
从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
Hadoop 傲雪凌霜，松柏长青后端大数据 hadoop 大数据分布式
ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
Hadoop架构 henan程序媛 hadoop 大数据分布式
一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
大模型训练数据库Common Crawl WindyChanChan 数据集语言模型数据库
CommonCrawl介绍‌‌CommonCrawl是一个非营利组织，致力于通过大规模分布式爬虫系统定期抓取整个Web并将其存储在一个可公开访问的数据库中。CommonCrawl的数据收集和处理过程包括使用Python开源爬虫工具收集全球范围内的网站数据，并将其上传到‌CommonCrawl基金会的数据仓库中。该项目从2008年开始，至今已经积累了大量的原始网页数据、元数据和文本提取数据。这些数据
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据 python hadoop 计算机毕业设计选题计算机毕业设计源码数据分析 spark毕设
作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
数据仓库介绍阿龙的代码在报错数据分析数据仓库数据库
数据仓库数据仓库的概念数据仓库的主要特征数据仓库的主流开发语言-sql结构化数据sql语句数据仓库的概念数据仓库（英语：DataWarehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持（DecisionSupport）。就是数据仓库只分析数据并不产生数据数据仓库的主要特征1、面向主题主题是一个抽象的概念，是
hbase介绍 CrazyL- 云计算+大数据 hbase
hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用hadoopmapreduce来处理hbase、中的海量数据hbase利用zookeeper作为分布式系统服务特点：数据量大：一个表可以有上亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
Spark集群的三种模式 MelodyYN #Spark spark hadoop big data
文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式3.2Yarn模式安装部署配置历史服务器运行模式4、WordCount案例1、Spark的由来定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可
月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线「已注销」个人总结 hadoop
一、时间线梳理3月3日，寻找到同专业的就业伙伴3月5日，着手准备Java八股文，决定先走Java后端路线3月8月，申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka的视频，同时在准备实习的项目3月20日，退
HBase介绍 mingyu1016 数据库
概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。HBase的表结构HBase以表的形式存储数据。表有行和列组成。列划分为
大数据之flink与hive 星辰_mya 大数据 flink hive
其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧flink：高性能低延迟流批一体的分布式计算框架基于事件时间对实时数据精准处理快速响应支持批处理，高效离线分析和数据挖掘数据仓库的引擎丰富数据源/接收器，集成多种数据存储格式和源，比较常见就是咱们今天的主题hive了checkpoint恢复机制，故障恢复快速恢复计算任务分布式弹性扩展，据业务灵活增加
Java中的大数据处理框架对比分析省赚客app开发者 java 开发语言
Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
hive血缘关系之输入表与目标表的解析 zxfBdd hive 大数据治理大数据
接了一个新需求：需要做数据仓库的血缘关系。正所谓兵来将挡水来土掩，那咱就动手吧。血缘关系是数据治理的一块，其实有专门的第三方数据治理框架，但考虑到目前的线上环境已经趋于稳定，引入新的框架无疑是劳民伤财，伤筋动骨，所以就想以最小的代价把这个事情给做了。目前我们考虑做的血缘关系呢只是做输入表和输出表，最后会形成一张表与表之间的链路图。这个东西的好处就是有助于仓库人员梳理业务，后面可能还会做字段之间的血
Hadoop windows intelij 跑 MR WordCount piziyang12138
一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9Hadoop分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven工程。(如果只跑MapReduce创建java工程即可，不用勾选Creatfromarchetype，如果想创建web工程或者使用骨架可以勾选)image.png设置GroupId和Artif
Hadoop学习第三课（HDFS架构--读、写流程）小小程序员呀~ 数据库 hadoop 架构 big data
1.块概念举例1：一桶水1000ml，瓶子的规格100ml=>需要10个瓶子装完一桶水1010ml，瓶子的规格100ml=>需要11个瓶子装完一桶水1010ml，瓶子的规格200ml=>需要6个瓶子装完块的大小规格，只要是需要存储，哪怕一点点，也是要占用一个块的块大小的参数：dfs.blocksize官方默认的大小为128M官网：https://hadoop.apache.org/docs/r3.
hadoop启动HDFS命令 m0_67401228 java 搜索引擎 linux 后端
启动命令：/hadoop/sbin/start-dfs.sh停止命令：/hadoop/sbin/stop-dfs.sh
影响数据分析导致数据建模错误！你可能都没发觉的几个小细节丨程序之道丨
如果你有一个目标，想获得所有这些数据的可操作的见解，并一直在收集。那么，你如何确定模型的数据，以便实际上可以获得这些见解，并回答你的业务问题?你的计划。当规划阶段不充分或不完全，其结果是可怕的。那么分析和性能、数据完整性和安全性的问题接踵而至，将会使日常的维护和发展的成本达到了不必要的水平。避免常见的建模错误1.开始实施时没有明确的行动计划当涉及到的分析，如数据仓库或Elasticube建模数据资
从零到一建设数据中台 - 架构概览我码玄黄从零到一建设数据中台架构数据中台中台架构
数据中台功能架构概览数据中台相关名词解释1.数据仓库：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。因此，其重点在于数据的集合。数据仓库可使用维度建模方法论从业务过程中抽象出通用维度与度量，组成数据模型，为决策分析提供通用的数据分析能力。数据仓库重在建数据，而数据中台则将建、治、管、服放到同样的高度，数据仓库只是数据中台的一个子集。用一个蔬菜储存的例子来简
Python基础知识进阶之正则表达式_头歌python正则表达式进阶前端陈萨龙程序员 python 学习面试
最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
【计算机毕设-大数据方向】基于Hadoop的电商交易数据分析可视化系统的设计与实现程序员-石头山大数据实战案例大数据 hadoop 毕业设计毕设
博主介绍：✌全平台粉丝5W+,高级大厂开发程序员，博客之星、掘金/知乎/华为云/阿里云等平台优质作者。【源码获取】关注并且私信我【联系方式】最下边感兴趣的可以先收藏起来，同学门有不懂的毕设选题，项目以及论文编写等相关问题都可以和学长沟通，希望帮助更多同学解决问题前言随着电子商务行业的迅猛发展，电商平台积累了海量的数据资源，这些数据不仅包括用户的基本信息、购物记录，还包括用户的浏览行为、评价反馈等多
分布式离线计算—Spark—基础介绍测试开发abbey 人工智能—大数据
原文作者：饥渴的小苹果原文地址：【Spark】Spark基础教程目录Spark特点Spark相对于Hadoop的优势Spark生态系统Spark基本概念Spark结构设计Spark各种概念之间的关系Executor的优点Spark运行基本流程Spark运行架构的特点Spark的部署模式Spark三种部署方式Hadoop和Spark的统一部署摘要：Spark是基于内存计算的大数据并行计算框架Spar
spark常用命令我是浣熊的微笑 spark
查看报错日志：yarnlogsapplicationIDspark2-submit--masteryarn--classcom.hik.ReadHdfstest-1.0-SNAPSHOT.jar进入$SPARK_HOME目录，输入bin/spark-submit--help可以得到该命令的使用帮助。hadoop@wyy:/app/hadoop/spark100$bin/spark-submit--
spark启动命令学不会又听不懂 spark 大数据分布式
hadoop启动：cd/root/toolssstart-dfs.sh，只需在hadoop01上启动stop-dfs.sh日志查看：cat/root/toolss/hadoop/logs/hadoop-root-datanode-hadoop03.outzookeeper启动：cd/root/toolss/zookeeperbin/zkServer.shstart，三台都要启动bin/zkServ
离线数仓VS实时数仓 james二次元数据仓库数据仓库大数据
离线数据仓库（OfflineDataWarehouse）和实时数据仓库（Real-timeDataWarehouse）的实施有一些相似之处，但也存在显著的差异。以下是两者在几个关键方面的对比：相同点：数据集成：都需要从多个数据源提取、转换和加载数据（ETL/ELT）。都需要处理数据清洗、去重和规范化，以保证数据的一致性和准确性。数据建模：都需要进行数据建模，设计数据仓库的星型或雪花模型，定义事实表
编程常用命令总结 Yellow0523 Linux BigData 大数据
编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令kafka命令Hibench命令MySQL命令3.Linux常用命令Git命令conda命令pip命令查看Linux系统的详细信息查看Linux系统架构(X86还是ARM，两种方法都可)端口号命令L
数仓建模之维度表&指标表锵锵锵锵~蒋数据研发数据仓库数据研发
在数据仓库中，维度和指标是两个重要的概念。维度（Dimension）：维度是一种描述业务过程中各种属性的方法，用于对业务过程进行分析和归类。维度包括时间、地点、人员、产品、客户等各种业务属性，是数据分析的基础。指标（Measure）：指标是衡量业务过程效果的标准，是数据分析的重要指标。指标包括数量、金额、时间、比率、百分比等，用于衡量业务过程的各种结果。在数据仓库中，通常会使用维度表和指标表来进行
Hadoop常见面试题整理及解答叶青舟 Linux hdfs 大数据 hadoop linux
Hadoop常见面试题整理及解答一、基础知识篇：1.把数据仓库从传统关系型数据库转到hadoop有什么优势？答：（1）关系型数据库成本高，且存储空间有限。而Hadoop使用较为廉价的机器存储数据，且Hadoop可以将大量机器构建成一个集群，并在集群中使用HDFS文件系统统一管理数据，极大的提高了数据的存储及处理能力。（2）关系型数据库仅支持标准结构化数据格式，Hadoop不仅支持标准结构化数据格式
2024年最全使用Python求解方程_python解方程(1)，字节面试官迟到 2401_84569545 程序员 python 学习面试
最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
插入表主键冲突做更新 a-john
有以下场景：用户下了一个订单，订单内的内容较多，且来自多表，首次下单的时候，内容可能会不全（部分内容不是必须，出现有些表根本就没有没有该订单的值）。在以后更改订单时，有些内容会更改，有些内容会新增。问题：如果在sql语句中执行update操作，在没有数据的表中会出错。如果在逻辑代码中先做查询，查询结果有做更新，没有做插入，这样会将代码复杂化。解决： mysql中提供了一个sql语
Android xml资源文件中@、@android:type、@*、？、@+含义和区别 Cb123456 @+@?@*
一.@代表引用资源 1.引用自定义资源。格式：@[package:]type/name android：text="@string/hello" 2.引用系统资源。格式：@android:type/name android:textColor="@android:color/opaque_red"
数据结构的基本介绍天子之骄数据结构散列表树、图线性结构价格标签
数据结构的基本介绍数据结构就是数据的组织形式，用一种提前设计好的框架去存取数据，以便更方便，高效的对数据进行增删查改。正确选择合适的数据结构，对软件程序的高效执行的影响作用不亚于算法的设计。此外，在计算机系统中数据结构的作用也是非同小可。例如常常在编程语言中听到的栈，堆等，就是经典的数据结构。经典的数据结构大致如下：一：线性数据结构 (1)：列表 a
通过二维码开放平台的API快速生成二维码一炮送你回车库 api
现在很多网站都有通过扫二维码用手机连接的功能，联图网(http://www.liantu.com/pingtai/)的二维码开放平台开放了一个生成二维码图片的Api,挺方便使用的。闲着无聊，写了个前台快速生成二维码的方法。 html代码如下:(二维码将生成在这div下) ? 1 &nbs
ImageIO读取一张图片改变大小 3213213333332132 java IO image BufferedImage
package com.demo; import java.awt.image.BufferedImage; import java.io.File; import java.io.IOException; import javax.imageio.ImageIO; /** * @Description 读取一张图片改变大小 * @author FuJianyon
myeclipse集成svn（一针见血） 7454103 eclipse SVN MyEclipse
&n
装箱与拆箱----autoboxing和unboxing darkranger J2SE
4.2　自动装箱和拆箱基本数据(Primitive)类型的自动装箱(autoboxing)、拆箱(unboxing)是自J2SE 5.0开始提供的功能。虽然为您打包基本数据类型提供了方便，但提供方便的同时表示隐藏了细节，建议在能够区分基本数据类型与对象的差别时再使用。 4.2.1　autoboxing和unboxing 在Java中，所有要处理的东西几乎都是对象(Object)
ajax传统的方式制作ajax aijuans Ajax
//这是前台的代码 <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> <% String path = request.getContextPath(); String basePath = request.getScheme()+
只用jre的eclipse是怎么编译java源文件的？ avords java eclipse jdk tomcat
eclipse只需要jre就可以运行开发java程序了，也能自动编译java源代码，但是jre不是java的运行环境么，难道jre中也带有编译工具？还是eclipse自己实现的？谁能给解释一下呢问题补充：假设系统中没有安装jdk or jre，只在eclipse的目录中有一个jre，那么eclipse会采用该jre，问题是eclipse照样可以编译java源文件，为什么呢？ &nb
前端模块化 bee1314 模块化
背景：前端JavaScript模块化，其实已经不是什么新鲜事了。但是很多的项目还没有真正的使用起来，还处于刀耕火种的野蛮生长阶段。 JavaScript一直缺乏有效的包管理机制，造成了大量的全局变量，大量的方法冲突。我们多么渴望有天能像Java（import），Python (import)，Ruby(require)那样写代码。在没有包管理机制的年代，我们是怎么避免所
处理百万级以上的数据处理 bijian1013 oracle sql 数据库大数据查询
一.处理百万级以上的数据提高查询速度的方法： 1.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 o
mac 卸载 java 1.7 或更高版本征客丶 java OS
卸载 java 1.7 或更高 sudo rm -rf /Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin 成功执行此命令后，还可以执行 java 与 javac 命令 sudo rm -rf /Library/PreferencePanes/JavaControlPanel.prefPane 成功执行此命令后，还可以执行 java
【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析 bit1129 Stream
第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中第二部，Spark Streaming读取Kafka中的数据，进行实时分析本文首先使用Kakfa自带的消息处理（脚本）来获取消息，走通Flume和Kafka的对接 1. Flume配置 1. 下载Flume和Kafka集成的插件，下载地址：https://github.com/beyondj2ee/f
Erlang vs TNSDL bookjovi erlang
TNSDL是Nokia内部用于开发电信交换软件的私有语言，是在SDL语言的基础上加以修改而成，TNSDL需翻译成C语言得以编译执行，TNSDL语言中实现了异步并行的特点，当然要完整实现异步并行还需要运行时动态库的支持，异步并行类似于Erlang的process（轻量级进程），TNSDL中则称之为hand，Erlang是基于vm(beam)开发，
非常希望有一个预防疲劳的java软件, 预防过劳死和眼睛疲劳,大家一起努力搞一个 ljy325 企业应用
　非常希望有一个预防疲劳的java软件，我看新闻和网站，国防科技大学的科学家累死了，太疲劳，老是加班，不休息，经常吃药，吃药根本就没用，根本原因是疲劳过度。我以前做java,那会公司垃圾，老想赶快学习到东西跳槽离开，搞得超负荷，不明理。深圳做软件开发经常累死人，总有不明理的人，有个软件提醒限制很好，可以挽救很多人的生命。相关新闻：（1）IT行业成五大疾病重灾区：过劳死平均37.9岁
读《研磨设计模式》-代码笔记-原型模式 bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ /** * Effective Java 建议使用copy constructor or copy factory来代替clone()方法： * 1.public Product copy(Product p){} * 2.publi
配置管理---svn工具之权限配置 chenyu19891124 SVN
今天花了大半天的功夫，终于弄懂svn权限配置。下面是今天收获的战绩。安装完svn后就是在svn中建立版本库，比如我本地的是版本库路径是C:\Repositories\pepos。pepos是我的版本库。在pepos的目录结构 pepos component webapps 在conf里面的auth里赋予的权限配置为 [groups]
浅谈程序员的数学修养 comsci 设计模式编程算法面试招聘
浅谈程序员的数学修养
批量执行 bulk collect与forall用法 daizj oracle sql bulk collect forall
BULK COLLECT 子句会批量检索结果，即一次性将结果集绑定到一个集合变量中，并从SQL引擎发送到PL/SQL引擎。通常可以在SELECT INTO、 FETCH INTO以及RETURNING INTO子句中使用BULK COLLECT。本文将逐一描述BULK COLLECT在这几种情形下的用法。有关FORALL语句的用法请参考：批量SQL之 F
Linux下使用rsync最快速删除海量文件的方法 dongwei_6688 OS
1、先安装rsync：yum install rsync 2、建立一个空的文件夹：mkdir /tmp/test 3、用rsync删除目标目录：rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/这样我们要删除的log目录就会被清空了，删除的速度会非常快。rsync实际上用的是替换原理，处理数十万个文件也是秒删。
Yii CModel中rules验证规格 dcj3sjt126com rules yii validate
Yii cValidator主要用法分析： yii验证rulesit 分类： Yii yii的rules验证 cValidator主要属性 attributes ,builtInValidators,enableClientValidation,message,on,safe,skipOnError
基于vagrant的redis主从实验 dcj3sjt126com vagrant
平台: Mac 工具: Vagrant 系统: Centos6.5 实验目的: Redis主从实现思路制作一个基于sentos6.5, 已经安装好reids的box, 添加一个脚本配置从机, 然后作为后面主机从机的基础box 制作sentos6.5+redis的box mkdir vagrant_redis cd vagrant_
Memcached(二)、Centos安装Memcached服务器 frank1234 centos memcached
一、安装gcc rpm和yum安装memcached服务器连接没有找到，所以我使用的是make的方式安装，由于make依赖于gcc，所以要先安装gcc 开始安装，命令如下，[color=red][b]顺序一定不能出错[/b][/color]：建议可以先切换到root用户，不然可能会遇到权限问题：su root 输入密码...... rpm -ivh kernel-head
Remove Duplicates from Sorted List hcx2013 remove
Given a sorted linked list, delete all duplicates such that each element appear only once. For example,Given 1->1->2, return 1->2.Given 1->1->2->3->3, return&
Spring4新特性——JSR310日期时间API的支持 jinnianshilongnian spring4
Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API Spring4新
浅谈enum与单例设计模式 247687009 java 单例
在JDK1.5之前的单例实现方式有两种(懒汉式和饿汉式并无设计上的区别故看做一种)，两者同是私有构造器，导出静态成员变量，以便调用者访问。第一种 package singleton; public class Singleton { //导出全局成员 public final static Singleton INSTANCE = new S
使用switch条件语句需要注意的几点 openwrt c break switch
1. 当满足条件的case中没有break，程序将依次执行其后的每种条件（包括default）直到遇到break跳出 int main() { int n = 1; switch(n) { case 1: printf("--1--\n"); default: printf("defa
配置Spring Mybatis JUnit测试环境的应用上下文 schnell18 spring mybatis JUnit
Spring-test模块中的应用上下文和web及spring boot的有很大差异。主要试下来差异有：单元测试的app context不支持从外部properties文件注入属性 @Value注解不能解析带通配符的路径字符串解决第一个问题可以配置一个PropertyPlaceholderConfigurer的bean。第二个问题的具体实例是：
Java 定时任务总结一 tuoni java spring timer quartz timertask
Java定时任务总结一.从技术上分类大概分为以下三种方式： 1.Java自带的java.util.Timer类，这个类允许你调度一个java.util.TimerTask任务; 说明： java.util.Timer定时器，实际上是个线程，定时执行TimerTask类 &
一种防止用户生成内容站点出现商业广告以及非法有害等垃圾信息的方法 yangshangchuan rank 相似度计算文本相似度词袋模型余弦相似度
本文描述了一种在ITEYE博客频道上面出现的新型的商业广告形式及其应对方法，对于其他的用户生成内容站点类型也具有同样的适用性。最近在ITEYE博客频道上面出现了一种新型的商业广告形式，方法如下： 1、注册多个账号（一般10个以上）。 2、从多个账号中选择一个账号，发表1-2篇博文