E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoo
(三)Hadoop集群环境搭建(完全分布式)
/etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop01[root@hadoop01~]#vi/etc/sysconfig/network[root@
hadoo
小猪Harry
·
2019-12-23 04:31
2018年3月7日
……然而上
hadoo
真昼之月
·
2019-12-20 19:20
2017年大数据8大趋势,值得好好研究!
1、开放源码hadoop、spark等将继续扩大越来越多的企业选择Hadoop或者Spark等开源程序,调查发现今年年底,近60%企业的Hadoop集群将投入生产,而且
Hadoo
大圣众包
·
2019-12-18 10:12
eclipse集成hadoop+spark+hive本地开发图文详解
一.开发环境系统:windows7JDK:jdk1.7eclipse:Mars.2Release(4.5.2)Hadoop:
hadoo
a123demi
·
2019-12-01 06:11
搭建hadoop2 HA
1.2hadoop2.0对hadoop1.0单点问题的解决为了解决hadoop1中的单点问题,在
hadoo
露亦子
·
2019-12-01 00:19
spark 基础知识整理(二)- RDD专题
**RDD通常通过
hadoo
Graceleeman
·
2019-11-30 13:43
搭建hadoop分布式环境
以减少工作量1.修改主机名及映射[root@hadoop1~]#vim/etc/sysconfig/network[root@hadoop1~]#vim/etc/hosts2.创建Hadoop用户[root@
hadoo
柏舟
·
2019-11-18 14:42
hadoop
大数据
mapreduce课堂测试结果
importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.
hadoo
锦瑟流年3344
·
2019-10-31 08:00
10月30日课堂测试
importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.
hadoo
雨过山
·
2019-10-30 22:00
Linux CentOS SCP远程文件拷贝
touch123.txt#创建一个123.txt文件scp123.txthadoop02:/tmp/#把当前目录下的123.txt传到hadoop02(192.168.100.202)的/tmp/目录下这里它会询问
hadoo
大数据DENGAI
·
2019-10-21 20:56
Linux
基础
CentOS
HUE Oozie : error=2, No such file or directory采坑记录
,不管反复创建文件或者脚本多少遍,也不管重新定义workflow多少遍,报错信息始终如下:FailingOozieLauncher,Mainclass[org.apache.oozie.action.
hadoo
阿叮339
·
2019-10-17 19:00
使用MapReduce传输HBASE与MySQL数据
;importorg.apache.hadoop.io.Writable;importorg.apache.hadoop.io.WritableComparable;importorg.apache.
hadoo
我在北国不背锅
·
2019-10-17 14:35
Hadoop
MySQL
HBase
Hive零基础从入门到实战 进阶篇(二十) Hive常用调优
1.6join优化1.6.1小表放左边1.6.2key保持一致1.6.3Mapjoin1.6.4多用leftjoin1.7数据倾斜2.参数设置优化前言由于Hive是将符合SQL语法的字符串解析生成可以在
Hadoo
风影楼前
·
2019-10-11 14:03
启动hadoop时,datanode未能正常启动
hadoop001:startingnamenode,loggingto/home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoop-namenode-
hadoo
cllblogs
·
2019-08-26 09:55
Hadoop学习笔记2
3.3.2Master主机生成密钥3.3.3Master主机发送数据3.4安装Hadoop3.4.1下载Hadoop安装包3.4.2上传Hadoop安装包3.4.3解压Hadoop安装包3.4.4创建
Hadoo
ChengZi~
·
2019-08-12 23:14
Hadoop
hadoop安装解决之道
Error:JAVA_HOMEisincorrectlyset.PleaseupdateC:\dhc_hlk\hadoop-2.8.5\etc\hadoop\
hadoo
南国薏米
·
2019-08-12 00:00
hadoop
hadoop安装解决之道
Error:JAVA_HOMEisincorrectlyset.PleaseupdateC:\dhc_hlk\hadoop-2.8.5\etc\hadoop\
hadoo
wx5d4ece0dab0a6
·
2019-08-10 23:13
java
springboot
首届Hadoop技术社区中国meetup来袭!对外报名正式启动!
2019年8月10日,
Hadoo
腾讯技术工程
·
2019-08-06 18:00
Hadoop 3.2.0配置
hadoop-3.2.0exportPATH=$PATH:$HADOOP_HOME/binexportPATH=$PATH:$HADOOP_HOME/sbinexportHADOOP_MAPRED_HOME=$
HADOO
Fiona_ll
·
2019-07-25 00:58
Hadoop
大数据
big
data
Yarn
例子
Hadoop集群搭建-05安装配置YARN
台虚拟机,nn1nn2s1s2s3hadoop是是是是是zookeeper是是是namenode是是jouralnode是是datanode是是是1.然后启动yarn在nn1机器上:[hadoop@nn1
hadoo
finch_xu
·
2019-07-24 16:00
Hadoop集群搭建-04安装配置HDFS
HDFSHadoop集群搭建-03编译安装hadoopHadoop集群搭建-02安装配置ZookeeperHadoop集群搭建-01前期准备HDFS是配合Hadoop使用的分布式文件系统,分为namenode:nn1.
hadoo
chj5213
·
2019-07-22 17:00
Hive之——Hive-hiveserver2-beeline
成功后,将Hive服务器的相关Hive工具安装包复制到其他的
hadoo
冰 河
·
2019-07-18 19:02
Hadoop
Hive
Hadoop
Hive
Hadoop生态
干货 | 学习大数据为什么要先学Java?
不论是
hadoo
一起学习大数据
·
2019-07-09 15:14
大数据
hadoop
java
数据分析
数据挖掘
学习大数据为什么要先学Java?
不论是
hadoo
大连千锋
·
2019-07-08 11:09
大数据应用期末总评
25Hadoop生态安装与配置10分布式文件系统HDFS分布式并行计算MapReduceHadoop综合大作业25评分标准:难易程度数据量文章质量:描述、分析与总结二、17周演示检查:《爬虫大作业》和《
Hadoo
林俊翰
·
2019-06-20 17:00
自己撸一个Wordcount
SNAPSHOTjunitjunitRELEASEorg.apache.logging.log4jlog4j-core2.11.2org.apache.hadoophadoop-common2.7.2org.apache.hadoophadoop-client2.7.2org.apache.
hadoo
chen18677338530
·
2019-06-19 17:02
大数据
谈谈Paxos一致性算法和一致性这个名词
Paxos算法目前在Google的Chubby、MegaStore、Spanner等系统中得到了应用,
Hadoo
netfocus
·
2019-05-17 17:00
hbase shell基础和常用命令详解
HBase是GoogleBigtable的开源实现,它利用
Hadoo
程序猿余辉
·
2019-05-11 00:00
程序员
程序人生
前端
java
python
大数据学习笔记之Zookeeper(四):Zookeeper实战篇(二)
4.3.1eclipse环境搭建4.3.2创建ZooKeeper客户端:4.3.3创建子节点4.3.4获取子节点4.3.5判断znode是否存在4.3.6监听服务器节点动态上下线案例4.1分布式安装部署0)集群规划在
hadoo
as403045314
·
2019-05-06 21:00
Spark2.4.2源码编译
dist/spark/spark-2.4.2/hadoop版本:hadoop-2.6.0-cdh5.7.0(spark编译支持的hadoop版本,不需要安装)配置maven:#配置环境变量[root@
hadoo
bigdata_lzw
·
2019-04-29 11:15
spark
源码编译
Spark
Apache Flink-下载
Maven依赖旧版本更新策略所有文档版本快照 (NightlyBuilds)最新稳定版本是1.6.1,hadoop安装不需要使用flink,用户使用flink也不需要任何hadoop依赖,推荐使用没有捆绑任何
hadoo
Running-小猛
·
2019-04-22 00:00
Flink
大数据零基础的学习路线是什么,我们应该怎么学习?
一方面Java是目前使用最为广泛的编程语言,它具有的众多特性,特别适合作为大数据应用的开发语言;另一方面
Hadoo
duozhishidai
·
2019-04-02 10:44
大数据
storm实时分布式流计算系统——介绍
hadoo
框架也是个高并发处理框架,但是是批处理,就是数据来了,攒满多少,一起处理,而storm是流处理,数据来了就处理,就像水流一样,源源不断。分布式和集群是有区别的。
讲不出 再见
·
2019-03-28 15:02
storm
大数据扫盲!详解Hadoop核心架构
HDFS的体系架构整个
Hadoo
程序の之道
·
2019-03-27 13:08
大数据
hadoop
HDFS
MapReduce
hive
使用Idea提交Spark程序Bug,解决方案
解决办法:设置“
HADOO
china____cjw
·
2019-03-24 16:54
spark
大数据
ElasticSearch的集群安装实例
github.com/elastic/elasticsearch###【在多台机器上执行下面的命令】####es启动时需要使用非root用户,所有创建一个xiaoniu用户:useraddes01#为
hadoo
呼和浩特-大数据-白胖子
·
2019-03-21 23:19
lucene
大数据分析,主要运用了哪些关键技术?
Hadoop是一个由Apache基金会所开发的分布式系统基础架构,计算分析处理所涉及的框架,允许多台设备一起工作,充分利用集群的威力进行高速运算和存储,共同完成一项任务,而对于用户来说这些设备是感知不到了,
Hadoo
duozhishidai
·
2019-03-15 23:38
大数据
sparkstreaming实时流处理项目(一)
.~/.bashrcfi#UserspecificenvironmentandstartupprogramsexportJAVA_HOME=/home/
hadoo
LUK流
·
2019-03-03 16:34
spark
hadoop异常处理之nameNode进程无法启动,报org.apache.hadoop.hdfs.server.common.InconsistentFSStateException
1919:55:34,840ERRORorg.apache.hadoop.hdfs.server.namenode.NameNode:Failedtostartnamenode.org.apache.
hadoo
qq_32641659
·
2019-02-23 17:52
hadoop
Centos6.4+jdk8+hadoop-2.7.7+hbase2.0.4实战安装
blog.csdn.net/jisen_huang/article/details/48490295Hadoop:hadoop-2.7.7.tar.gzhttp://apache.fayea.com/
hadoo
黄继生 jisen
·
2019-02-20 18:03
hadoop
linux安装hadoop集群(2)-配置安装
NN1NN2DNRMNMhpmasterNameNodeDataNodeNodeManagerhpslave1SecondaryNameNodeDataNodeResourceManagerNodeManagerhpslave2DataNodeNodeManager2下载
hadoo
黑暗行动
·
2019-02-17 22:03
大数据
hadoop集群搭建
192.168.1.100node0192.168.1.101node1192.168.1.102node2192.168.1.103node3192.168.1.104node4192.168.1.105node5确保4台机器都做好以下工作:1.hostname2.staticIP3.hosts4.hadoop:
hadoo
china_den
·
2019-02-15 14:42
大数据开发
Hadoop---(1)HDFS(分布式文件系统)
可靠性(Reliable):
hadoo
Mr Cao
·
2019-01-30 16:33
大数据
Mac Hadoop配置
cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys配置hadoop使用brew安装的hadoop在以下地址(各自确认版本)/usr/local/Cellar/
hadoo
華華公子
·
2019-01-23 13:39
Hadoop2.X HA搭建
core-site.xmlfs.defaultFShdfs://cheamha.zookeeper.quorumnode01:2181,node02:2181,node03:2181hadoop.tmp.dir/opt/
hadoo
Cheam22
·
2019-01-14 22:17
hadoop
使用Sqoop从Postgresql中导入数据到Hive中
wget-chttp://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__
hadoo
kongxx
·
2019-01-10 21:58
BigData
Hadoop书籍
“
hadoo
HuXueKuo
·
2018-12-18 11:25
hadoop安装教程
Hadoop组成1)
Hadoo
冻梨不是梨
·
2018-12-16 19:03
hadoop
大数据技术分享
对Hbase进行MapReduce后将结果保存到MySQL中,MapReduce从MySQL中读取数据并把数据存储到hbase中
;importorg.apache.hadoop.io.Writable;importorg.apache.hadoop.io.WritableComparable;importorg.apache.
hadoo
Lu_Xiao_Yue
·
2018-12-07 20:18
Hive 压缩
Snappyorg.apache.hadoop.io.compress.SnappyCodec49.96%6.4119.84否gziporg.apache.hadoop.io.compress.GzipCodec31.90%85.6721.82否lzocom.
hadoo
Peasmaster
·
2018-11-20 11:44
Hive
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他