E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
2.6.5
Spark安装部署
软件环境:CentOS_6.5_x64hadoop-
2.6.5
jdk-1.8.111scala-2.11.11spark-1.6.30x02安装scala2.1下载Spark官方要求Scala版本为2.11
ningwang
·
2017-10-18 00:00
部署
scala
spark
ZooKeeper安装部署
0x00环境说明OS:CentOS-6.5-x86_64JDK:jdk-8u111-linux-x64Hadoop:hadoop-
2.6.5
Zookeeper:zookeeper-3.4.60x01简介
ningwang
·
2017-10-18 00:00
hbase
hadoop
zookeeper
IntelliJ IDEA Windows下Spark开发环境部署
121scala:scala-2.11.11IDE:IntelliJIDEAULTIMATE2017.2.11.2服务器OS:CentOS_6.5_x64jdk:jdk1.8.111hadoop:hadoop-
2.6.5
ningwang
·
2017-10-17 00:00
java
intellij-idea
spark
CentOS6.5下搭建Hadoop环境详细步骤
1.搭建Hadoop环境需要先安装和测试JDK,具体步骤可以参考http://blog.csdn.net/zp8126/article/details/782058542.下载hadoop-
2.6.5
.
zp8126
·
2017-10-16 14:26
Hive Bug集锦
fallingbacktounsupportedjava.lang.IncompatibleClassChangeError:Foundclassjline.原因是hadoop目录下存在老版本jline:/hadoop-
2.6.5
just_fuck
·
2017-10-16 10:09
大数据运维之hive日常
Hive学习笔记 6 Hive的JDBC连接
1、配置Hadoop的配置文件/hadoop-
2.6.5
/etc/hadoop/hadoop.proxyuser.root.hosts127.0.0.1,localhost,pc1hadoop.proxyuser.root.groups
土豆拍死马铃薯
·
2017-10-09 13:08
大数据
SpringBoot学习笔记之集成swagger
io.springfoxspringfox-swagger22.6.1io.springfoxspringfox-swagger-ui2.6.1com.fasterxml.jackson.corejackson-core
2.6.5
com.fasterxml.jackson.corejackson-databind
2.6.5
com.faster
liyuejin
·
2017-09-20 08:50
Spark 集群搭建从零开始之3 Spark Standalone集群安装、配置与测试
spark-env.shexportJAVA_HOME=/usr/lib/jvm/java-8-oracleexportSCALA_HOME=/chenjie/scala-2.10.4exportHADOOP_HOME=/chenjie/hadoop-
2.6.5
exportHADOOP_CONF_DIR
土豆拍死马铃薯
·
2017-09-19 15:01
大数据
Hadoop 2.6 集群搭建从零开始之3 Hadoop的安装与配置(伪分布式环境)
://hadoop.apache.org/releases.html1.使用wgethttp://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-
2.6.5
土豆拍死马铃薯
·
2017-09-16 08:04
大数据
Hadoop初体验:快速搭建Hadoop伪分布式环境
对使用的系统环境作如下说明:操作系统:CentOS6.564位主机IP地址:10.0.0.131/24主机名:leaf用户名:roothadoop版本:
2.6.5
jdk版本:1.7可以看到,这里直接使用
xpleaf
·
2017-08-30 01:11
hadoop
大数据
伪分布式
大数据与云计算
7.测试hadoop安装成功与否,并跑mapreduce实例
hadoop
2.6.5
集群安装及mapreduce测试运行http://blog.csdn.net/fanfanrenrenmi/article/details/54232184【准备工作】在每一次测试之前
GoJawee
·
2017-08-12 21:53
hadoop/spark
hadoop
2.6.5
+sqoop1.4.6环境部署与测试(三)
在hadoop环境搭建完成后,接下来就是要把sqoop整合进来,使其可以利用hadoop和mysql-connector-java来从MySQL中抽取数据并转存到hdfs上。1.将得到的sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz解压到/usr/local/下,并建立/usr/local/sqoop软链接。mv sqoop-1.4.6.bin__hadoop
琴里伊始
·
2017-08-08 21:47
mapreduce
hadoop
sqoop
Hadoop
hadoop
2.6.5
+sqoop1.4.6环境部署与测试(二)
首先再看一下四台VM在集群中担任的角色信息:IP 主机名 hadoop集群担任角色10.0.1.100 hadoop-test-nn NameNode,ResourceManager10.0.1.101 hadoop-test-snn SecondaryNameNode10.0.1.102 hadoop-test-dn1
琴里伊始
·
2017-08-07 20:00
mapreduce
hadoop
sqoop
Hadoop
hadoop
2.6.5
+sqoop1.4.6环境部署与测试(一)
环境描述:采用4台虚拟机部署hadoop
2.6.5
的完全分布式环境,在其中一台担任namenode节点的主机上安装mysql-server和sqoop,用于存放和抽取源数据。
琴里伊始
·
2017-08-04 11:37
mapreduce
hadoop
sqoop
Hadoop
Hadoop
2.6.5
集群搭建(包含单节点安装方法)
集群安装一,安装环境硬件:虚拟机操作系统:Centos6.564位安装用户:rootIP:192.168.235.130主机名:vm01IP:192.168.235.131主机名:vm02IP:192.168.235.132主机名:vm03其中vm01为master节点,vm02和vm03为slave节点。二,安装JDK安装JDK1.6或者以上版本。安装方法不在此讨论,网上教程一大把。本次安装的版
一枚迷茫的小码农
·
2017-07-18 18:26
java
安装hadoop-
2.6.5
,zookeeper-3.4.9,hbase-1.2.4,sqoop-1.99.7,snappy压缩配置
1.配置hostvi/etc/hostsIP0masterIP1slave01IP2slave02验证要能互相按照域名ping通2.增加hadoop用户(首先配置mater机器)useraddhadoop(创建用户)passwdhadoop(设置密码,为简单起见,3台机器上的hadoop密码最好设置成一样,比如hadoop123)为了方便,建议将hadoop加入root用户组,操作方法:先以roo
laborwork
·
2017-07-04 16:39
Hadoop
swagger2+SpringMVC
io.springfoxspringfox-swagger22.4.0io.springfoxspringfox-swagger-ui2.4.0com.fasterxml.jackson.corejackson-core
2.6.5
com.fasterxml.jackson.corejackson-databind
2.6.5
com.fasterxml.jackson
jilin
·
2017-06-19 16:00
swagger
hadoop
2.6.5
HDFS的高可用集群搭建
1.先来看一下要搭建hadoop集群的HDFSHA结构图2.要配置的HDFS节点分布图从分布图上可以看到,节点1和节点2作为namenode,节点2、3、4作为datanode,节点2、3、4作为Zookeeper,节点1和2作为ZKFC,节点1、2、3作为JournalNode。3.准备4台Server4.配置Zookeeper1)下载Zookerper的jar包,下载链接如下:http://d
yekanghui
·
2017-06-02 00:59
hadoop
2.6.5
配置HDFS并运行
1.先来看一下定义的节点功能2.设置namenode登录datanode的免密登录在namenode执行:$ssh-keygen-tdsa-P”-f~/.ssh/id_dsa$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys3.在所有的datanode节点都执行:$ssh-keygen-tdsa-P”-f~/.ssh/id_dsa$cat~/.ssh/id_
yekanghui
·
2017-05-31 18:27
hadoop
linux中hive安装和部署详解
一.前期准备1.1hadoop版本:Hadoop
2.6.5
安装:http://blog.csdn.net/a123demi/article/details/706529591.2mysql版本:5.6.33MySQLCommunityServer
IT狗探求
·
2017-05-25 19:49
Linux
大数据
大数据专题
linux集成 kafka数据通过flume发送到hadoop
一.前期准备1.1hadoop安装版本:Hadoop
2.6.5
安装:linuxhadoop完全分布式集群搭建图文详解1.2zookeeper安装版本:zookeeper-3.
IT狗探求
·
2017-05-23 16:23
Linux
大数据
大数据专题
搭建Hadoop集群
第一步,去apache官网下载Hadoop包,版本号为:
2.6.5
http://hadoop.apache.org/releases.html第二步:修改配置文件1、修改hadoop-env.shexportJAVA_HOME
xiaotutu365
·
2017-05-20 17:00
hadoop HA集群搭建(red hat)
设置一个管理的账号(master),密码(hadoop)hadoop的版本是(
2.6.5
)2、静态ip的设置[master@node1~]$[master@nod
shursulei
·
2017-04-30 18:00
hadoop
集群
red
hat
生产环境实战spark (9)分布式集群 5台设备 SPARK集群安装
生产环境实战spark(9)分布式集群5台设备SPARK集群安装1,上传spark到master,检查[root@masterrhzf_spark_setupTools]#lshadoop-
2.6.5
.
段智华
·
2017-04-25 15:33
生产实战spark
linux spark分布式集群搭建图文详解
spark包本文使用版本spark-1.6.2-bin-hadoop2.6.tgz1.2配置jdkjdk1.7:linuxjdk安装和配置scala2.10.6:linuxscala安装和配置hadoop-
2.6.5
IT狗探求
·
2017-04-24 19:33
Linux
大数据
大数据专题
linux hadoop完全分布式集群搭建图文详解
一.前期准备1.1Win7官网下载hadoop包本文使用版本hadoop-
2.6.5
.tar.gz1.2配置jdkjdk1.7:linuxjdk安装和配置1.3centos7集群服务器主机名系统IP地址
IT狗探求
·
2017-04-24 19:09
Linux
大数据
大数据专题
生产环境实战spark (7)分布式集群 5台设备 Hadoop集群安装
下载地址:http://hadoop.apache.org/releases.html下载版本:hadoop
2.6.5
版本hadoop2.6.x版本比较稳定2,使用winscp工具上传到master节点
段智华
·
2017-04-19 10:41
生产实战spark
Spark On YARN 集群安装部署
软件环境Ubuntu16.04LTSHadoop:
2.6.5
Spark:1.3.00写在前面本例中的演示均为非root权限,所以有些命令行需要加sudo,如果你是root身份运行,请忽略sudo。
陈_Sir
·
2017-03-26 11:31
2.Hbase集群的搭建
基于前边hadoop
2.6.5
集群上搭建的Hbase集群hbase版本为1.2.41.上传hbase安装包2.解压3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了)3.1修改conf下的
dream0352
·
2017-03-03 13:50
hbase
[Hadoop基础]-- web hdfs端口50075和httpfs端口14000的使用
documentation/enterprise/latest/topics/cdh_ig_ports_cdh5.htmlHadoop官方介绍webhdfs:http://hadoop.apache.org/docs/r
2.6.5
highfei2011
·
2017-02-23 10:35
Hadoop
Hive扩展功能(九)--Hive的行级更新操作(Update)
软件环境:linux系统:CentOS6.7Hadoop版本:
2.6.5
zookeeper版本:3.4.8主机配置:一共m1,m2,m3这三部机,每部主机的用户名都为centos192.168.179.201
咸鱼翻身记
·
2017-02-21 12:03
技术博客
Hive扩展功能(六)--HPL/SQL(可使用存储过程)
软件环境:linux系统:CentOS6.7Hadoop版本:
2.6.5
zookeeper版本:3.4.8主机配置:一共m1,m2,m3这五部机,每部主机的用户名都为centos192.168.179.201
咸鱼翻身记
·
2017-02-21 11:34
hive
扩展功能
存储过程
HPL-SQL
云计算
技术博客
Spark on Yarn集群高可用搭建
软件环境:linux系统:CentOS6.7 Hadoop版本:
2.6.5
zookeeper版本:3.4.8主机配置:一共m1,m2,m3这五部机,每部主机的用户名都为centos192.168.179.201
asd315861547
·
2017-02-21 09:00
spark
高可用
大数据
云计算
yarn
Hive扩展功能(二)--HWI接口
软件环境:linux系统:CentOS6.7Hadoop版本:
2.6.5
zookeeper版本:3.4.8主机配置:一共m1,m2,m3这三部机,每部主机的用户名都为centos192.168.179.201
咸鱼翻身记
·
2017-02-15 17:33
建立伪分布式hbase集群
hbase目前版本支持hadoop2.6.1+版本,不支持2.7.0,因此,这次下载最新的
2.6.5
版本几个配置
lyallchan
·
2017-02-02 13:55
hadoop集群环境部署
一、hadoop集群环境部署:(服务器已经搭建好java环境)1、准备材料:(1)服务器(2)hadoop-
2.6.5
.tar.gz2、修改服务器主机名,并在hosts文件中添加如下内容:1.9.6.1dataNode21.9.6.2dataNode11.9.6.4nameNode13
跳舞的猪
·
2017-01-06 17:14
hadoop
Hadoop
2.6.5
高可用集群搭建
软件环境:linux系统:CentOS6.7Hadoop版本:
2.6.5
zookeeper版本:3.4.8主机配置:一共m1,m2,m3这五部机,每部主机的用户名都为centos192.168.179.201
咸鱼翻身记
·
2016-12-26 20:48
hbase协处理器编码实例
本文是以上两者的简单实例,使用的环境:环境jdk1.8hadoop
2.6.5
hbase1.2.4。1、Endpoint实例1>编写适用于prot
learn21cn
·
2016-12-23 02:00
hbase集群安装与部署
1、相关环境centos7hadoop
2.6.5
zookeeper3.4.9jdk1.8hbase1.2.4本篇文章仅涉及hbase集群的搭建,关于hadoop与zookeeper的相关部署参见上篇文章
learn21cn
·
2016-12-19 06:00
zookeeper集群的搭建以及hadoop ha的相关配置
1、环境centos7hadoop
2.6.5
zookeeper3.4.9jdk1.8master作为active主机,data1作为standby备用机,三台机器均作为数据节点,yarn资源管理器在master
learn21cn
·
2016-12-15 19:00
Spark 读取Hbase表数据并实现类似groupByKey操作
一、概述程序运行环境很重要,本次测试基于:hadoop-
2.6.5
spark-1.6.2hbase-1.2.4zookeeper-3.4.6jdk-1.8废话不多说了,直接上需求Andycolumn=baseINFO
CaramelLatte
·
2016-12-13 18:05
spark
hbase
Ubuntu搭建Hadoop
2.6.5
(伪分布式)
最好不要以root用户进行配置,配置时注意文件的所有用户!!1.安装jdk此步略过,可参考我发布的另一篇文章2.下载hadoop2.6hadoop2.6下载地址3.配置环境变量输入vim/etc/profile命令可打开profile文件(若使用的界面版本可在目录中直接打开此文件)在文件末尾加入以下信息(命令中不要自行加入空格,否则没法使用)exportJAVA_HOME=/usr/lib/jvm
DogeAndCat
·
2016-12-12 23:03
学习随记
Hbase-1.2.4 javaAPI实现简单的类CRUD操作
我们直接研究代码作为Hbase最新stable版,Hbase内部引入的部分hadoop2.5系列的jar包,这里且暂不去理会它,但是Java环境必须要8以上,我的正确运行环境为:Centos-6.5hadoop-
2.6.5
Hbase
CaramelLatte
·
2016-12-06 17:51
Hbase
一个典型的MapRuduce实例------webcount(网站统计访客信息)
统计某一特定网站的某个时辰访客人数所用版本:hadoop
2.6.5
数据样式如下:111.111.111.111--[16/Dec/2012:05:32:50-0500]"GET/HTTP/1.1"20014791
learn21cn
·
2016-12-05 01:00
Hadoop的学习--安装配置与使用
安装配置系统:Ubuntu14.04java:1.7.0_75相关资料官网下载地址官网文档安装我们需要关闭掉防火墙,命令如下:sudoufwdisable下载
2.6.5
的版本,将下载的Hadooop的压缩包解压到相应的目录
疯狂的原始人
·
2016-11-26 15:00
linux配置静态IP后ping外网不通的解决方案
原文链接:http://www.cnblogs.com/litiammmm/p/6098997.html设备环境:openSUSE
2.6.5
-7.191配置说明:原先的opensuse系统是通过自动获取
weixin_30407099
·
2016-11-23 18:00
基于centos6的Hadoop
2.6.5
准备与安装
下载需要用到的包下载hadoop的binary包wgethttp://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-
2.6.5
/hadoop
神男鲁班
·
2016-10-28 17:44
大数据
02Canvas
【canvas】《
2.6.5
面向对象基础复习补充:》创建对象的方式:*varo={name:'123',age:18};//json方式创建*varo=newObject();//通过new的方式创建*
夜幕小草
·
2016-10-22 12:25
UNITY多语言化的工具I2 Localization使用资料分享(一)
I2Localization官方网站工具下载I2Localization
2.6.5
解压后,得到文件夹I2,打开文件下如下图所示把这个文件夹I2拖入到你的UNITY工程文件夹Assets里面这个I2Languages.prefab
q382767
·
2016-09-28 16:19
unity资料
基于CentOS 6.8平台最新源代码包编译安装LNMP环境搭建(Nginx+MySQL+PHP)
部署环境系统:CentOS6.8x86_64Nginx:1.11.3MySQL:5.7.14PHP:7.0.10pcre:8.39zlib:1.2.8openssl:1.0.1tfreetype:
2.6.5
libmcrypt
zjcnew
·
2016-09-04 00:22
mysql
nginx
lnmp
上一页
8
9
10
11
12
13
14
15
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他