E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop大数据
hadoop大数据
平台手动搭建(二)-hadoop
1.下载列表:winow和linux之间文件上传下载FileZillajdk-7u79-linux-x64.tar.gzapache-maven-3.3.9-bin.tar.gzhadoop-2.6.0-cdh5.8.0.tar.gzhadoop-native-64-2.6.0.tarhbase-1.2.0-cdh5.8.0.tar.gzhive-1.1.0-cdh5.8.0.tar.gzhue-
从未停下脚步
·
2017-03-31 14:07
hadoop
CDH
hadoop大数据
平台手动搭建(一)-ssh,ntp
Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理。既然是一个框架,围绕hadoop的周边产品非常的多。对于各中版本与hadoop是否兼容等,增加的安装复杂度。所以我选择CDH。由于cloudera开发了一个manager工具。用于集群自动化安装,部署,监控。我手动安装主要是熟悉环境,解决错误。理解原理。1.下载VMware12.5.2
从未停下脚步
·
2017-03-31 14:59
hadoop
hadoop大数据
平台手动搭建-hue
阅读更多1.解压tar-zxvf/opt/hue-3.9.0-cdh5.8.0.tar.gz2.编译安装makeapssmakeinstall3.修改hue.ini#Hueconfigurationfile#===================================##Forcompletedocumentationaboutthecontentsofthisfile,run#$/bu
feilong2483
·
2017-03-27 16:00
hadoop
hue
hadoop大数据
平台手动搭建-spark
阅读更多Spark是专为大规模数据处理而设计的快速通用的计算引擎。拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。由于spark使用依赖scala.所以一起安装。1.解压文件tar-zxvf/opt/spark-1.6.0-
feilong2483
·
2017-03-23 22:00
hadoop大数据
平台手动搭建-sqoop
阅读更多sqoop主要是在关系型数据库与hadoop交互数据。作为hadoop的客户端工具。可安装在任一节点上,我安装在master上的。1.tar-zxvf/opt/sqoop-1.4.6-cdh5.8.0.tar.gz2.修改环境变量vi/etc/profile加入:exportSQOOP_HOME=/opt/sqoop-1.4.6-cdh5.8.0exportPATH=$PATH:$SQOO
feilong2483
·
2017-03-23 15:00
sqoop
hadoop大数据
平台手动搭建-sqoop
阅读更多sqoop主要是在关系型数据库与hadoop交互数据。作为hadoop的客户端工具。可安装在任一节点上,我安装在master上的。1.tar-zxvf/opt/sqoop-1.4.6-cdh5.8.0.tar.gz2.修改环境变量vi/etc/profile加入:exportSQOOP_HOME=/opt/sqoop-1.4.6-cdh5.8.0exportPATH=$PATH:$SQOO
feilong2483
·
2017-03-23 15:00
sqoop
hadoop大数据
平台手动搭建-hbase
hbase也是基于HDFS的.本节还是安装完全分布模式。由于各个节点时间误差太多,hbase启动会失败。所以先前已经安装了NTP时间同步服务。跟hive一样将/opt/hbase-1.2.0-cdh5.8.0.tar.gz解压tar-zxvfhbase-1.2.0-cdh5.8.0.tar.gz1.修改hbase-1.2.0-cdh5.8.0\conf下的hbase_env.sh添加如下配置exp
iteye_12854
·
2017-03-22 22:55
hbase
hadoop大数据
平台手动搭建-hbase
阅读更多hbase也是基于HDFS的.本节还是安装完全分布模式。由于各个节点时间误差太多,hbase启动会失败。所以先前已经安装了NTP时间同步服务。跟hive一样将/opt/hbase-1.2.0-cdh5.8.0.tar.gz解压tar-zxvfhbase-1.2.0-cdh5.8.0.tar.gz1.修改hbase-1.2.0-cdh5.8.0\conf下的hbase_env.sh添加如下配
feilong2483
·
2017-03-22 22:00
hadoop大数据
平台手动搭建-hive
阅读更多hive的安装。hive只是作为hadoop客户端,我安装在master节点上。1.安装元数据库。默认的数据库为Derby.生产中我们通常用其他数据库。因Derby只支持同时一个用户访问Hive.下面用mysql来存储元数据。yuminstallmysqlyuminstallmysql-serveryuminstallmysql-devel查看mysql状态,启动停止servicemysq
feilong2483
·
2017-03-22 21:00
hadoop
hive
(第6篇)大数据发展背后的强力推手——HBase分布式存储系统
原文链接:https://my.oschina.net/ijj/blog/864647分享一套今年最新
Hadoop大数据
教程和100道
Hadoop大数据
必会面试题。
chitan2235
·
2017-03-22 13:00
hadoop大数据
平台手动搭建-hadoop
阅读更多1.下载列表:winow和linux之间文件上传下载FileZillajdk-7u79-linux-x64.tar.gzapache-maven-3.3.9-bin.tar.gzhadoop-2.6.0-cdh5.8.0.tar.gzhadoop-native-64-2.6.0.tarhbase-1.2.0-cdh5.8.0.tar.gzhive-1.1.0-cdh5.8.0.tar.gz
feilong2483
·
2017-03-21 21:00
hadoop
CDH
hadoop大数据
平台手动搭建-ssh,ntp
阅读更多Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理。既然是一个框架,围绕hadoop的周边产品非常的多。对于各中版本与hadoop是否兼容等,增加的安装复杂度。所以我选择CDH。由于cloudera开发了一个manager工具。用于集群自动化安装,部署,监控。我手动安装主要是熟悉环境,解决错误。理解原理。1.下载VMware12
feilong2483
·
2017-03-21 15:00
ssh
ntp
Hadoop大数据
系列二- HDFS简介
设计目标及假设1、HardwareFailure2、StreamingDataAccess(适用于批处理场景,不适用于交互场景)3、LargeDataSets4、SimpleCoherencyModel(数据不可修改)5、MovingComputationisCheaperthanMovingData整体架构基本组件1、NameNode:maintainsthefilesystemnamespac
adasfasfasrry
·
2017-03-05 20:36
基于Apache Ambari搭建
Hadoop大数据
平台
基于ApacheAmbari搭建
Hadoop大数据
平台作者:雨水/家辉日期:2017年2月28日CSDN博客:http://blog.csdn.net/gobitan摘要:对于大数据的初学者来说,搭建一个
gobitan
·
2017-02-28 23:58
Ambari快速部署
Hadoop大数据
环境
Ambari是什么Ambari跟Hadoop等开源软件一样,也是ApacheSoftwareFoundation中的一个项目,并且是顶级项目。就Ambari的作用来说,就是创建、管理、监视Hadoop的集群,但是这里的Hadoop是广义,指的是Hadoop整个生态圈(例如Hive,Hbase,Sqoop,Zookeeper等),而并不仅是特指Hadoop。用一句话来说,Ambari就是为了让Had
陌小铠
·
2017-02-27 11:01
HDP和CDH
Ambari快速部署
Hadoop大数据
环境
Ambari是什么Ambari跟Hadoop等开源软件一样,也是ApacheSoftwareFoundation中的一个项目,并且是顶级项目。就Ambari的作用来说,就是创建、管理、监视Hadoop的集群,但是这里的Hadoop是广义,指的是Hadoop整个生态圈(例如Hive,Hbase,Sqoop,Zookeeper等),而并不仅是特指Hadoop。用一句话来说,Ambari就是为了让Had
cy309173854
·
2017-02-27 11:00
hadoop
大数据
Ambari-HDP
Hadoop大数据
系列之一---Hadoop架构原理分析
1.单节点体系2.集群结构分析3.HDFS架构分析Hadoop分布式文件系统;按需定制MapReduce;》大数据量(纯文本)目标在于多次的文件流读取;》优势在于一次写入,多次读取写入成本很高;高度数据冗余(副本,默认3);每个节点不需要RAID-独立磁盘冗余阵列:redundantarrayofindependentdisks;Blocksize较大(128m);定制节点的位置感知;4.NN和D
hehuanlin123
·
2017-02-26 17:47
大数据
赵强老师免费公开课第一季:Hadoop的背景起源
标签:免费直播课
Hadoop大数据
赵强原创作品,允许转载,转载时请务必以超链接形式标明文章原始出处、作者信息和本声明。否则将追究法律责任。
collen7788
·
2017-02-14 14:06
免费
Hadoop
公开课
Hadoop大数据
赵强老师免费公开课招募啦~~~~
Hadoop大数据
公开课招募啦~~~赵强老师免费公开课l时间:2017年03月14号晚19:30-21:00n19:30-20:30讲述Hadoop的背景知识,包括:大数据背景、数据仓库、Hadoop的思想来源
51CTO学院
·
2017-02-14 11:35
Hadoop
大数据
免费直播课
活动
5年内
Hadoop大数据
分析市场产值将超500亿美元
根据MarketsandMarkets最新发布的一份市场研究报告声称,
Hadoop大数据
市场产值预计会从2016年的67.1亿美元猛增至2021年的406.9亿美元,2016年至2021年的年复合增长率
数控小J
·
2017-02-09 15:40
数据分析
数据可视化
大数据第一季--java基础(day27)-徐培成-专题视频课程
讲师介绍徐培成更多讲师课程IT十八掌创始人兼首席大数据开发技术金牌讲师,曾任驿统金(上海)网络技术有限公司总经理,主导与光大银行总行重点合作的阳光驿站金融结算系统的研发,并指导团队在阿里公有云上规划、部署
Hadoop
十八掌教育
·
2017-01-22 08:13
视频教程
大数据
java
Java
编程语言/框架
应用技术瓶颈之数据库读写分离解决方案
我所认知的一个项目由于时间跟业务的爆发都会遇到两个最大的技术瓶颈挑战:1、数据库端的压力瓶颈,以前再华为hwa项目组搞
hadoop大数据
时我就清晰的知道,项目都会因为时间的积累导致堆积的数据越来越多,而数据库没有进行处理会导致数据一直物理存储着
半个鼠标
·
2017-01-22 00:17
架构认知
第94课:Hive性能调优之Mapper和Reducer设置、队列设置和并行执行、JVM重用和动态分区、Join调优等
因为
Hadoop大数据
生态系统上面会运行很多作业,为了更好的管理资源限制的要求Hadoop提出了队列,队列就是不同类型资源分配和使用的标签。
aijiudu
·
2016-12-10 18:57
Hive
第三节 阿里云下Hadoop分布式集群安装
【
Hadoop大数据
基础】##第三节Hadoop分布式集群安装3.1环境准备3.2服务器规划3.3tar上传服务器和解压情况3.4修改profile文件3.5SHH免签设置3.6hosts文件修改3.7
小张哥哥
·
2016-11-09 18:06
Trafodion 架构简介
介绍Trafodion提供基于Hadoop之上的一个SQL引擎,一个可以在
Hadoop大数据
环境中进行操作的解决方案。
post_yuan
·
2016-10-26 11:01
Hadoop 2.X 从入门到精通系列视频课程套餐
//edu.51cto.com/pack/view/id-806.html赵强老师博客地址:http://collen7788.blog.51cto.com/Avro是一个通用的序列化数据结构形式,在
Hadoop
collen7788
·
2016-08-07 13:28
Hadoop
Hive
大数据
SQL on Hadoop技术分析(一)
对SQL(尤其是PL/SQL)的支持一直是
Hadoop大数据
平台在替代旧数据时代亟待解决的问题。
jiezhu2007
·
2016-07-28 13:00
SQL on Hadoop技术分析(一)
对SQL(尤其是PL/SQL)的支持一直是
Hadoop大数据
平台在替代旧数据时代亟待解决的问题。
jiezhu2007
·
2016-07-28 13:00
SQL on Hadoop技术分析(一)
对SQL(尤其是PL/SQL)的支持一直是
Hadoop大数据
平台在替代旧数据时代亟待解决的问题。
jiezhu2007
·
2016-07-28 13:00
使用Ambari快速部署
Hadoop大数据
环境
前言做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文着重来讲解下Ambari,这个新的Apache的项目,旨在让大家能够方便快速的配置和部署Hadoop生态圈相关的组件的环境,并提供维护和监控的功能.作为新手,我讲讲我自己的学习经历,刚刚开始学习的时候,当然最简单的Google下Hadoop,然后下载相关的包,在自己的虚拟机(CentOS6.3)上安装
English0523
·
2016-06-29 14:00
Hadoop 调研笔记
Hadoop大数据
技术;2. Oracle(数据仓库)+BI; 本文仅介绍hadoop的技术要应用特征。 Hadoop基本介绍hadoop是一个平台,是一个适合大数据的分布式存储和计算的平台。
钢钢
·
2016-06-13 14:00
北京上海广州Cloudera
Hadoop大数据
:CCAH(管理员)、CCA(Spark and Hadoop)、HBase
上海5月21-24日ClouderaAaminisrratorTrainingforApacheHadoop(CCAH)广州6月1-3日ClouderaTrainingforApacheHbase广州6月18-21日ClouderaDevelopertrainingforSparkandHadoop(CCA-175)上海6月27-30日ClouderaDevelopertrainingforSpa
IRENEN2007
·
2016-05-18 14:42
hadoop
培训
Cloudera
开始学习Hadoop
对于我们新手入门学习
hadoop大数据
存储的朋友来说,首先了解一下云计算和云计算技术是有必要的。
kuchensheng
·
2016-05-16 12:19
hadoop
入门
学习
云计算
[置顶]
HADOOP大数据
离线分析+实时分析框架;Hadoop+Flume+Kafka+Storm+Hive+Sqoop+mysql/oracle
在接下来的日子里将会重新开始笔记复习。框架将会一步一步安装部署直到完成。hadoop集群搭建部署Zookeeper分布式集群部署HIVE安装部署与操作
qq_26840065
·
2016-05-10 09:00
Hadoop源码分析下载、最新最全资料分享
apache_hadoop源码,下载:http://archive.apache.org/dist/Hadoop工具下载:http://hadoop.apache.org/
Hadoop大数据
最新最全资料下载地址
fanyun_01
·
2016-05-05 14:00
大数据
我的
hadoop大数据
之路(四)
今天继续hadoop的讲解。只不过目前我的集群做了些改变,以下是我的hadoop新的集群的机器及ip地址:机器名ip地址sun192.168.152.3moon192.168.152.4jupiter192.168.152.5neptune192.168.152.6上次讲到了集群的环境和配置文件已经配置完毕,那么现在我们开始启动集群。启动集群的方式大体来讲分为三种:一种是全体启动(最省事,hdfs
qq_23660243
·
2016-05-03 23:00
大数据
hdfs
yarn
相似度计算方法
相似度计算方法发表于1年前(2014-12-0209:47) 阅读(70) | 评论(0) 2人收藏此文章, 我要收藏赞0在刘军编写的《
Hadoop大数据
处理》截了两张图:
Real_Myth
·
2016-04-25 09:00
Hadoop源码分析下载、最新最全资料分享
apache_hadoop源码,下载:http://archive.apache.org/dist/Hadoop工具下载:http://hadoop.apache.org/
Hadoop大数据
最新最全资料下载地址
fanyun_01
·
2016-04-24 08:00
大数据
我的
hadoop大数据
之路(三)
最近忙的太厉害,一直没有时间总结一下,明天休息,所以感觉是时候来一发了。这里继续hadoop的历程。本次详细讲解一下hadoop的集群模式。上次运行的是在单机的单节点情况下进行的,也就是所谓的为分布式,我的本地环境简介如下(前面是主机名,后面是ip地址,我配的是静态的,怎么配此处不做过多简介):sun192.168.152.1jupiter192.168.152.3moon192.168.152.
qq_23660243
·
2016-04-15 22:00
hadoop
大数据
Hadoop源码分析下载、最新最全资料分享
apache_hadoop源码,下载:http://archive.apache.org/dist/Hadoop工具下载:http://hadoop.apache.org/
Hadoop大数据
最新最全资料下载地址
fanyun_01
·
2016-04-14 13:00
大数据
001.自我学习-IT技术学习
1.吴超:
Hadoop大数据
相关 2.陈超:Spark 3.传智播客:JAVA-Net-C-C++-php 4.燕十八:php-MySQL 5.杨尚川:JAVA爬虫分词 6.奇猫学堂:Python 7.
江中炼
·
2016-04-13 20:00
自我学习-IT技术学习
Hadoop源码分析下载、最新最全资料分享
apache_hadoop源码,下载:http://archive.apache.org/dist/Hadoop工具下载:http://hadoop.apache.org/
Hadoop大数据
最新最全资料下载地址
fanyun_01
·
2016-03-30 15:00
hadoop
Hadoop源码分析下载、最新最全资料分享
apache_hadoop源码,下载:http://archive.apache.org/dist/Hadoop工具下载:http://hadoop.apache.org/
Hadoop大数据
最新最全资料下载地址
fanyun_01
·
2016-03-25 13:00
大数据
Hadoop源码分析下载、最新最全资料分享
apache_hadoop源码,下载:http://archive.apache.org/dist/Hadoop工具下载:http://hadoop.apache.org/
Hadoop大数据
最新最全资料下载地址
fanyun_01
·
2016-03-24 09:00
大数据
Hadoop源码分析
apache_hadoop源码,下载:http://archive.apache.org/dist/Hadoop工具下载:http://hadoop.apache.org/
Hadoop大数据
最新最全资料下载地址
fanyun_01
·
2016-03-21 14:00
hadoop
Java 分布式-思考如果构建分布式系统架构
dubbo.io/Home-zh.htmhttp://dubbo.io/Administrator+Guide-zh.htm(2)Codies/Redisnosql数据存储实现http://redis.io/(3)
Hadoop
蚂蚁也疯狂
·
2016-03-08 22:00
上海Cloudera
Hadoop大数据
培训:CCAH、CCP:DE
北京、上海、广州长期开班3月上海开班时间:管理员(3月1-4日);开发者(3月23-26日)【其他课程安排请咨询】15000519329(陈老师)Cloudera大数据478790619课程内容:【ClouderaApacheHadoop管理员课程】 课时:4天 学习系统管理的概念和ApacheHadoop的最佳实践, 从安装和配置到负载均衡和调优。 这个4天的的课程通过动手时间来
ClouderaHadoop
·
2016-02-23 16:00
hadoop
大数据
培训
Cloudera
上海Cloudera
Hadoop大数据
培训:CCAH、CCP:DE
上海Cloudera
Hadoop大数据
培训:CCAH、CCP:DE北京、上海、广州长期开班3月上海开班时间:管理员(3月1-4日);开发者(3月23-26日)【其他课程安排请咨询】15000519329
IRENEN2007
·
2016-02-23 16:52
工作原理
开发者
北京
管理员
上海
linux高薪在直播课程第三期2016年7月开课
http://edu.51cto.com/px/train/77http://edu.51cto.com/training/training_id-23.html(本课程更新90%以上,增加
hadoop
老男孩oldboy
·
2016-02-02 19:49
linux
python
老男孩教育
培训
笔者带你剖析分布式应用协调服务——Zookeeper
《笔者带你剖析分布式应用协调服务——Zookeeper》 前言
Hadoop大数据
平台发展的如火如荼,除此之外,Hbase、Dubbo的风光更离不开这位诚恳的幕后工作者Zookeeper。
gao_xianglong
·
2016-02-01 10:59
上一页
9
10
11
12
13
14
15
16
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他