Hadoop2

九、Linux 上搭建 Spark 集群

www.cnblogs.com/codingexperience/p/5333202.html解压、配置环境变量、使生效exportSPARK_HOME=/home/hadoop/spark-2.4.5-bin-hadoop2.7exportPATH
且将新火·2020-06-10 14:00

hdfs入门学习

由很多服务器联合起来实现其功能，集群中的服务器有各自的角色；重要特性如下：（1）HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2
鄙人不善奔跑0·2020-06-02 10:49

Hadoop 安装（详细步骤）

cdh5.14.2.tar.gz解压安装包至软件目录（最好更名，以便之后方便配置文件）tar-zxfhadoop-2.6.0-cdh5.14.2.tar.gzmvhadoop-2.6.0-cdh5.14.2soft/hadoop260
姑苏过客·2020-06-01 15:21

Hadoop安装，HBase安装和常用命令使用

我这里用的是Hadoop2.6Zookeeper-3.4.*以上。
work hard work smart·2020-05-30 15:00

基于Hadoop不同版本搭建hive集群（附配置文件）

本教程采用了两种方案一种是hive-1.21版本,hadoop版本为hadoop2.6.5还有一种是主要讲基于hadoop3.xhive的搭建关注公众号：Java架构师联盟，每日更新技术好文先来第一种一
马小邱·2020-05-29 01:27

（补）HBase standalone安装

1.上传解压hbase安装包，并配置环境变量[root@node01software]#tar-zxvfhbase-0.98.12.1-hadoop2-bin.tar.gz-C/opt/ycyz/2.修改
yc_yz·2020-05-28 20:34

（十五）Spark 集群搭建

MasterWorkerClientNode01✓Node02✓Node03✓Node04✓1.解压spark-2.3.1-bin-hadoop2.6.tgz[root@node01software]#
yc_yz·2020-05-27 21:02

Spark云化架构演进的实践和探索

常见术语Kubernetes：K8s，是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化Yarn：hadoop2.0引入的集群资源管理系统。
SeanKChan·2020-05-27 18:06

sqoop密码明文问题解决

一、简介Hadoop2.6.0之后的版本提供了一个API用于将密码存储和应用程序分离。这个API被称为凭证提供
叁木-Neil·2020-05-26 21:08

（九）HBase完全分布式搭建

MasterBackupMasterRegionServerNODE01✓✓NODE02✓NODE03✓NODE04✓1.上传并解压hbase安装包，配置环境变量[root@node01software]#tar-zxvfhbase-0.98.12.1-hadoop2
yc_yz·2020-05-19 15:20

hadoop2.x全分布式集群搭建（一主二从）

推荐大家看完上一篇伪分布搭建，在上一篇中，基础条件都有详细配置过程，本次全分布式搭建只是在伪分布的基础上有所加深。相较于伪分布，多了以下内容第一步：添加主机名与IP映射（每个节点都要配置）vi/etc/hosts，增加以下内容：192.168.154.110master192.168.154.111slvae1192.168.154.112slave2第二步：主从节点免密登陆在每个用户的家目录下的
孙晨c·2020-05-17 20:00

Hadoop2.x伪分布式集群搭建

第一步：配置网络（静态IP）vi/etc/sysconfig/network-scripts/ifcfg-ens33（网卡名称可能不同）修改：将该配置文件中的ONBOOT=no修改为yes（网络开机自启）将BOOTPROTO=dhcp修改为static（将ip设置为静态ip）为了能够通过外部访问到虚拟机，增加：IPADDR=192.168.154.110（110是自己设置的，154是VMnet8的
孙晨c·2020-05-17 20:00

使用IDEA远程向伪分布式搭建的Hadoop提交MapReduce作业

VirtualBox6.1IntelliJIDEA2020.1.1Ubuntu-18.04.4-live-server-amd64jdk-8u251-linux-x64hadoop-2.7.7安装伪分布式Hadoop安装伪分布式参考：Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0
harrylyx·2020-05-14 15:00

真香！PySpark整合Apache Hudi实战

Spark-2.x版本，你可以点击如下链接安装Spark，并使用pyspark启动#pysparkexportPYSPARK_PYTHON=$(whichpython3)spark-2.4.4-bin-hadoop2.7
leesf·2020-05-10 16:00

Jupyter配置教程

将jupyternotebook作为pyspark的默认编辑器安装pyspark通过拷贝pyspark包安装源目录：D:\software\spark-2.2.0-bin-hadoop2.6\python
一只特立独行的猪1991·2020-05-10 15:59

Centos7下搭建Hadoop2.6完全分布式环境

一、下载Hadoop包和JDK1、下载Hadoop地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz2、下载jdk：链接：https://pan.baidu.com/s/1lbu7eBEtgjeGIi2bWthLnA提取码：0j0j二、准备虚拟机1、在VMware中创建新的虚拟机（Cen
yaosutu0470·2020-05-02 09:27

Spark小实例——求文件中的最大值和最小值（IDEA实现）

Spark小实例——求文件中的最大值和最小值（IDEA实现）1、所需软件IDEA开发工具HDFS分布式文件系统（可选项）spark-2.1.1-bin-hadoop2.7（版本可自选）2、所需文件（自定义数据即可
wx5da03a3bd2999·2020-04-27 18:14

Flink安装及使用

本地部署安装在官网安装Flink，并解压到/usr/local/flinksudotar-zxfflink-1.6.2-bin-hadoop27-scala_2.11.tgz-C/usr/localcd
zealscott·2020-04-21 19:41

Spark安装教程

下载spark-2.2.0-bin-hadoop2.6.tgz解压目录：D:\software\spark-2.2.0-bin-hadoop2.6配置环境变量新建SPARK_HOME：D:\software
一只特立独行的猪1991·2020-04-20 10:08

最详细的Hadoop安装教程

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通
大火yzs·2020-04-15 13:05

hadoop2.9.2集群搭建

0.搭建前准备(1)Linux环境，本文以Ubuntu16.04为例（VMware中虚拟出的环境），并且以及做了ssh免密登录、主机名-ip映射以及固定ip操作(2)Hadoop2.9.2程序包(3)JDK1.8
小王_min·2020-04-14 22:34

Alluxio后端存储（HDFS）

版本Alluxio：alluxio-1.3.0-hadoop2.7HDFS：2.7.1配置创建alluxio-site.properties文件cp-aalluxio-site.properties.templatealluxio-site.properties
puroc·2020-04-14 08:34

hadoop学习笔记（一）

一、HDFS简介1.1Hadoop2介绍hadoop1是由HDFS和MapReduce组成，hadoop2由HDFS、YARN、MapReduce和其他的计算框架组成。
ahzhaojj·2020-04-14 02:59

pinot + gobblin

hadoop2.7.1kafka1.启动bin/kafka-server-start.shconfig/server.properties&2.创建topicbin/kafka-topics.sh--zookeeperlocalhost
曹振华·2020-04-12 16:53

CentOS7+hadoop2.6.5单节点配置

环境目录[sam@sam01~]$vi.bash_profileexportJAVA_HOME=$HOME/tools/jdk1.7.0_80exportCLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportHADOOP_HOME=$HOME/tools/hadoop-2.6.5exportHADOOP_CONF_DIR=$HO
SamHxm·2020-04-12 16:17

Hadoop 2.7.6 安装

2.7.6/hadoop-2.7.6.tar.gz#解压tarzxvfhadoop-2.7.6.tar.gz#建立软连接方便以后更换hadoop的版本避免重新更改环境变量ln-shadoop-2.7.6hadoop2
范正辰·2020-04-11 19:44

HDFS的理解

1.hadoop2.0以上的版本都是的默认的快大小是128MBimage.pngimage.png2.存在dfs上面的文件其实都存放在了linux的文件系统只是，我们可以从linux的文件系统上面找到image.png3
zhaozhengcoder·2020-04-11 15:14

<转载>HDFS伪分布式及全分布式的搭建

新建一个虚拟机hadoop1为主站，分别克隆名为hadoop2、hadoop3、hadoo
有七段变化·2020-04-11 13:17

Mac下Hadoop的安装和启动

环境条件JDK1.8Hadoop2.7.5macosHadoop部署步骤第一步安装JDK因为Hadoop是java写的开源框架，所以必须建立在Java的运行环境上。
zzjmay·2020-04-11 09:14

Shell变量子串介绍

beifeng@hadoop1-senioryanls]$parameter="ILoveHadoop"[beifeng@hadoop1-senioryanls]$echo"${parameter}"ILoveHadoop2
独行者独行者·2020-04-11 01:15

Hadoop2x的体系架构

DataNodeNameNode:（a）负责接受客户端的请求（b）负责元信息的维护（c）HDFS的管理员DataNode：（a）保存数据（b）block数据块：hadoop1.x的block是64M；hadoop2
陈超Terry的技术屋·2020-04-09 08:10

CentOS7下搭建Hadoop2.7.3集群

介绍安装并配置Hadoop集群集群修改hosts信息#vi/etc/hosts#HadoopCluster172.16.252.128master172.16.252.129slave01172.16.252.130slave02环境依赖安装sshyuminstall-yssh安装rsyncyuminstall-yrsync安装jdk选择安装1.6及以上版本，我才用rpm方式安装,在官网下载Jav
syncwt·2020-04-09 03:59

Hadoop从入门到精通38：使用MRUnit进行MapReduce的单元测试

本节用到的介质：mrunit-1.1.0-hadoop2.jar提取码：ftjwapache-mrunit-1.1.0-hadoop2-bin.tar.gz提取码：3q2n1.环境准备1.1下载依赖的jar
金字塔下的小蜗牛·2020-04-09 01:45

HA原理与搭建

高可用RM高可用Hbase强依赖于zookeeperkafka强依赖于zookeeper一、HDFSHighAvailabilityHA的介绍1.Background（背景）单点故障问题PriortoHadoop2.0.0
须臾之北·2020-04-08 06:14

Hadoop2.7.2完全分布式环境搭建+wordcount简单测试

一、准备环境1.1安装1）准备若干台机器2）安装配置系统：CentOS-7.0-1406-x86_64-DVD.iso3）安装JAVA环境：jdk-8u131-linux-x64.gz4）hadoop2.7.2
lewzylu·2020-04-07 16:50

ubuntu18.04+大数据hadoop平台完全分布式集群搭建

hadoop完全分布式集群搭建(超详细)集群信息jdk:1.8linux:ubuntu18.04serverhadoop:hadoop2.9.2虚拟机:VMware一.安装VMware,准备一台虚拟机1
climb.xu·2020-04-06 22:14

Hive1.2.1安装笔记

title:Hive1.2.1安装笔记date:2016/8/220:47:36tags:Hivecategories:大数据环境ubuntu16.044台机器的Hadoop2.7.2集群Mysql安装在
Skye_kh·2020-04-06 18:25

搭建Hadoop开发环境

搭建Hadoop开发环境环境ubuntu16.04软件列表软件版本路径JAVAJDK1.8.0_102/usr/local/javaHadoop2.8.1/usr/local/hadoop-2.8.1配置步骤单独创建一个系统用户名
StrongZhao·2020-04-06 06:34

Windows下Eclipse配置Hadoop开发环境遇到的坑

关于Eclipse的Hadoop环境的配置，可以参考这两篇博文：1、Windows7下面eclipse（4.5.2）&hadoop2.7.2开发环境配置2、Hadoop集群（第7期）_Eclipse开发环境设置以下是本人在为
Harlan1994·2020-04-06 05:07

hadoop2.*学习笔记一（了解hadoop）

引用hadoop维基百科：ApacheHadoop是一款支持数据密集型分布式应用并以Apache2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google文件系统的论文自行实现而成。Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式：应用程序被分区成许多小部分，而
Notput·2020-04-05 21:35

Hadoop伪分布式环境搭建

本文主要描述搭建Hadoop2.7.3伪分布环境.主要参考文档一,首先需要的软件JDKJDK是必须的,对应Hadoop需要的JDK见说明JDK安装完毕后,需要配置环境变量JAVA_HOMESSHSSH用来管理远程
evil_ice·2020-04-05 14:59

十、handoop平台搭建

1.下载handoop软件，通过ftp传到ubuntu2.将handoop解压缩至/usr/localtarxzvfhadoop2.7.2.tar.gz-C/usr/local3.将解压完的hadoop
kochamliujun·2020-04-05 13:00

hadoop_2.6.5测试集群安装

安装hadoop2.6.5集群：1.规划设计：JacK6：NameNode，jobtrackerJacK7:secondnode,datenode,tasktrackerJacK8:datanode,tasktracker2
Q_JacK_Q·2020-04-05 06:21

Hadoop上搭建Zookeeper、HBase

环境ubuntu14.04hadoop2.7.1搭建过程，请参考我的上几篇文章master192.168.31.131slave1192.168.31.132slave2192.168.31.133HBase
玄月府的小妖在debug·2020-04-05 02:10

Hadoop（十）：本地IDEA链接远程Hadoop

本文使用的Hadoop为2.7.7，版本如果不同要下载相应版本的文件配置本地的Hadoop库（不需完整安装，但是要有环境支持）下载文件https://github.com/speedAngel/hadoop2.7.7
renzhongpei·2020-04-04 23:00

Hadoop2伪分布式安装部署

安装操作系统在centos6.4和macos10.10下都测试通过，以下以centos6.4环境为例。安装JDK安装版本hotspotjdk864bit，安装路径/home/rbg/tools/jdk8安装hadoophadoop目前最新的稳定版是2.7.3，下载链接http://hadoop.apache.org/releases.html，下载下来是个压缩包hadoop-2.7.3.tar.g
墙角儿的花·2020-04-04 16:16

spark 运行环境搭建

第一步：下载spark-1.0.2-bin-hadoop2.tgz，scala-2.10.4.tgz版本随意，由于文件包大于10兆，上传不了，自行下载吧，下载地址：http://spark.apache.org
龙帅一下·2020-04-03 11:35

Apache flume安装

解压(只在hadoop21上面)#tar-zxvfapache-flume-1.8.0-bin.tar.gz#rm-rfapache-flume-1.8.0-bin.tar.gz#mvapache-flume
薛落花随泪绽放·2020-04-02 03:10

基于hadoop2.2.0分布式搭建

部分信息显示不全，可参照附件文件**********1.集群主机ip192.168.1.190master192.168.1.191slave12.centos系统准备工作*安装ssh:$sudoyuminstallssh*安装rsync:$sudoyuminstallrsync//linux实现远程同步的软件*ip配置3.服务器SSH无验证双向登陆打通配置3.1.配置服务器ip（此处省略）3.2
驼铃岁月·2020-04-01 18:00

Hadoop2.6.5伪分布式环境配置

Java配置rpm-ijdk-7u67-linux-x64.rpm#安装Java7vi+/etc/profile#配置环境变量在文件末尾追加环境exportJAVA_HOME=/usr/java/jdk1.7.0_67PATH=$PATH:$JAVA_HOME/bin激活环境source/etc/profilessh配置检查ssh是否能免密登录本机sshlocalhost配置秘钥ssh-keyge
QQ大冰_30d9·2020-03-31 11:52
上一页 57 58 59 60 61 62 63 64 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他