Hadoop2

HDFS架构演变之路

前言Hadoop到目前为止发展已经有10余年，版本经过了无数次的更新迭代，目前业内大家把Hadoop大的版本分为Hadoop1，hadoop2，Hadoop3三个版本。
·2021-02-05 16:57

HDFS架构演变

前言Hadoop到目前为止发展已经有10余年，版本经过了无数次的更新迭代，目前业内大家把Hadoop大的版本分为Hadoop1，hadoop2，Hadoop3三个版本。
·2021-02-05 16:05

Hadoop安装与配置详细教程

准备三个虚拟机使用vagrant安装虚拟机环境1、首先安装jdk（三台机器都需要）https://www.jianshu.com/p/8829bc3a92172、安装hadoop2.9.2下载hadoop2.9.2
Y了个J·2021-02-02 23:47

Flink Standalone高可用+HDFS高可用

安装Hdfs由于FlinkStandalone需要依赖Hdfs，因此需要先安装Hdfs，这里使用hadoop2.6.5版本进行安装下载依赖包flink依赖包：https://repo.maven.apache.org
好多小花花·2021-01-27 10:00

[hadoop]3.0.0版本以上mac hadoop环境配置安装，以及安装的一些坑解决

目录前言：1.下载最新的hadoop安装包2.安装hadoop2.1查看java环境位置2.2修改hadoop-env.sh文件2.3修改core-site.xml2.4配置文件系统hdfs-site.xml2.5
pmdream·2021-01-26 14:37

Hive SQL的数仓迁移成Spark SQL，之前的UDF函数怎么办?

环境：spark2.11，hive2.3.6，hadoop2.7.2解决方案首先，hive的元数据一般生产我们都会存在mysql当时，所以设想：sparkonhive也是使用hive的元数
俩只猴·2021-01-24 14:38

FLINK安装及提交任务

JOB命令提交JOBYARN模式提交JOBSession-cluster模式Per-Job-Cluster模式并行度拓展FLINK安装1.安装前确认有java环境,我这里有三台机器,分别是hadoop1,hadoop2
海绵不老·2021-01-22 23:17

Hadoop集成Spring的使用详细教程(快速入门大数据)

官网sprng-hadoophttps://spring.io/projects/spring-hadoop添加依赖org.springframework.dataspring-data-hadoop2.5.0
·2021-01-22 09:12

大数据电影可视化系统

项目链接:https://github.com/GoAlers/Bigdata-movie开发环境：IDEA+Pycharm+Python3+hadoop2.8+hive2.3.0+mysql5.7+sqoop
GoAl的博客·2021-01-20 11:55

Spark2.4.5集群安装与本地开发

下载官网地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz验证Java是否安装
架构设计之道·2021-01-19 11:24

飞腾+麒麟上安装spark

spark:2.1.0scala2.11.11源：Spark:wget https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.7
中国信创服务社区·2021-01-15 08:52

flink启动命令参数_Flink快速上手(QuickStart)

比如FlinkforHadoop2。
杨奎元-深动·2021-01-14 06:11

HDFS架构师 2.2 - NameNode元数据双缓冲写入原理demo

Hadoop2.3.0*kafkaZookeeper**/publicclassFSEditLog{privatelongtx
fat32jin·2021-01-10 14:03

大数据技术原理与应用——期末复习

大数据的影响3、大数据的两大核心技术4、大数据计算模式及代表产品5、大数据与云计算、物联网的关系第二章大数据处理架构Hadoop1、Hadoop的发展历史2、Hadoop的特性3、Hadoop1.0与Hadoop2.0
BKolo·2021-01-08 23:32

单个虚拟机安装spark

一、下载解压（1）下载压缩文件到/opt/software/目录下https://archive.apache.org/dist/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.6
斯特凡今天也很帅·2021-01-04 01:54

hadoop教程-hdfs客户端开发

hadoop环境hadoop版本为hadoopversionHadoop2.10.1Subversionhttps://github.com/apache/hadoop-r1827467c9a56f133025f28557bfc2c562d78e816Compiledbycentoson2020
wls1036·2021-01-02 19:53

Hadoop之Yarn

1.Yarn概述YARN是Hadoop2.x版本中的一个新特性。
leafgood·2021-01-01 18:07

Hadoop之Yarn

1.Yarn概述YARN是Hadoop2.x版本中的一个新特性。
leafgood·2021-01-01 18:52

Hbase高可用搭建

实验准备：主机名IP地址安装服务备注hadoop-01192.168.200.201jdk1.8,zookeeper3.4.8,hadoop2.7.7,ntpd主节点hadoop-02192.168.200.202jdk1.8
Bug.object·2020-12-30 20:14

hadoop教程-hdfs客户端开发

hadoop环境hadoop版本为hadoopversionHadoop2.10.1Subversionhttps://github.com/apache/hadoop-r1827467c9a56f133025f28557bfc2c562d78e816Compiledbycentoson2020
wls1036·2020-12-21 11:40

SpringBoot整合Hbase的实现示例

这里我是用本地Windows的IDEA，与局域网的伪分布Hbase集群做的连接，其中Hbase集群包括的组件有：Jdk1.8、Hadoop2.7.6、ZooKeeper3.4.
·2020-12-21 10:07

大数据人工智能技术全攻略

文章目录大数据介绍人工智能介绍机器学习算法介绍深度学习算法大数据和人工智能的关系和区别大数据部门下分几个小部门或组几个组分工合作关系大数据部门都有哪些职位岗位技能与职责各个职位之间的协作配合关系各个职位对应的职业生涯规划和发展路线总结大数据介绍1、一般说到大数据，自然会提到Hadoop2
陈敬雷-充电了么-CEO兼CTO·2020-12-19 09:29

调用MapReduce对文件中各个单词出现的次数进行统计

调用MapReduce对文件中各个单词出现的次数进行统计Hadoop安装环境创建hadoop用户更新apt安装SSH、配置SSH无密码登陆安装Java环境安装Hadoop2运行Hadoop伪分布式实例使用
duxial·2020-12-18 00:15

Hadoop基础（三）：分布式资源调度框架YARN

1.ResourceManager2.NodeManager3.ApplicationMaster4.Container三、Yarn执行流程四、Yarn资源调度器五、Yarn常用命令一、Yarn简介在Hadoop2
XavierYen·2020-12-17 08:40

MapReduce - Hadoop Streaming - 练习

几个入门级别的MapReduce练习基于版本：Python2.6.6，Hadoop2.6.5文章目录1.WordCount——统计文本中的词频1.1准备文本数据1.2Map阶段1.2.1写一个map函数
不可描述的两脚兽·2020-12-15 17:46

yarn-资源管理container容器配置详解

开题引文:yarn是hadoop2.x引入的概念,hadoop1.x这个工作是MapReduce做的,在2.x引入了yarn,yarn是用来做资源管理和任务调度,本文详细介绍了yarn在生产上如何资源管理
BABA_777·2020-12-06 15:16

手把手教你搭建Hive环境

hadoop基础环境（3.1.3）Hive版本3.1.2下载地址：https://hive.apache.org/downloads.htmlHive3.X版本支持Hadoop3.X,Hive2.0版本支持Hadoop2
云掣科技·2020-12-03 14:59

Yarn(Hadoop2.0)学习笔记(二)

Hadoop1.0中的状况JobTracker必须是不断跟踪所有的taskTracker和所有的map,reduce任务,taskTracker上的任务都是JobTracker来分配的2.0优化的方向我们减少了单个JobTracker的职责,将部分职责委派给taskTracker(AM),因为集群中有多taskTracker,在新的设计中,这个概念通过将JobTracker的双重职责(RM集群资源
武小寺·2020-12-01 16:34

Yarn(Hadoop2.0)学习笔记(一)

简介1.0跟2.0的区别在Yarn中我们把job的概念换成了application，因为在新的Hadoop2.x中，运行的应用不只是MapReduce了，还有可能是其它应用如一个DAG（有向无环图DirectedAcyclicGraph
武小寺·2020-12-01 16:12

大数据环境搭建hadoop，hive，spark，Python，anaconda

如何在自己的电脑搭建一个虚拟的集群环境：1、安装虚拟机（包括linux系统：笔者使用ubantu16.04）http://dblab.xmu.edu.cn/blog/2760-2/#more-27602、安装hadoop2
君_临_天_下·2020-11-21 19:56

Hadoop 单节点部署（一） Hadoop

SingleNodeClusterHadoopClusterSetup组件版本需求选型OSLinuxonly,CentOS6.5+orUbuntu16.0.4+CentOS7.5.1804JDK1.8+1.8.202Kylinv3.1.1Hadoop2.7
偷油考拉·2020-11-16 14:50

zookeeper集群搭建（详细步骤）

集群规划安装三台虚拟机，IP地址、主机名设置如下IP主机名软件192.168.1.66SQGJDK\zookeeper192.168.1.2hadoop1JDK\zookeeper192.168.1.3hadoop2JDK
SQG_L·2020-11-11 14:52

Kafka集群安装部署

一.环境准备1.集群规划hadoop2hadoop3hadoop4zkzkzkkafkakafkakafka2.jar包下载http://kafka.apache.org/downloads.html3
Movle·2020-11-10 17:01

Hadoop2.7.1伪分布安装及配置

基于Ubuntu14.04.6单机伪分布式安装Hadoop2.7.1前言一、创建用户二、安装配置SSH三、安装Java环境四、安装hadoop五、hadoop伪分布式配置运行实例前言上一篇blog介绍了多节点
hhhSir'blog·2020-11-08 11:51

Hadoop安装教程(单机/伪分布式环境搭建)/Ubuntu18.04

本教程基于原生Hadoop2，在Hadoop2.6.0(stable)版本下验证通过，可适合任何Hadoop2.x.y版本，如Hadoop2.7.1、2.6.3、2.4.1等。前期工
auhjin_ai8·2020-10-27 14:18

Hadoop2.7.3搭建伪分布式集群

目录1.配置文件：hadoop-env.sh2.配置文件：core-site.xml3.配置文件：hdfs-site.xml（可选择性配置，副本默认值是3）4.启动集群5.操作集群Hadoop的集群模式有3种，具体配置信息可以参考如下链接，本篇文章先讲述如何搭建伪分布式，并登陆HDFS的web界面操作文件。Hadoop历史版本下载：http://archive.apache.org/dist/ha
秃头钢铁侠·2020-10-18 12:31

hadoop-core-site.xml配置文件详解

hadoop配置文件:core-site.xml详解core-site.xml配置文件介绍HDFS和MapReduce常用的I/O设置等core-site.xml配置文件Hadoop2.0版本的core-site.xmlnamedescriptionvaluehadoop.tmp.dirAbaseforothertemporarydirectories
许喜朝·2020-10-17 17:20

HBase集群配置Snappy压缩算法

一、背景介绍在生产环境搭建了HadoopHA集群（Hadoop2.7.7+HBase1.4.10）。根据官方文档，Snappy压缩算法在Hadoop1.0.2中即可使用。
yiming1012·2020-10-11 10:44

hadoop2.7.2搭建完全分布式集群

新建虚拟机修改虚拟机的静态IP修改主机名,添加主机和ip的映射关系关闭防火墙（1-4通过脚本完成）创建普通用户useraddjinghangpasswdjinghang配置普通用户具有root权限vim/etc/sudoers在91行下添加如下内容：jinghangALL=(ALL)NOPASSWD:ALL完成后:wq!7.在/opt目录下创建文件夹（software存放压缩软件包，modul存放
zyj_369·2020-10-10 10:46

hbase shell命令

环境：hadoop2.7.3hbase1.x，如果还没安装hbase，请点击这里安装hbasehbaseshell常用命令启动hadoop及hbasestart-all.shstart-hbase.sh
Hadoop_Liang·2020-10-09 22:02

Hadoop完全分布式集群搭建

集群规划HDFS:1个NameNode+n个DataNode+1个2NNYARN:1个ResourceManager+n个NodeManagerhadoop1hadoop2hadoop3DNDNDNNMNMNMNNRM2NN
WillLiaowh·2020-10-09 13:42

Flink集群部署与启动之Flink On Yarn

在配置FlinkOnYarn之前，必须保证hdfs和yarn都已经开启：Hadoop集群部署与启动，Yarn模式要考虑Container内存资源分配安装版本：flink-1.7.1-bin-hadoop28
Natasha·2020-10-09 13:36

Hadoop集群部署与启动，Yarn模式要考虑Container内存资源分配

：hadoop-2.8.3.tar.gzmkdir/usr/local/hadooptarzxvfhadoop-2.8.3.tar.gz-C/usr/local/hadoop修改域名与IP的对应关系(hadoop2
Natasha·2020-10-09 13:02

idea远程连接hadoop(macOS)

mac上的配置方式.前提是电脑中已经安装有hadoop首先下载安装jdk8官网下载JDK8我的电脑上原本有JDK11,但是hadoop对于JDK9以上的配置对于我这个新手太不友好了,加上远程虚拟机安装的是hadoop2.7
chain_xx_wdm·2020-10-09 13:11

CDH新增计算节点，并对新增的计算节点，添加服务角色的详细具体步骤

操作步骤集群示意图：准备好linux环境配置hadoop账号，ssh免密，关掉防火墙，磁盘挂载1：创建hadoop账号useraddhadoop２：ssh无密码登陆suhadoopssh-keygen-trsa
阿啄debugIT·2020-10-07 22:39

Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作

上爬虫和机器学习在Python中容易实现在Linux环境下编写Python没有pyCharm便利需要建立Python与HDFS的读写通道2.实现安装Python模块pyhdfs版本:Python3.6,hadoop2.9
·2020-09-21 13:49

Hadoop2.3.0-CDH5.1.3的eclipse插件编译

环境：windows，Hadoop2.3.0-CDH5.1.3，eclipse版本:kapler1，安装Ant版本apache-ant-1.9.6，常规的复制进去，配PATH，很简单不再赘
咔_咔·2020-09-17 14:22

Hadoop2.2.0集群的HA高可靠的最简单配置

hadoop2就解决了这个问题。图1hadoop2.2.0中HDFS的
weixin_34245082·2020-09-17 13:09

Centos6.5 创建新用户

创建新用户本教程配置说明目的：创建新用户，避免错误使用root用户而带来不可挽救的“灾难”1.创建用户:useraddhadoop创建密码:passwdhadoop2.给新用户赋予sudo使用权限A.进入超级用户模式
该昵称已经被占用·2020-09-17 13:07

HDFS之Qurom Journal Manager（QJM）实现机制分析

1.前言1.1背景自从hadoop2版本开始，社区引入了NameNode高可用方案。NameNode主从节点间需要同步操作日志来达到主从节点元数据一致。
liuhong1123·2020-09-17 12:48
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他