E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop集群
在阿里云ECS服务器上搭建
Hadoop集群
在阿里云ECS服务器上搭建
Hadoop集群
简介Hadoop是一个开源的分布式计算的基础框架,其中最主要的组成部分则包括了hadoop分布式文件系统(hadoopdistributedfilesystem
AmadeusChan
·
2023-02-05 13:23
大数据程序员的工作职责是什么?
大数据开发要负责公司大数据平台产品的技术工作,如需求分析、架构设计、研发、以及性能分析工作;提升
Hadoop集群
的高可用性、高性能、高扩展特性;海量数据的导入优化工作;理和完善各类文档等工作。
我想去吃ya
·
2023-02-05 03:33
big
data
大数据
spark
职场和发展
数据库
安装运行在完全分布式
hadoop集群
的hive
安装hive基于hadoop-2.5.2完全分布式集群,兼容hive-1.2.2版本https://www.jianshu.com/p/8a6a9a4fec4a下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/解压到自己管理方便的目录下:[root@masterbigdatazips]#tar-zxvfapache-hive-1.2.2-b
臻霏
·
2023-02-04 20:38
【Hadoop笔记_3】MapReduce、案例分析、实例分析代码
MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个
Hadoop集群
上。5.2_Ma
REDANDBLUE_OvO
·
2023-02-04 18:15
Hadoop
笔记本
大数据
hadoop
mapreduce
java
Hadoop三节点集群搭建
Mac下利用vmwarefushion安装centos服务器,然后搭建
Hadoop集群
。
HideOnStream
·
2023-02-03 14:41
hadoop集群
时间同步
同步方式选择一个机器,作为时间服务器(这里选择hadoop01),所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间。所需工具时间同步服务器有两个:ntpd和ntpdatp,虽然使用二者都能达到时间同步的目的,但是使用之前得弄清楚一个问题,ntpd与ntpdate在更新时间时有什么区别。ntpd不仅仅是时间同步服务器,他还可以做客户端与标准时间服务器进行同步时间,而且是平滑同步
ZIMMY_fb0f
·
2023-02-03 06:43
hadoop集群
部署
1、Hadoop的介绍狭义上来说,hadoop就是单独指代hadoop这个软件,HDFS:分布式文件系统MapReduce:分布式计算系统Yarn:分布式集群资源管理广义上来说,hadoop指代大数据的一个生态圈,包括很多其他的软件2、hadoop的历史版本和发行版公司**###############################################################
keeper&
·
2023-02-02 14:29
hadoop cdh离线安装
转至元数据起始PageViewStatisticsHelpClose
hadoop集群
安装总结准备环境192.168.249.3hadoop1192.168.249.4hadoop2192.168.249.5hadoop3192.168.249.6hadoop4
weixin_46157243
·
2023-02-02 14:29
大数据入门知识总结
数据仓库1、数据仓库的基本概念2、数据仓库的主要特征3、数据仓库与数据库区别5、数据仓库——ETL三、Hadoop——HDFS分布式存储系统1、Hadoop简介2、HDFS、Yarn、MapReduce3、
Hadoop
长不大的大灰狼
·
2023-02-02 14:25
大数据
数据仓库
大数据
hadoop
数据库
初学者本地文件上传到
Hadoop集群
上常用命令步骤
connect),包括ip地址、账户和密码2、在服务器本地上编辑创建文件Vim首先进入到的是一般模式,点击i字母进入编辑模式,esc键退出编辑模式,然后可以点击:wq保存退出3、进入集群环境(一般公司有从服务器到
Hadoop
月笼纱lhz
·
2023-02-02 09:33
spark大数据分析
Hadoop集群
搭建-01前期准备
原文在这里https://my.oschina.net/finchxu/blog/3076991整个搭建
hadoop集群
的流程,包括前期准备安装zookeeper并配置环境编译安装hadoop并启动安装
叫我懒猫
·
2023-02-02 01:56
hadoop集群
搭建
集群简介
HADOOP集群
具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。
·
2023-02-01 12:51
hadoop大数据
安装Spark
安装之前的准备安装和配置三节点的
Hadoop集群
,一个节点是master节点(包含HDFSNameNode和YARNResourceManager)。另两个节点
峰峰仔
·
2023-02-01 04:53
docker安装hadoop3分布式集群-勤快版
简介安装
hadoop集群
真的很麻烦,我在网上找各种资料看来看去,最后花了差不多4天时间才算搞好环境.如果你希望用5分钟装好hadoop,那么你可以看这篇懒人版:https://www.jianshu.com
小肥爬爬
·
2023-01-31 05:07
hadoop集群
在vm虚拟机Linux系统下的搭建单、伪、全分布式搭建参考
首先在vm上安装一台Linux系统虚拟机,安装方法可以在网上查找下面是安装好虚拟机之后的操作可以下载一个finallshell工具,操作更方便链接:https://pan.baidu.com/s/1dAdk7qvX4uEN2KLWZ5VHQw提取码:9527JDK1.8下载链接:https://pan.baidu.com/s/1ElO1vHFRb6HR5ijRj2j_og提取码:9527先在虚拟机
朝阳笑笑生
·
2023-01-30 15:55
hadoop集群安装配置
linux
分布式
hadoop
Hadoop集群
搭建(二)-网络配置
目录一、VMware网络配置二、Windows网络配置三、CentOS网络配置之前创建虚拟机是选择了NAT模式,需要宿主机的Windows和虚拟机的Linux能够进行网络连接,同时虚拟机的Linux可以通过宿主机的Windows进入互联网。一、VMware网络配置编辑->虚拟网络编辑器点击右下角的更改设置选择VMnet8,将子网IP修改成192.168.10.0,点击NAT设置点击NAT设置,修改
HUA_1740
·
2023-01-30 15:54
hadoop集群搭建
hadoop
网络
linux
Hadoop的集群搭建windows基于VMware虚拟机超详细教程(一主二从)
Hadoop集群
搭建(一主二从)文章目录
Hadoop集群
搭建(一主二从)前言一、VMware安装包以及所需要的jdk,Hadoop安装包二、XSHELL和XFTP下载与安装三、在VMware虚拟机中安装
南风未闻
·
2023-01-30 15:54
linux
hadoop
centos
Hadoop集群
安装配置教程
Hadoop集群
安装配置教程目录
Hadoop集群
安装配置教程1、环境2、创建hadoop用户(两节点同步进行)3、安装SSH、配置SSH无密码登陆4、安装Java环境(两节点同步进行)5、安装Hadoop3.1.3
退役小学生呀
·
2023-01-30 15:52
分布式
大数据
hadoop
linux
java
Hadoop部署中的疑惑:/etc/hosts文件对集群伸缩性产生的影响
但是这个问题不免让我感到疑惑:对局域网里但每个机子修改此文件,不是很影响
Hadoop集群
但可伸缩性吗?"
weixin_33781606
·
2023-01-30 15:51
大数据
运维
python
搭建
hadoop集群
,从安装虚拟机开始直到hadoop成功搭建
搭建
Hadoop集群
一、实验目的与要求学习和掌握Hadoop的相关应用,首先必须得学会搭建
Hadoop集群
。本次实验将针对
Hadoop集群
的搭建内容进行演练。
司空良
·
2023-01-30 15:20
hadoop
hadoop
hdfs
linux
大数据基石-Hadoop3.x学习教程-Hadoop产品了解与快速上手
HadoopHadoop3.x版本全系列教程===楼兰===文章目录一、关于Hadoop1、关于Hadoop产品2、Hadoop课程内容3、Hadoop的主要组件二、Hadoop环境搭建以及快速上手1、Linux环境搭建2、
Hadoop
roykingw
·
2023-01-30 15:49
大数据相关
big
data
java
大数据
hadoop
hdfs
HDFS的Shell操作
命令大全 常用命令实操 准备工作 (1)启动
Hadoop集群
我的上篇文章写了如何启动
Hadoop集群
Hadoop集群
启动和停止方法 (2)创建/s
苍夜月明
·
2023-01-30 15:48
Hadoop
hdfs
hadoop
大数据
搭建这个
hadoop集群
电脑表示要离家出走!
1.
hadoop集群
搭建的详细过程实验前的准备:==jdk==jdk-8u11-linux-x64.tar.gz提取码:wgte==hadoop==hadoop-2.10.1.tar.gz提取码:bfxz
♚ 悲欢自饮
·
2023-01-30 15:17
教程
hadoop
linux
centos
6
centos
大数据
大数据之
Hadoop集群
搭建(4个节点)
大数据必备–搭建
Hadoop集群
(4个节点)初学大数据肯定第一步先搭建
hadoop集群
,虽然不知道怎么用,但是先搭建集群是你大数据学习之旅的第一步,操作步骤有以下这几步,用的centos系统对四台虚拟机进网络和静态
普通网友
·
2023-01-30 15:46
java
java
后端
aws的EMR搭建
Hadoop集群
直接上实验:实验包括:1.使用EMR创建
Hadoop集群
2.定义schema,创建示例表。3.通过H
m0_61022194
·
2023-01-30 15:44
hadoop
mapreduce
big
data
[hadoop全分布部署]虚拟机
Hadoop集群
交换 SSH 密钥与验证SSh无密码登录
本期更新内容:虚拟机
Hadoop集群
交换SSH密钥与验证SSh无密码登录下篇文章预告:安装Hadoop、配置Hadoop配置文件目录交换SSH密钥(1)将Master节点的公钥id_rsa.pub复制到每个
发量不足
·
2023-01-30 15:14
hadoop
环境配置
Linux
hadoop
大数据
分布式
从零开始搭建
hadoop集群
,详细步骤
Linux虚拟机安装后没有网络一:首次进入虚拟机输入二:选择启动后,显示没有网络的配置如下:三:修改配置一:修改自己windows系统的网络配置VMwareNetworkAdapterVMnet8ipv4设置为192.168.1.1子网掩码设置255.255.255.0二:修改VMware里面的:(工具栏的:编辑——》虚拟网络编辑器)如下图:跳转到的地方三:虚拟机配置三:修改linux配置,进入已
happy_linlin
·
2023-01-30 14:13
大数据
hadoop
hadoop从零搭建
大数据基础平台搭建-(三)
Hadoop集群
HA+Zookeeper搭建
大数据基础平台搭建-(三)
Hadoop集群
HA+Zookeeper搭建大数据平台系列文章:1、大数据基础平台搭建-(一)基础环境准备2、大数据基础平台搭建-(二)
Hadoop集群
搭建3、大数据基础平台搭建
dyj095
·
2023-01-30 14:43
大数据
hadoop
大数据
zookeeper
基于EMR离线数据分析(阿里云)
本场景将通过开通登录EMR
Hadoop集群
,简单进行hive操作,使用hive对数据进行加载,计算等操作。展示了如何构建弹性低成本的离线大数据分析。体验此场景后,
阿里云云起实验室
·
2023-01-30 14:43
体验场景
大数据
阿里云
erm
云原生
VM虚拟机Linux上安装
Hadoop集群
VM虚拟机Linux上安装
Hadoop集群
1.VM虚拟机上安装Linux2.Linux上安装
Hadoop集群
3.步骤2中注意的地方4.安装中遇到的错误1.VM虚拟机上安装Linux安装教程参考该博文:https
黑色白色5
·
2023-01-30 14:42
Hadoop
Hadoop
Hadoop集群搭建
Hadoop环境
使用Amazon Athena和 Amazon QuickSight进行天气数据可视化分析
从传统的方案来看,需要企业自行架设
Hadoop集群
,由于大数据分析对数据存储和数据运算需求都比较高,所以硬件配置的需求也很高,导致整个项目成本高昂。在使用了云服务器以后,可
Sinnet-cloud
·
2023-01-30 14:41
应用
AWS
云计算
光环云
数据可视化
数据分析
vmware中
hadoop集群
安装指南
1、准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=shizhan1###克隆之后其他主机的名字分别是shizhan2shizhan3shizhan4....1.2修改IP两种方式:第一种:通过Linux图形界面进行修改(强烈推荐)进入Linux图形界面->右键点击右上方的两个小电脑
劲枫
·
2023-01-30 14:41
Hadoop
hadoop集群安装
hadoop搭建
需要的安装包:1.jdk压缩包2.hadoop压缩包请前往百度云上上下载相关安装包(密码:8op1)开始搭建
hadoop集群
一.使用VMvare创建两个虚拟机,我使用的是ubuntu16.04版本的,并关闭全部虚拟机的防火墙
James_probie
·
2023-01-30 14:11
架构
hadoop集群搭建
Hadoop集群
安装和搭建(全面超详细的过程)
Hadoop集群
安装和搭建(全面超详细的过程)文章目录
Hadoop集群
安装和搭建(全面超详细的过程)前言一、虚拟机的安装二、Linux系统安装1.环境准备2.虚拟机安装三、Centos系统安装四、静态网络配置五
小汤TYT
·
2023-01-30 14:10
大数据Hadoop集群
hadoop
centos
linux
[hadoop全分布部署]虚拟机
Hadoop集群
配置/etc/hosts、配置无密码登录(SSH)
本期更新内容:虚拟机
Hadoop集群
配置/etc/hosts、配置无密码登录(SSH)下篇文章预告:虚拟机
Hadoop集群
交换SSH密钥目录配置/etc/hosts、配置无密码登录(SSH)一、生成SSH
发量不足
·
2023-01-30 14:39
Linux
hadoop
环境配置
linux
服务器
运维
Docker 部署
Hadoop集群
一、网络设置以及集群部署规划image二、Docker容器拉取镜像dockerpulldaocloud.io/library/centos:latest创建容器按照集群的架构,创建容器时需要设置固定IP,所以先要在docker使用如下命令创建固定IP的子网dockernetworkcreate--subnet=172.18.0.0/16netgroupdocker的子网创建完成之后就可以创建固定I
独钓寒雪1795
·
2023-01-30 10:47
大数据平台ambari
ambari长啥样子,可以参考使用ApacheAmbari管理
Hadoop集群
而Ambari2.7.3与HDP3.1.0安装过程,虽然这篇文章讲的笔记好,但是实际环境可能更为复杂,系统盘有35G,而数据盘有
warrah
·
2023-01-30 04:21
大数据杂烩
ambari
ambari
大数据
hadoop
Hadoop小解疑
通过RPC调用namenode确定文件起始块的位置一个block会返回多个位置,根据
Hadoop集群
的网络拓扑结构所定义相对客户端的距离,将这些位置排序返回给客户端
vickeex
·
2023-01-29 09:35
MapReduce中使用Avro
前提条件一个maven项目
Hadoop集群
,如果你还没有安装的话,请戳这里,查看之前的文章。说明本篇文章是一个简单的用例,使用的例子是一个txt文件中存储了大量的学生信息,这些学
名字想好没
·
2023-01-28 19:18
用Nginx扩展Spark Master Web UI
0背景公司最近迁移
Hadoop集群
到堡垒机内部,内部机器不能直接访问了,sparkmasterwebUI的8080端口被映射出来使用。
苦咖啡JerryKFC
·
2023-01-28 01:41
安装hbase,连接hue
HUE(HadoopUserExperience)也就是Hadoop用户体验,通过HUE我们可以在浏览器端的wed控制台与
Hadoop集群
进行交互,来分析处理数据。
H豆腐
·
2023-01-27 16:10
基于腾讯云应用使用
5分钟学会如何玩转云数据库组件(迁移,审计,订阅)腾讯云数据库回档解决方案基于腾讯云CVM自建高可用Redis实践基于腾讯云CVM搭建
Hadoop集群
并做数据迁移
My_Fuzz
·
2023-01-26 11:04
Spark2.2.0 + Scala2.13.0集群搭建
Hadoop集群
参考:ubuntu16+Hadoop2.7.3环境搭建(伪分布式),改为分布式集群JDK版本:1.8.0Scala版本:scala-2.13.0-M1spark版本:2.
sinat_34022298
·
2023-01-21 16:58
Spark
Hadoop
scala
spark
hadoop
kerberos可以init但是连不上hadoop,禁用upd后成功连接
hadoop集群
。
解决在krb5.conf中禁用udp在[libdefaults]下设置udp_preference_limit=1"pool-1-thread-2"#15prio=5os_prio=0tid=0x00007f3ff0016800nid=0xc75erunnable[0x00007f4048c78000]java.lang.Thread.State:RUNNABLEatjava.net.PlainD
shy_snow
·
2023-01-21 16:28
安全
大数据
hadoop
java
大数据
Linux环境下hadoop 2.6.0 分布式集群搭建(实战演练)
应用场景之前介绍了单节点,部署伪分布式
hadoop集群
,可以作为自己使用,但是真正投入生产环境,伪分布式是不够的,仅仅作为个人研究测试使用,此时我们需要部署搭建hadoop完全分布式集群,此hadoop
kinzxv
·
2023-01-21 09:37
大数据
hadoop
大数据
海量数据
分布式
集群
centos搭建
hadoop集群
实战命令总结
第一部分开发环境名称版本资源Linuxcentos7centos7JDK8u212jdk-8u212-linux-x64.tar.gzHadoop3.1.3hadoop-3.1.3.tar.gzZookerper3.5.7apache-zookeeper-3.5.7-bin.tar.gzKafka2.4.1kafka_2.11-2.4.1.tgzSpark2.1.1spark-2.1.1-bin-
Jmayday
·
2023-01-21 09:06
Hadoop
Hadoop集群
安装和搭建
Hadoop集群
安装和搭建前言 Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台,用户可借助Hadoop存有基础环境的配置(虚拟机安装、Linux安装等),
Hadoop集群
搭建,配置和测试
王八变成汤
·
2023-01-20 18:39
hadoop
hdfs
大数据
传统数仓的3大缺陷
部署效率低:在部署Hive/HBase/Kylin之前,必须部署好
Hadoop集群
。和传统数据库相比,这个部署效率是非常低效的。
Impl_Sunny
·
2023-01-20 02:16
#
数据存储与管理方案
hadoop
大数据
hbase
linux debian下配置ntp时钟同步
对于
hadoop集群
设置时钟同步就是一个十分重要的事情,下面我介绍一下,debain设置时钟同步的方法。网上关于RedHat和centos系统的设置方法都很多,我就不介绍了。
会飞的犬良
·
2023-01-19 20:50
linux
linux
debian
hadoop
ntp
IntelliJ IDEA连接
Hadoop集群
求个良心管我留些余地处人相关连接HDFS相关知识Hadoop分布式文件系统(HDFS)快速入门Hadoop分布式文件系统(HDFS)知识梳理(超详细)
Hadoop集群
连接Eclipse连接
Hadoop集群
汉秋_
·
2023-01-18 17:46
Hadoop
IDEA
Hadoop
Java
远程连接
WordCount
上一页
16
17
18
19
20
21
22
23
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他