E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
habase伪分布式
各种环境安装
Hadoop3.1.3安装教程_单机/
伪分布式
配置_Hadoop3.1.3/Ubuntu18.04(16.04)_厦大数据库实验室博客(xmu.edu.cn)Ubuntu修改字体、调整缩放_ubuntu
哲哲816
·
2023-09-26 02:38
开发语言
Hadoop 2.6.0的Web UI无法看到应用执行的历史信息
环境Hadoop2.6.0Java1.8.0_151Ubuntu16.04解决方案开始在配置Hadoop时,由于是按照官网配置的非常简洁版的
伪分布式
版本,缺少了某些选项,才会造成这个问题。
AlstonWilliams
·
2023-09-25 12:35
【WSL】仅适用于装C盘情况-用WSL在win10安装LInux
研究了一点点
伪分布式
的内容。
请给我一脚
·
2023-09-24 00:28
分布式
WSL
Linux
大数据入门--hadoop(一)--分布式集群搭建
分布式集群搭建准备工作ntp时间同步hadoop101配置修改/etc/ntp.conf修改/etc/sysconfig/ntpd文件重新启动ntpd服务其他服务器配置hadoop组成集群模式本地模式
伪分布式
完全分布式安装步骤准备工作
许中宝
·
2023-09-22 02:45
大数据
hadoop
hadoop
docker手撸hadoop
伪分布式
基础搭建dockerpullcentosdockerrun-idt-hnode0--name--privileged--namessh_centoscentos/usr/sbin/initdockerexec-itssh_centos/bin/bash#进入了容器#修改源文件下载提速yum-yinstallwget#安装wgetmv/etc/yum.repos.d/CentOS-Base.repo
一秒一心跳
·
2023-09-22 00:52
Hdoop
伪分布式
集群搭建
文章目录Hadoop安装部署前言1.环境2.步骤3.效果图具体步骤(一)前期准备(1)ping外网(2)配置主机名(3)配置时钟同步(4)关闭防火墙(二)正文(1)配置hosts列表(2)SSH免密钥登录配置①master虚拟机上②slave01虚拟机上③slave02虚拟机上④验证免密登录(3)安装JDK(4)安装部署Hadoop集群(chenqi用户)1.解压缩包2.配置文件3.创建Hadoo
陈七.
·
2023-09-20 22:27
Linux开发
分布式
hadoop
大数据
【02】Hadoop简介及安装
2.Hadoop特点3.Hadoop中5个重要的进程二、Hadoop的安装·
伪分布式
模式安装1.下载Hadoop2.安装Hadoop3.配置Hadoop4.格式化文件系统。5.启动Hadoop并验证。
忻辰i
·
2023-09-18 05:21
hadoop
大数据工作笔记||如何在hyper-v上扩充HDFS的存储空间
左右的数据,因为以前的测试机器都是随便搭的,内存不够,所以要扩充HDFS的存储空间操作环境:hyper-v,centos6.7,内核版本4.4.113-1.el6.elrepo.x86_64此文档实在
伪分布式
操作系统上操作的
云成鹏
·
2023-09-14 02:39
1-centOS7搭建
伪分布式
jdk之前拍摄快照来备份※.若jdk没安装好或者jdk环境变量配置的有问题,可以用安装之前的快照快速恢复虚拟机1.拍摄快照:2.恢复到某快照的位置:(可以在创建用户前,生成公钥私钥前,安装jdk前,搭建
伪分布式
孤独斗士
·
2023-09-12 21:49
hadoop
分布式
虚拟机Ubuntu系统搭建Hadoop
伪分布式
常见问题
一,启动hadoop:start-dfs.sh报错:Error:JAVA_HOMEisnotsetandcouldnotbefound.解决方法:编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh修改exportJAVA_HOME=${JAVA_HOME}exportJAVA_HOME=/soft/jdk二,如果发现start-dfs.sh命令不存在,需要(1)查看/e
在朝阳寺树下
·
2023-09-11 12:40
一套简单但完整的
伪分布式
大数据分析流程(五 完结)(图文详解),适用于Windows系统
上一篇:一套简单但完整的
伪分布式
大数据分析流程(四)(图文详解),适用于Windows系统https://blog.csdn.net/qq_42800581/article/details/106269558
大能猫与小完熊
·
2023-09-09 21:15
大数据分析
mysql
数据库
hadoop
spark
hive
大数据之Hadoop
伪分布式
这样搭建,一次就成功了!
Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法。Hadoop最初只与网页索引有关,迅速发展成为分析大数据的领先平台。在这里我还是要推荐下我自己建的大数据学习交流裙:532+二一八加上147,裙里都是学大数据开发的,如果
大数据学习05
·
2023-09-01 13:41
hadoop2.2.0
伪分布式
搭建
1.准备Linux环境1.0点击VMware快捷方式,右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段:192.168.1.0子网掩码:255.255.255.0->apply->ok回到windows-->打开网络和共享中心->更改适配器设置->右键VMnet1->属性->双击IPv4->设置windows的IP:192.16
小小哭包
·
2023-09-01 09:01
大数据
Hadoop
伪分布式
Hadoop
伪分布式
安装配置
文章目录一、修改配置文件二、格式化NameNode三、配置yarn服务四、SSH免密码登录一、修改配置文件1.修改配置文件hadoop-env.sh在/usr/local/java/hadoop-2.7.7/etc/hadoop目录下面修改hadoop-env.sh执行命令:cd/usr/local/java/hadoop-2.7.7/etc/hadoop输入ls查看文件执行命令:sudoviha
T³3
·
2023-09-01 07:29
Linux
hadoop
分布式
hdfs
linux
centos
hadoop1.2.1
伪分布式
搭建
0.使用host-only方式将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段注意:一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段,但是IP不能相同1.Linux环境配置(windows下面的防火墙也要关闭)1.1修改主机名vim/etc/sysconfig/network1.2修改IPvim/etc/sysconfig/network-scripts/ifc
小小哭包
·
2023-08-31 07:03
大数据
分布式
Hadoop
【Centos8_配置单节点
伪分布式
Spark环境】
安装centos8jdk部署
伪分布式
spark环境安装Centos8环境下的JDK下载jdklinux版本下载链接:jdk-8u381-linux-x64.tar.gz将该文件上传到Centos8主机部署配置
pblh123
·
2023-08-31 05:32
Spark
Linux
分布式
spark
大数据
【保姆级教程】hadoop 3.x 环境配置——入门篇
安装JDK3.2.1推荐:离线安装3.2.2不推荐:在线安装4配置SSH5更改hosts6搭建Hadoop集群6.1安装Hadoop6.1.1推荐:离线下载方法6.1.2暂不推荐:在线下载方法6.2搭建
伪分布式
环境
我本鼠狂人
·
2023-08-29 22:55
环境配置
hadoop
big
data
大数据
《Zookeeper系列》Zookeeper
伪分布式
安装
Zookeeper
伪分布式
安装1.预备工作1.一台服务器2.
伪分布式
zookeeper1,2,33.创建zookeeper目录结构zoo_1/2/3用于存放节点的快照zoo_2_dataLog用于存放节点的事务日志
DATA数据猿
·
2023-08-28 05:13
Zookeeper
zookeeper
分布式
hadoop
VMware中ZooKeeper的
伪分布式
安装+配置+启动方法(Ubuntu18.04)
VMware中ZooKeeper的
伪分布式
安装方法(Ubuntu18.04)1、安装1.1创建目录结构1.2解压压缩包2、分配myid3、创建不同节点配置文件4、修改配置文件内容5、启动zookeeper6
跳舞的皮埃尔
·
2023-08-28 05:43
Hadoop
Linux
笔记
zookeeper
分布式
hadoop
Kafka集群搭建与实操笔记(
伪分布式
)
Kafka集群搭建与实操声明文档链接规划(
伪分布式
)实操环节声明本笔记旨在学习针对kafka基操进行学习备忘及记录非详细说明与介绍,主线详情主要参照以下大牛整理的文档链接中的第一个文档文档链接kafka
Leosongyi
·
2023-08-28 02:10
kafka
分布式
java
Spark Local环境搭建及测试
【大数据学习记录篇】-持续更新中~篇一:Linux系统下配置java环境篇二:hadoop
伪分布式
搭建(超详细)篇三:hadoop完全分布式集群搭建(超详细)-大数据集群搭建文章目录1.SparkLocal
beixi@
·
2023-08-27 23:10
大数据技术学习
spark
大数据
hadoop
运维
分布式
Spark Standalone环境搭建及测试
【大数据学习记录篇】-持续更新中~篇一:Linux系统下配置java环境篇二:hadoop
伪分布式
搭建(超详细)篇三:hadoop完全分布式集群搭建(超详细)-大数据集群搭建篇四:SparkLocal环境搭建及测试文章目录
beixi@
·
2023-08-27 23:08
大数据技术学习
spark
大数据
分布式
运维
服务器
linux
Spring整合Quartz框架实现分布式定时任务
1、集群使用定时任务的问题:目前大部分在集群中处理定时任务的方式不是正真的分布式处理方式,而是一种
伪分布式
,这种方式存在一个明显的缺陷就是当集群中机器宕机,那么整个定时任务就会挂掉或者不能一次性跑完,会对业务产生严重的影响
懒惰的毛毛虫
·
2023-08-27 21:36
quartz
quartz
spring
分布式
定时任务
Hadoop集群搭建(
伪分布式
)
集群搭建hadoop
伪分布式
软件准备:VMwareWorkstationProcentos7xshell5jdk-8u141-linux-x64.tar.gzhadoop-2.10.1.tar.gz一.
......786
·
2023-08-27 15:11
笔记
hadoop
大数据
centos
大数据时代之java操作hdsf
前面已经讲过hadoop
伪分布式
和分布式环境搭建,参考大数据时代之Hadoop集群搭建本来想直接搞java代码操作hdfs的,想了想还是先简单的复习下命令行操作hdfs吧。
小小的人儿居然已存在
·
2023-08-27 11:49
大数据
大数据
hadoop
hdfs
Hadoop2.4.1
伪分布式
搭建
一、准备Linux环境我这边是用腾讯云服务器,进行远程登录,也可以用VMwareWorkstationPro虚拟机,安装Linux系统进行操作!二、安装JDK,设置环境变量2.1下载linux-JDK,传到Linux系统中,我存在/home/ubuntu路径下2.2进行解压操作,我是放在app文件里,方便管理tar-zxvfjdk-8u511-linux-x64.tar.gz-Capp/2.3设置
有一束阳光叫温暖
·
2023-08-26 13:31
(小白全过程记录)Ubuntu下
伪分布式
Hadoop环境搭建
目录0.准备1.Hadoop
伪分布式
环境搭建2.安装ssh,配置ssh无密码登录3.通过拖拽的方式将文件从windows传到linux桌面5.安装hadoop6.修改hadoop环境变量7.修改配置文件
VaceMan
·
2023-08-24 06:08
大数据技术篇
hadoop
ubuntu
linux
(真)手把手教你配置Ubuntu大数据Hadoop环境
VMware-tools安装基本配置root配置网络配置软件源配置二、创建hadoop用户和文件用户创建小插曲三、FTP配置四、配置java环境及安装eclipse安装eclipse安装java环境五、安装hadoop六、
伪分布式
配置修改配置文件执行名称节点格式化启动测试
大头卒
·
2023-08-24 06:37
Linux
大数据
hadoop
linux
ubuntu
大数据
YARN的
伪分布式
部署
一、配置vimapred-site.xml文件和yarn-site.xml文件进入/opt/software/hadoop-2.8.1/etc/hadoop目录中,然后进入mapred-site.xml文件,进行下图的操作。注:hadoop目录下没有mapred-site.xml文件,只有mapred-site.xml.template模板文件,所以我们需要将mapred-site.xml.tem
怀夕
·
2023-08-24 00:53
实验三 HBase1.2.6安装及配置
系列文章目录文章目录系列文章目录前言一、HBase1.2.6的安装二、HBase1.2.6的配置2.1单机模式配置2.2
伪分布式
模式配置总结参考前言在安装HBase1.2.6之前,需要安装好hadoop2.7.6
r i c k
·
2023-08-22 07:25
分布式数据库原理
nosql数据库
大数据hadoop 新手快速入门经典视频教程
视频下载地址:http://demo.liuy88.cn/jp1185.html第一天hadoop的基本概念
伪分布式
hadoop集群安装hdfsmapreduce演示01-hadoop职位需求状况.avi02
艾希MR
·
2023-08-22 03:20
yarn
伪分布式
配置,运行一个
进入/etc/hadoop下复制mapred-site.xml.templatecpmapred-site.xml.templatemapred-site.xml;然后加入mapreduce.framework.nameyarn然后etc/hadoop/yarn-site.xml文件yarn.nodemanager.aux-servicesmapreduce_shuffle至此配置完成我们启动试一
Ace_Wang
·
2023-08-21 12:19
kafka
伪分布式
安装(2.11版)
1.1、上传kafka安装包kafka_2.11-2.1.1.tgz至/home/bigdata目录下cd/home/bigdatalssudotar-zxvfkafka_2.11-2.1.1.tgz创建软链接ln-skafka_2.11-2.1.1kafka1.2、修改zookeeper、kafka配置文件zookeeper.properties,server.propertiescd/home
行走的数据智能
·
2023-08-21 08:05
单机部署Spark-1.4.0总结(Hadoop-2.6.0采用
伪分布式
)【已测】
安装JDK1.7+【下载网址】http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html环境变量设置(最好不要采用openjdk):exportJAVA_HOME=/usr/java/java-1.7.0_71exportJRE_HOME=$JAVA_HOME/jreexportPATH=$
叫小七的剑客
·
2023-08-20 02:58
(第一篇)记一次python分布式web开发(利用docker)
所以打算在虚拟机上利用docker来部署
伪分布式
的系统,方便环境搭建、开发和二次部署。do
是落阳呀
·
2023-08-20 01:14
Hadoop 分布式环境搭建
文章目录Hadoop分布式环境搭建一Hadoop运行环境搭建1.1虚拟机环境准备1.2安装jdk1.8二Hadoop运行模式2.1本地运行模式2.2
伪分布式
运行模式2.3完全分布式运行模式Hadoop分布式环境搭建一
珹先生
·
2023-08-18 06:53
初学
hadoop
大数据
分布式
linux
在 docker 中快速启动 Apache Hive
介绍在
伪分布式
模式下,在Docker容器内运行ApacheHive,可以提供以下功能:快速启动/调试/为Hive准备测试环境。
程序员 Harry
·
2023-08-15 07:23
Hive
docker
apache
hive
Spark系列之Spark在不同集群中的架构
部署在单台机器上时,既可以用本地(Local)模式运行,也可以使用
伪分布式
模式来运行;当以分布式集群部署的时候,可以根据自己集群的实际情况选择Standalone模式(Spark自带的模式)、YARN-Client
落叶飘雪2014
·
2023-08-14 14:08
Spark
数据计算
Spark
大数据
05-Hadoop集群部署(普通用户)
Hadoop集群部署(普通用户)Hadoop运行模式包括:本地模式、
伪分布式
模式以及完全分布式模式。本地模式:单机运行,只是用来演示一下官方案例。生产环境不用。
书香恋仁心
·
2023-08-14 12:51
Hadoop
hadoop
大数据
分布式
Hadoop用户重新部署HDFS
https://www.jianshu.com/p/eeae2f37a48c我们使用的是root用户来部署的,在生产环境中,一般某个组件是由某个用户来启动的,本篇文章介绍下怎样用hadoop用户来重新部署
伪分布式
K_un
·
2023-08-13 01:45
Zookeeper完全分布式集群的搭建一、集群模式
2、
伪分布式
在zoo.cfg中配置多个server.id,其中ip都是当前机器,而端口各不相同,启动时就是伪集群模式了。这种模式和单机模式产生的问题是一样的。这种模
路远网
·
2023-08-12 00:33
Hbase
伪分布式
搭建与完全分布式搭建
1、
伪分布式
搭建
伪分布式
配置hbase.rootdir配置的本地的文件系统路径。也就是将来hbase文件被flush成文件的存放地址,区别于hdfs分布式文件系统。
南宫萧言
·
2023-08-11 08:23
大数据学习之Hadoop——02Hadoop集群安装
欢迎关注我的CSDN:https://blog.csdn.net/bingque6535一.Hadoop
伪分布式
安装:1.自身免秘钥(前提):$ssh-keygen-trsa-P''-f~/.ssh/id_rsa
Jiang锋时刻
·
2023-08-11 03:28
Hadoop 基础【原理 + 实践】
Hadoop概述1.Hadoop介绍2.Hadoop组成3.HDFS概述4.YARN概述5.MapReduce概述二、Hadoop安装1.Hadoop运行模式1.1本地单例模式(standalone)1.2
伪分布式
集群
喵王叭
·
2023-08-10 09:49
大数据
hadoop
大数据
学习
HBase几种安装方式
HBase几种安装方式一、前提说明二、具体安装步骤一、前提说明Hadoop已经完成安装(如
伪分布式
、全分布式等)zookeeper已经完成安装(全分布式和HA模式需要)环境对应关系如下:hbase环境对应
若兰幽竹
·
2023-08-05 08:05
Hbase
hbase
Kettle8.2与Hadoop2.7.3集成
Kettle8.2与Hadoop2.7.3集成一、Hadoop
伪分布式
安装二、Kettle的配置三、案例演示说明:环境:Windows+虚拟机操作系统:CentOS7Hadoop版本及模式:Hadoop2.7.3
若兰幽竹
·
2023-08-05 08:04
Kettle
大数据
hadoop
kettle
[最新安全稳定,自带haddop生态]Hadoop
伪分布式
ubuntu虚拟镜像
前言:Hadoop免配置最新ubuntu22.04稳定镜像,自带hadoop应用与破解pycharm版本查看:ubuntu22.04hadoop2.7.6hive2.3.6spark3.0.0pycharm20.3.41.介绍相信很多人在初入大数据框架学习的时候都被其复杂的环境配置所困扰,网上配置教程千奇百怪,很多人直接倒在了数据分析师的第一步了。网上现有的教学用的大数据开发环境镜像主要有林子雨老
yasuo626
·
2023-08-05 01:34
资源
hadoop
大数据
spark
ubuntu
linux
Storm(三)CentOS7.5搭建Storm1.2.2集群
一.Storm的下载官网下载地址:http://storm.apache.org/downloads.html这里下载最新的版本storm1.2.2,进入之后选择一个镜像下载二.Storm
伪分布式
安装1
weixin_42073629
·
2023-08-03 09:27
Storm
大数据
Storm(二)CentOS7.5搭建Storm1.2.2集群
一.Storm的下载官网下载地址:http://storm.apache.org/downloads.html这里下载最新的版本storm1.2.2,进入之后选择一个镜像下载二.Storm
伪分布式
安装1
dengshuabi6933
·
2023-08-03 09:23
大数据
ui
python
推荐系统环境搭建
推荐系统环境搭建一、Hadoop
伪分布式
搭建1、环境配置1.1、配置jdk1.2、修改主机名2、安装Hadoop2.1、上传并解压Hadoop2.2、免密配置2.3、配置Hadoop配置文件2.4、启动伪集群二
zznnniuu
·
2023-07-28 16:08
hadoop
大数据
hdfs
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他