E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
habase伪分布式
flushia系统_新手程序员在线上疯狂滥用Redis!阿里P6: 请你遵守Redis开发约束
级资深架构师吐血总结的一份Java核心知识.pdf,内容覆盖很广,Java核心基础、Java多线程、高并发、Spring、微服务、Netty与RPC、Zookeeper、Kafka、RabbitMQ、
Habase
weixin_39637363
·
2022-08-30 19:37
flushia系统
6.2.3 Spark《RDD高阶》序列化,依赖,持久,容错,分区,广播,累加,TopN《原理初》独立作业提交,洗牌原理,RDD优化《SQL概述》数据抽象,类型《SQL编程》SpkSes,DF&DS
目录第4节RDD编程高阶Spark原理4.1序列化4.2RDD依赖关系4.3RDD持久化/缓存4.4RDD容错机制Checkpoint4.5RDD的分区1、本地模式(取决于核数)2、
伪分布式
(x为本机上启动的
CH_ENN
·
2022-08-17 07:29
大数据技术栈
Centos6下安装
伪分布式
hadoop
安装环境:Centos6Hadoop版本:2.7.2用户名:huweiHadoop2.7.2下载链接:https://pan.baidu.com/s/1AK4CXh2jBKOSa-bN4NA8nQ提取码:bemy下载好的hadoop压缩包如下图所示:提示:全文中所有cd命令,均可在图形化界面点击进入指定文件夹后,右击打开终端而省略。1.为Hadoop创建安装的文件夹cd命令进入/usr/local
胡微_
·
2022-08-10 16:45
大数据
centos
linux
hadoop
ssh
离线数仓-伪分布虚拟机 (所有组件部署完成,全流程运行成功)(数仓4.0-2.0,CDH)
(百度网盘,微云下载…)博主通过学习尚硅谷数仓项目,将部署好的数仓虚拟机打包成ovf文件,由于博主电脑内存较小,博主使用了
伪分布式
集群搭建,全流程运行成功。分享虚拟机镜像文件给予大家学习。
《@书山有径%》
·
2022-08-05 14:05
大数据
数据仓库
linux
大数据
单机节点Kafka配置SASL用户名密码认证
转载请注明出处:http://blog.csdn.net/u012842205/article/details/73188534
伪分布式
Kafka,只用一个节点,zookeeper也用集成在Kafka里的
_nMaple_
·
2022-07-26 16:56
信息安全
开源
运维
大数据
zookeeper
分布式
kafka
安全
hadoop_hadoop-2.6.0-cdh5.7.0源码编译支持压缩以及
伪分布式
部署
并成功进行
伪分布式
集群部署验证压缩功能。|组件名称|组件版本|百度网盘链接2.环境需求以及部署规划2.1硬件环境一台centos6.X虚
whiteblacksheep
·
2022-07-21 07:30
hadoop
Centos hadoop-2.7.7安装
安装过程参考了林子雨教程Hadoop安装教程_
伪分布式
配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客(xmu.edu.cn)http://dblab.xmu.edu.cn/blog
嘻水流年
·
2022-07-13 13:28
虚拟机
hadoop
centos
大数据
hadoop集群搭建——单节点(
伪分布式
)
1.准备工作:前提:需要电脑安装VM,且VM上安装一个Linux系统注意:本人是在学习完尚学堂视频后,结合自己的理解,在这里做的总结。学习的视频是:大数据。为了区分是在哪一台机器做的操作,eg:---Linux表示在Linux上做的操作。2.以下是教程,首先是准备工作:2.1
落月_YU
·
2022-06-24 20:00
大数据-2:Hadoop生态以及HDFS部署
文章目录1.Haoop简介2.安装单机版Hadoop3.Hadoop运行3.1独立运行/Local(Standalone)Mode3.2
伪分布式
集群/Pseudo-DistributedMode3.3全分布式集群
LeeHoo0
·
2022-06-20 12:58
hadoop
big
data
CentOS 7 下 Hadoop全分布式集群搭建
CentOS7下Hadoop全分布式集群搭建Hadoop集群搭建CentOS7下Hadoop全分布式集群搭建一、概念1.单机模式(独立模式)(Local或StandaloneMode)2.
伪分布式
模式(
shu天
·
2022-05-27 08:16
环境配置
数据处理
大数据
Hadoop
集群
Centos上Hadoop集群安装及配置详细教程
Hadoop集群的安装与配置安装环境系统基本配置
伪分布式
安装分布式安装配置安装环境 Centos版本:6.7 VMware版本:15.5.1 JDK版本:jdk-7u67系统基本配置 1.主机名修改
疯狂奔跑的少年
·
2022-05-27 08:42
大数据
Java操作HDFS开发环境搭建以及HDFS的读写流程
Java操作HDFS开发环境搭建在之前我们已经介绍了如何在Linux上进行HDFS
伪分布式
环境的搭建,也介绍了hdfs中一些常用的命令。但是要如何在代码层面进行操作呢?
weixin_33828101
·
2022-05-26 10:37
java
大数据
操作系统
【云计算】Hadoop3.1
伪分布式
环境搭建
1.环境准备Hadoop3.1.1下载:Indexof/dist/hadoop/common/hadoop-3.1.1[这里是图片001]https://archive.apache.org/dist/hadoop/common/hadoop-3.1.1/创建Centos7虚拟机之后,建立三个新文件夹用于存放文件把我们的环境文件放入对应的文件夹2.安装jdk1.8进入java文件夹,解压安装jdk
drhrht
·
2022-05-20 10:11
java
java
后端
HBase的安装和编程实践
的安装和编程实践1.HBase2.4.2安装1.1解压安装包1.2将解压的文件名hbase-2.4.2改为hbase1.3配置环境变量1.4查看HBase版本,确定hbase安装成功2.HBase配置2.1
伪分布式
配置
MirkoLin596
·
2022-05-17 14:07
hadoop
linux
大数据
数据库
hbase
HBase环境搭建与编程实践
2.HBase的运行有三种模式:单机模式、
伪分布式
模式、分
跑得贼鸡儿快
·
2022-05-17 14:07
小白教程
大数据
数据库
nosql
HBase编程实践
文章目录编程环境实验内容安装Hbase单机模式配置
伪分布式
配置HBaseshell命令说明简单命令实践参考资料:编程环境Ubuntu18.04实验内容安装Hbasewgethttps://mirrors.tuna.tsinghua.edu.cn
wr456wr
·
2022-05-17 14:33
大数据
hbase
hadoop
zookeeper
【大数据实验】01:Hadoop3伪分布部署
安装Hadoop3(3)在Hadoop3上执行MR程序Hadoop3环境搭建(伪分布模式)1.实验原理:2.实验步骤(1)安装JDK8(2)配置SSH免密登录(3)安装Hadoop3(4)Hadoop
伪分布式
配置
hello world 999
·
2022-05-06 11:00
数据挖掘
hadoop
【大数据实验】03:HBase
伪分布式
部署
HBase
伪分布式
部署OVERVIEWHBase
伪分布式
部署实验环境1.HBase单机模式安装配置2.HBase
伪分布式
安装部署3.HBaseShell操作4.HBaseWebUI管理(1)Master
hello world 999
·
2022-05-06 11:00
数据挖掘
hadoop
hbase
Docker搭建Hadoop实录
docker搭建hadoop实录鉴于用虚拟机跑hadoop太卡的原因,想在docker上跑hadoop又因为hadoop搭建
伪分布式
环境,需要用到ssh免密登录本机笔者的环境是Mac+DockerDesktop
leaf_shane
·
2022-04-29 16:46
HDFS基础-安装
伪分布式
Hadoop
使用工具①centos6.5②jdk1.8③Hadoop2.7.1【*】虚拟机使用Linux作为操作系统,这也是在生产情况下运行Hadoop的唯一指定操作系统。由于HDFS依赖于Hadoop,Hadoop依赖于Java。所以需要进行Hadoop的安装和jdk的安装。Hadoop的安装非常简单,大家可以去官网上下载到最新的几个版本。在安装Hadoop程序之前,需要安装两个程序,JDK和SSH(安全外
AGi_
·
2022-04-21 09:43
分布式存储
hadoop
hdfs
(大数据方向)分布式实验四:配置eclipse编程环境
目录一.hdfs常用操作指令二.配置eclipse编程环境1.所需工具:①centos②
伪分布式
搭建③eclipse④hadoop⑤hadoop-lib包⑥bin文件⑦可视化插件⑧xftp传输工具2.Eclipse
Java从跨平台到跨行业
·
2022-04-14 21:00
(大数据方向)分布式实验
eclipse
java
hadoop
分布式
(大数据方向)分布式实验六:mapreduce编程实践
注意:此次编程实践,在
伪分布式
上实践,所以首先需要启动
伪分布式
的节点进阶任务代码已上传资源中start-dfs.sh目录一.新建项目二.编写代码(包:com.jxxy.mr.test)(1)WordCount
Java从跨平台到跨行业
·
2022-04-14 21:00
(大数据方向)分布式实验
java
hadoop
eclipse
分布式
mapreduce
(大数据方向)分布式实验一:基于CentOS的
伪分布式
搭建
目录什么是
伪分布式
:一.实验工具二.基本设置1.配置网络如何查看自己的IP地址,子网掩码,网关IP2.关闭防火墙3.关闭selinux4.配置主机名5.配置映射三.Hadoop
伪分布式
搭建1)xshellxftp
Java从跨平台到跨行业
·
2022-04-14 21:29
(大数据方向)分布式实验
hadoop
Hadoop安装部署
Hadoop
伪分布式
搭建1.准备Linux环境①开启网络,ifconfig指令查看ip②修改主机名为自己名字(hadoop)vim/etc/sysconfig/networkNETWORKING=yesHOSTNAME
N暖阳_李维宁
·
2022-04-11 21:00
Linux_hadoop2.2.0
伪分布式
搭建安装
一:准备Linux环境1.1开启网络,ifconfig指令查看ip1.2修改主机名为自己名字(hadoop)centos7连接:https://zhuanlan.zhihu.com/p/375497418vim/etc/sysconfig/networkNETWORKING=ye
and脱发周大侠
·
2022-04-10 20:00
Linux 下Spark on Yarn 部署
若没有看过Spark本地部署与Sparkstandalone部署,可以参考之前的文章Linux下Spark的Local部署(本地Sparkshell和本地
伪分布式
集群)Linux下SparkStandalone
Code_HS
·
2022-03-25 07:19
大数据
分布式
spark
大数据
linux上部署最新版本zookeeper
伪分布式
集群
1、环境准备centos7系统,VM安装centos可参考还不会使用linux?快来通过VMware安装centos系统吧~zookeeper安装包SecureCRT2、zookeeper简介zookeeper也被人打趣为动物管理员,是分布式应用程序的高性能协调服务。它在一个简单的界面中公开了常用服务,例如命名、配置管理、同步和分组服务。您可以现成地使用它来实现数据一致性、集群管理和master选
·
2022-03-22 20:02
javazookeeper
linux上部署最新版本zookeeper
伪分布式
集群
1、环境准备centos7系统,VM安装centos可参考还不会使用linux?快来通过VMware安装centos系统吧~zookeeper安装包SecureCRT2、zookeeper简介zookeeper也被人打趣为动物管理员,是分布式应用程序的高性能协调服务。它在一个简单的界面中公开了常用服务,例如命名、配置管理、同步和分组服务。您可以现成地使用它来实现数据一致性、集群管理和master选
隐 风
·
2022-03-22 07:39
运维部署笔记
linux
zookeeper
分布式
Jbd2:Hadoop
Java4.2.1安装jdk4.2.2修改环境变量4.2.3SSH登录权限设置4.3单机版Hadoop4.3.1安装Hadoop4.3.2修改系统环境变量4.3.3修改hadoop-env.sh文件配置4.4
伪分布式
JxWang05
·
2022-03-18 07:45
Juicy_Big_Data
hadoop
big
data
hdfs
CentOS6.5搭建hadoop完全分布式集群
搭建完全分布式集群-------------------------------前提条件:已经按照之前的步骤搭建完
伪分布式
。
长安一片月
·
2022-02-28 11:06
hadoop学习
hadoop
hadoop完全分布式
克隆
基于CentOS 7安装hadoop
伪分布式
伪分布式
模式也是在一台单机上运行,集群中的结点由一个NameNode和若干个DataNode组,另有一个SecondaryNameNode作为NameNode的备份。
Coder_yy
·
2022-02-28 10:25
BigData
1024程序员节
分布式
hadoop
2020-11-3 centos搭建hadoop完全分布式集群
完全分布式Hadoop集群在虚拟机CentOS7上搭建https://blog.csdn.net/weixin_41627032/article/details/1033289222.搭建Hadoop的
伪分布式
集群
CK_杨小仙
·
2022-02-28 10:37
hadoop
linux
centos
分布式
hadoop之hdfs shell操作
哈哈...安装部署,翻下我以前的帖子,
伪分布式
和分布式环境搭建,以及虚拟机的构建都已经写过了,在此就不多bb了。
MrZhangBaby
·
2022-02-28 10:24
谈笑间学会大数据
大数据
Hadoop
hadoop
hdfs
shell
HDFS的常见Shell操作
一、前提部署好hadoop,
伪分布式
部署还是分布式集群部署都可以,部署参见如下:1、伪分布部署参见:https://blog.csdn.net/weixin_40612128/article/details
大自然的农民工
·
2022-02-28 10:50
hadoop
big
data
hdfs
9、大数据框架HBase搭建
zookeeper```搭建hbase```1、上传解压配置环境变量2、修改hbase-env.sh文件3、修改hbase-site.xml文件4、修改regionservers文件5、同步到所有节点(如果是
伪分布式
不需要同步
liangzai2048
·
2022-02-28 10:46
大数据平台搭建
hbase
big
data
hadoop
好程序员大数据笔记之:Hadoop集群搭建
ps:以下不涉及完全分布式,只说明单机版和
伪分布式
。一、hadoop本地模式和
伪分布式
模式之间的区别1.单机(非分布式)模式。这种模式在一台单机上运行,没有分
好程序员IT
·
2022-02-27 09:10
好程序员
大数据培训
Hadoop
Hadoop
大数据
好程序员
ZooKeeper 集群配置详解
伪分布式
单机配置说明:服务器名称与地址:集群信息(服务器编号,服务器地址,LF通信端口,选举端口)这个配置项的书写格式比较特殊,规则如下:server.N=YYY:A:B其中,N表示服务器编号,YYY表示服务器的
·
2022-02-23 11:36
zookeeper
Hadoop相关文章索引(3)
环境部署hadoop-2.7.0.tar.gzhadoop2.6.0单节点-
伪分布式
模式安装hadoop2.x配置jobHistoryserver(转)Hadoop2.7.2集群搭建详解(三台)基本常识
司小幽
·
2022-02-21 07:43
CarbonData Hadoop
伪分布式
集群搭建
此篇文章基于上一篇carbondata构建过程。1、可为carbondata用户增加管理员权限,避免一些对新手来说比较棘手的权限问题以root账号登录,并输入visudo命令,增加如下图标红所示行。image.png然后再以carbondata用户登录。2、配置SSH免密登录测试ssh是否可用#按提示输入密码xxx,就可以登陆到本机sshlocalhost但这样登录是需要每次输入密码的,我们需要配
文竹小二
·
2022-02-20 23:03
HBase
伪分布式
安装与JAVA基本操作
CentOS单机安装参照:https://www.yiibai.com/hadoop/配置ssh参照:https://blog.csdn.net/liaoguolingxian/article/details/70233910下载&安装hadoop下载:http://www-eu.apache.org/dist/hadoop/common/hadoop-2.8.4/hadoop-2.8.4.tar
像鸣人
·
2022-02-20 03:20
zookeeper搭建
伪分布式
和集群搭建
搭建
伪分布式
注意点:1.复制zookeeper(我解压的zookeeper压缩包重命名为这个)文件,zookeeper2,zookeeper3cpzookeeperzookeeper2-rf2.修改每个文件下的
名字已被使用咋整
·
2022-02-19 07:41
pulsar
伪分布式
安装
0缘起Pulsar是一个支持多租户的、高性能的消息中间件。2018年11月中旬开始初步在线上生产环境使用。pulsar官网,部署教程文档还不是很详细,网络上的教程基本都是官网的翻译版,对于一个没有丰富经验的开发者还是会踩一些坑,本文记录一下相对详细测试集群搭建。1准备资源一台主机(本文以macOS为例)java8运行环境2搭建集群的组成zk集群(3个ZooKeeper节点组成)bookie集群(3
hellozepp
·
2022-02-15 09:30
好玩的大数据之8:Hadoop安装(hadoop-3.2.1,
伪分布式
部署方式)
一、简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(highthroughp
张文斌_2020
·
2022-02-13 20:44
hadoop实战视频教程 Hadoop新手快速入门经典视频教程
视频下载地址:http://demo.liuy88.cn/jp0614.html第一天hadoop的基本概念
伪分布式
hadoop集群安装hdfsmapreduce演示01-hadoop职位需求状况.avi02
来啊小伙子
·
2022-02-11 20:08
大数据Hadoop集群环境搭建(六)之Hadoop
伪分布式
模式安装
Hadoop
伪分布式
模式安装防止环境装错所以先进行环境备份(centeros装了jdk和hadoop)1.问题:克隆出没有IP问题解决:用开网脚本:在克隆新机执行脚本获取IP脚本放在被克隆的主机上在已经有的虚拟机上新建脚本文件
printf200
·
2022-02-07 01:33
CarbonData集成OSS - 基础环境搭建
第一步:构建CarbonData见CarbonData构建过程第二步:搭建
伪分布式
集群见CarbonDatahadoop
伪分布式
集群搭建第三步:OSSbucket管理见CarbonDataossbucket
文竹小二
·
2022-02-05 16:28
hadoop1.x
伪分布式
环境安装(单机)
1.x
伪分布式
环境安装(单机):1.前置准备:配置主机名(不要使用ip),安装jdk及下载hadoop的gz包,配置java和hadoop的环境变量,(openjdk可通过yum安装,但按照官网的方式install
香港记者mo
·
2021-12-28 15:52
【每天五分钟大数据-第一期】
伪分布式
+Hadoopstreaming
说在前面之前一段时间想着把LeetCode每个专题完结之后,就开始着手大数据和算法的内容。想来想去,还是应该穿插着一起做起来。毕竟,如果只写一类的话,如果遇到其他方面,一定会遗漏一些重要的点。LeetCode专题复盘,已经进行了一大半了。大数据计划正式开始有更新大数据想法的时候,想着把平常要注意的问题以及重要的知识点写出来。可是之后想着咱们读者大部分是毕业前后的学生,还是从基础的开始分享。很多人已
技术gogogo
·
2021-12-07 17:00
【每天五分钟大数据-第一期】
伪分布式
+Hadoopstreaming
说在前面之前一段时间想着把LeetCode每个专题完结之后,就开始着手大数据和算法的内容。想来想去,还是应该穿插着一起做起来。毕竟,如果只写一类的话,如果遇到其他方面,一定会遗漏一些重要的点。LeetCode专题复盘,已经进行了一大半了。大数据计划正式开始有更新大数据想法的时候,想着把平常要注意的问题以及重要的知识点写出来。可是之后想着咱们读者大部分是毕业前后的学生,还是从基础的开始分享。很多人已
技术gogogo
·
2021-12-07 17:00
hadoop环境搭建(三)
hadoop的
伪分布式
部署1.配置集群环境(1)修改第一个配置在/opt/module/hadoop-3.1.3/etc/hadoop目录下,设置hadoop-env.sh文件vihadoop-env.sh
南浅(●^o^●)
·
2021-12-06 18:15
hadoop
big
data
大数据
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他