E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
集群搭建Hadoop
hadoop
-HDFS
1.详情1.架构图在这里插入图片描述2.读写的流程图在这里插入图片描述2.操作1.使用MAVEN集成对应的jar包org.apache.
hadoop
hadoop
-common2.7.1org.apache.
hadoop
hadoop
-hdfs2.7.12
炽热_3a57
·
2024-02-10 22:45
大数据毕业设计django+vue.js+scrapy租房推荐系统 租房大屏可视化 租房爬虫
hadoop
spark 58同城租房爬虫 房源推荐系统 计算机毕业设计
博主介绍:✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久,选择我们就是选择放心、选择安心毕业✌由于篇幅限制,想要获取完整文章或者源码,或者代做,可以给我留言或者找我聊天。感兴趣的可以先收藏起来,还有大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助更多的人。文章包含:项目选题+项目展示图片(必看)计算机毕业设计吊
B站计算机毕业设计超人
·
2024-02-10 20:52
大数据毕业设计
大数据
课程设计
scrapy
hadoop
大数据毕业设计
计算机毕业设计
爬虫
Hive安装部署
pwd=6666通过XFTP将安装包上传到
hadoop
102的/opt/software目录下安装部署1、解压hive-3.1.3.tar.gz到/opt/module/目录下面进入安装包所在目录cd/
在下区区俗物
·
2024-02-10 20:30
hive
hadoop
数据仓库
CentOS7虚拟机 enss33没有ip地址
参考链接:CentOS7虚拟机enss33没有ip地址的解决方法_ens33没有ip地址_weixin_45307968的博客-CSDN博客在搭建
Hadoop
集群时,需要修改ip地址,但是当我查看时发现并没有显示
我想吃新疆炒米粉!
·
2024-02-10 18:31
tcp/ip
hadoop
网络协议
计算机毕业设计PyFlink+
Hadoop
+Hive民宿数据分析可视化大屏 民宿推荐系统 民宿爬虫 民宿大数据 知识图谱 机器学习 大数据毕业设计
流程1.selenium自动化爬虫框架采集民宿数据约10万条存入.csv文件作为数据集;2.使用pandas+numpy或MapReduce对数据进行数据清洗,生成最终的.csv文件并上传到hdfs;3.使用hive数仓技术建表建库,导入.csv数据集;4.离线分析采用hive_sql完成,实时分析利用Flink之Scala、FlinkSQL完成;5.统计指标使用sqoop导入mysql数据库;6
计算机毕业设计大神
·
2024-02-10 10:56
Hadoop
fs命令
目录前言命令及含义fs-lsfs-rmvfs-mkvfs-getfs-putfs-metatest;前言调用文件系统(FS)Shell命令应使用bin/
hadoop
fs的形式。
November丶Chopin
·
2024-02-10 08:02
专栏02-大数据与数据分析
hadoop
大数据
分布式
HDFS常用命令
HDFS常用命令hdfs命令最常用的就是:hdfsdfs-[linux的命令]通过查看
Hadoop
的命令与hdfs的命令并不相同,且不存在包含关系。仅仅是
hadoop
fs与hdfsdfs可以等价。
昱东i
·
2024-02-10 06:30
hadoop
linux
大数据
hadoop
could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running
学习使用
Hadoop
-3.2.2APIIDEA中使用Java向hdfs写入文件时出现如下错误:couldonlybereplicatedto0nodesinsteadofminReplication(=
昱东i
·
2024-02-10 06:30
hadoop
hadoop
hdfs
big
data
Hbase安装配置(含分布式ZooKeeper)
CentOS6.0192.168.255.128=》server01192.168.255.130=》server02192.168.255.131=》server03/etc/hosts文件中有这些IP和域名的映射关系配置server01在
hadoop
聊码
·
2024-02-10 04:17
DolphinScheduler-3.2.0
集群搭建
本篇文章主要记录DolphinScheduler-3.2.0集群部署流程。注:参考文档:DolphinScheduler-3.2.0生产集群高可用搭建_dophinscheduler3.2.0使用说明-CSDN博客文章浏览阅读1.1k次,点赞25次,收藏23次。DolphinScheduler-3.2.0生产集群高可用搭建,DolphinScheduler原数据存储mysql设置,分布式存储采用h
爱吃辣条byte
·
2024-02-10 01:23
任务调度
大数据
数据仓库
新人数据技术如何快速提升
对于数据平台和工具而言,一般情况下都是在
Hadoop
生态下做开发,但对于一些有特殊要求的团队,Spark和Flink已经得
晓阳的数据小站
·
2024-02-09 23:46
数据开发
数据
java大数据
hadoop
2.9.2 hive操作
1、创建常规数据库表(1)创建表createtablet_stu2(idint,namestring,hobbymap)rowformatdelimitedfieldsterminatedby','collectionitemsterminatedby'-'mapkeysterminatedby':';(2)创建文件student.txt1,zhangsan,唱歌:非常喜欢-跳舞:喜欢-游泳:一般
crud-boy
·
2024-02-09 21:24
java大数据
大数据
hive
hadoop
java大数据
hadoop
2.9.2 Flume安装&操作
1、flume安装(1)解压缩tar-xzvfapache-flume-1.9.0-bin.tar.gzrm-rfapache-flume-1.9.0-bin.tar.gzmv./apache-flume-1.9.0-bin//usr/local/flume(2)配置cd/usr/local/flume/confcp./flume-env.sh.template./flume-env.shvifl
crud-boy
·
2024-02-09 21:54
java大数据
大数据
flume
数据中台 pdf_数据中台到底怎么建设,有人把他说清楚了
本人断断续续从事数据仓库约有五六年经验,在移动公司前三年是负责数据仓库项目实施,后四年开发搞大数据平台,见证了从传统数据仓库转型到大数据平台的全历程,见证了大数据平台从0到1的全部过程,包括第一个MPP数据集市、第一个
Hadoop
weixin_39699121
·
2024-02-09 18:59
数据中台
pdf
Zookeeper原理架构
首先,Zookeeper是Apache的一个java项目,属于
Hadoop
系统,扮演管理员的角色。然后看到官网那些专有名词,实在理解不了。
白纸糊
·
2024-02-09 17:53
大数据
Hadoop
生态圈技术之浅析PageRank计算原理
二、计算环境——
Hadoop
-2.5.2——四台主机——两台NN的HA——两台RM的HA——离线计算框架MapReduce三、计算原理(1)思考
A尚学堂Nancy老师
·
2024-02-09 10:23
k8s,1.14.2
集群搭建
(3):metric server
简介如何查看pod的CPU,内存等资源占用情况?那就需要metricserver。借用官网的例子使用kubectltop命令查看mem-example中memory-demo的资源使用情况。kubectltoppodmemory-demo--namespace=mem-example结果类似如下:NAMECPU(cores)MEMORY(bytes)memory-demo162856960安装运行
Java程序员YY
·
2024-02-09 10:01
Ubuntu搭建计算集群
同时
集群搭建
可以分为硬件和软件两部分,硬件可以参考北京科音自然科学研究中心内容,这里仅是
xk6891
·
2024-02-09 08:56
ubuntu
linux
运维
macos安装local模式spark
文章目录配置说明安装
hadoop
安装Spark测试安装成功配置说明Scala-3.18+Spark-3.5.0
Hadoop
-3.3.6安装
hadoop
从这里下载相应版本的
hadoop
下载后解压,配置系统环境变量
SparklingTheo
·
2024-02-09 08:52
大数据-linux
macos
spark
大数据
SQL条件判断语句嵌套window子句的应用【易错点】--HiveSql面试题25
目录0需求分析1数据准备3数据分析4小结0需求分析需求:表如下user_idgood_namegoods_typerk1
hadoop
1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108
莫叫石榴姐
·
2024-02-09 06:00
SQLBOY1000题
sql
HiveSql面试题
sql
HiveSQL——条件判断语句嵌套windows子句的应用
0需求分析需求:表如下user_idgood_namegoods_typerk1
hadoop
1011hive1221sqoop2631hbase1041spark1351flink2661kafka1471oozie108
爱吃辣条byte
·
2024-02-09 06:58
#
HIve
SQL
大数据
数据仓库
大数据 - Spark系列《五》- Spark常用算子
Spark系列文章:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-09 05:25
spark
大数据
spark
分布式
redis
集群搭建
redis
集群搭建
在开始redis
集群搭建
之前,我们先简单回顾一下redis单机版的搭建过程下载redis压缩包,然后解压压缩文件;进入到解压缩后的redis文件目录(此时可以看到Makefile文件)
角角_d216
·
2024-02-09 03:44
spark原理总体介绍
部署图image.png从部署图中可以看到整个集群分为Master节点和Worker节点,相当于
Hadoop
的Master和Slave节点。
tracy_668
·
2024-02-09 03:48
centos7搭建集群过程
集群搭建
过程第一步:ping测试第二步:修改主机名第三步:修改IP地址与域名映射关系第四步:重启reboot第五步:关闭防火墙第六步:关闭SELinux第七步:免密登录第八步:时钟同步第九步:安装JDK
妖怪书生
·
2024-02-08 21:06
linux新手学习
linux
hadoop
centos
Zookeeper
集群搭建
(3台)
准备工作1、提前安装好
hadoop
102、
hadoop
103、
hadoop
104三台机器,参照:CentOS7集群环境搭建(3台)-CSDN博客2、提前下载好Zookeeper安装包并上传到/opt/software
在下区区俗物
·
2024-02-08 21:35
zookeeper
linux
分布式
Hadoop
集群所有进程查看脚本
/bin/bashforiin
hadoop
102
hadoop
103
hadoop
104doecho---------$i----------ssh$i"$*"done2、赋予文件运行权限chmod+xxcall.sh3
在下区区俗物
·
2024-02-08 21:04
hadoop
大数据
linux
并发编程中一种经典的分而治之的思想!!
有点像
Hadoop
中的MapReduce。ForkJoin是由JDK1.7之后提供的多线程并发处理框架。ForkJoin框架的基本思想是分而治之。什么是分而治之?
冰河团队
·
2024-02-08 19:06
k8s1.20 搭建-抛弃docker使用containerd
其他相关文档:《k8s-1.21高可用
集群搭建
》文章目录前言:1.环境准备1.1关闭无用服务1.2环境和网络1.3依赖安装1.4系统优化2.安装Containerd2.1安装2.2修改配置文件2.3启动
玄德公笔记
·
2024-02-08 19:00
#
02-k8s集群安装
k8s
kubernetes
容器
运维
k8s集群安装
docker load -i 导入后 看不到镜像
dockerload-i导入后看不到镜像[root@centos8~]#dockerimagesREPOSITORYTAGIMAGEIDCREATEDSIZEcsctbb.com/
hadoop
3.3.0084faab5baec7hoursago1.68GBcentos8.1.1911470671670cac14monthsago237MBkubeguide
吕楚王
·
2024-02-08 19:29
Docker
大数据从何学起?大数据脑图+学习路线清晰的告诉你!
【大数据开发学习资料领取方式】:加入大数据技术学习交流扣扣群458345782,点击加入群聊,私信管理员即可免费领取第一阶段linux+搜索+
hadoop
体系Linux基础→sh
yoku酱
·
2024-02-08 18:16
Hadoop
深度运维:Apache集群原地升级Ambari-HDP
作者介绍冯武,目前在瓜子从事大数据集群运维管理,主要负责
Hadoop
、Ansible、Ambari、ClouderaManager等技术栈的维护调优工作。
Summer_1981
·
2024-02-08 18:42
7.0 MapReduce编程实例教程
注意:MapReduce依赖
Hadoop
的库,但由于本教程使用的
Hadoop
运行环境
二当家的素材网
·
2024-02-08 18:11
Hadoop
教程
mapreduce
eclipse
大数据
Docker Swarm集群仓库和可视化管理
DockerSwarm集群仓库和可视化管理1背景2环境3安装操作3.1registary部署3.1.1下载3.1.2部署3.2portainer部署3.2.1下载3.2.2部署1背景本篇是上篇《DockerSwarm
集群搭建
水步天
·
2024-02-08 16:54
服务器环境搭建
docker
容器
运维
Zookeeper的详细介绍及使用场景
Zookeeper是什么Zookeeper分布式服务框架是Apache
Hadoop
的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等
Zal哥哥
·
2024-02-08 15:11
深入理解Spark的前世今生
Spark,是一种通用的大数据计算框架,正如传统大数据技术
Hadoop
的MapReduce、Hive引擎,以及Storm流式实时计算引擎等。
闲云野鹤~~~
·
2024-02-08 14:01
Spark
K8s环境下rook-v1.13.3部署Ceph-v18.2.1集群
operator2.5部署Ceph集群2.6强制删除命名空间2.7验证集群3.Ceph界面1.K8s环境搭建参考:CentOS7搭建k8s-v1.28.6集群详情,把K8s集群完成搭建,再进行Ceph
集群搭建
@TangXin
·
2024-02-08 14:26
Ceph
Kubernetes
kubernetes
ceph
rook
配置集群时间同步
配置集群时间同步:1.时间服务器配置(必须root用户)检查ntp是否安装[root@
hadoop
102桌面]#rpm-qa|grepntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem
sixleaves
·
2024-02-08 14:49
kubernetes
集群搭建
(二进制方式)
kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。这个工具能通过两条指令完成一个kubernetes集群的部署:#创建一个Master节点$kubeadminit#将一个Node节点加入到当前集群中$kubeadmjoin1.安装要求在开始之前,部署Kubernetes集群机器需要满足以下几个条件:一台或多台机器,操作系统CentOS7.x-86_x64硬件配置:2GB
萧兮_瑾琛
·
2024-02-08 14:59
SQL在云计算中的新角色:重新定义数据分析
文章目录1.云计算与数据分析的融合2.SQL在云计算中的新角色3.分布式SQL查询引擎4.SQL-on-
Hadoop
解决方案5.SQL与其他数据分析工具的集成6.实时数据分析与SQL7.SQL在云数据仓库中的角色
程序边界
·
2024-02-08 13:01
sql
云计算
数据分析
No.2大数据入门 | 环境搭建:jdk1.8安装及环境配置
上一篇文章我们安装了虚拟机以及linux操作系统,接下来就要安装在操作系统上运作的大数据核心
hadoop
分布式系统基础架构!
滚滚红尘_8133
·
2024-02-08 11:43
Hadoop
多次格式化后如何解决
产生原因我们在配置
hadoop
中的hdfs时,会设置元数据的存储位置,如图所示要想解决此问题,先停止所有启动的服务stop-all.sh然后删除上图画出来的配置文件,这里三台机器都要删,最后进入
hadoop
(((φ(◎ロ◎;)φ)))牵丝戏安
·
2024-02-08 11:50
笔记
Hadoop
云计算
hadoop
hdfs
Redis核心技术与实战【学习笔记】 - 30.番外篇:Redis学习资料、运维说明及使用规范建议
1.1经典书籍在学习Redis时,场景的需求有三个方面:日常使用操作:比如常见的命令和配置,
集群搭建
等关键技术原理:比如IO模型、AOF和RDB机制等在实际使用时的经验教训,比如Redis响应变慢了怎么办
陈建111
·
2024-02-08 10:20
Redis核心技术学习
redis
学习
CentOS 7搭建
Hadoop
伪分布模式
配置文件:链接:https://pan.baidu.com/s/1rYvnxbyqXOG1DjI63dxbAw提取码:6e1l复制这段内容后打开百度网盘手机App,操作更方便哦1.1修改IP地址在虚拟机的命令行中输入下面的命令,修改网卡的配置文件vi/etc/sysconfig/network-scripts/ifcfg-ens33配置以下信息TYPE=Ethernet#类型为以太网BOOTPRO
clevercondy
·
2024-02-08 09:52
hadoop
linux
centos
2018-07-14
复制/etc/skel目录为/home/tuser1改权限2、编辑/etc/group文件,添加组
hadoop
。
啊鑫007
·
2024-02-08 08:56
Hadoop
生态漏洞修复记录
Hadoop
常用端口介绍HDFSNameNode50070dfs.namenode.http-addresshttp服务的端口50470dfs.namenode.https-addresshttps服务的端口
不会吐丝的蜘蛛侠。
·
2024-02-08 08:30
hadoop
大数据
分布式
Hadoop
2.7配置
core-site.xmlfs.defaultFShdfs://bigdata/ha.zookeeper.quorum192.168.56.70:2181,192.168.56.71:2181,192.168.56.72:2181-->
hadoop
.tmp.dir
不会吐丝的蜘蛛侠。
·
2024-02-08 08:59
Hadoop
hadoop
大数据
hdfs
hive2.3.2配置(带kerberos)
hive-env.shexport
HADOOP
_HEAPSIZE=2048export
HADOOP
_CLIENT_OPTS="-Xmx2g-Xms2g-Djava.net.preferIPv4Stack
不会吐丝的蜘蛛侠。
·
2024-02-08 08:59
Hadoop
hive
hadoop
大数据
高性能hbase配置
hbase-env.shexport
HADOOP
_HOME=/export/
hadoop
export
HADOOP
_CONF_DIR=/export/common/
hadoop
/confexportJAVA_HOME
不会吐丝的蜘蛛侠。
·
2024-02-08 08:59
Hadoop
hbase
数据库
大数据
HDFS执行balance报错:hdfs balance java.io.IOException: Another Balancer is running.. Exiting
现象:1、大数据
Hadoop
集群,HDFS扩容后,为了使各节点数据均衡,执行balance操作。2、启动hdfsbalance时,一直出现其他的balance在执行中,其实并没有执行。
不会吐丝的蜘蛛侠。
·
2024-02-08 08:29
Hadoop
hdfs
hadoop
java
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他