E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop完全分布式布署
【Spark精讲】RDD特性之数据本地化
通过RDD的首选运行位置可以让RDD的某个分区的计算任务直接在指定的主机上运行,从而实现了移动计算而不是移动数据的目的,减少了网络传输的开销,如Spark中
Hadoop
RDD能够
话数Science
·
2023-12-15 07:58
Spark精讲
Spark
大数据
spark
大数据
Spark安装
本文搭建环境为:Mac+ParallelDesktop+CentOS7+JDK7+
Hadoop
2.6+Scala2.10.4+IDEA14.0.5————————————————————————————
weixin_30755393
·
2023-12-15 07:27
大数据
scala
java
新手入门:Spark 部署实战入门
Spark在整个大数据系统中处于中间偏上层的地位,如下图,对
hadoop
起到了补充作用:基本概念Fork/Join框架是Java7提供了的一个用于并行执行任务的框架,是一个把大任务分割成若干个小任务,
weixin_34256074
·
2023-12-15 07:27
scala
java
开发工具
【Hive】
一、Hive是什么Hive是一款建立在
Hadoop
之上的开源数据仓库系统,将
Hadoop
文件中的结构化、半结构化数据文件映射成一张数据库表,同时提供了一种类SQL语言(HQL),用于访问和分析存在
Hadoop
想当运维的程序猿
·
2023-12-15 07:23
hive
hadoop
数据仓库
Hadoop
集群部署实战指南
一、大数据简介1、为什么使用大数据技术?数据量越来越大数据分析的实时性越来越强数据结果的应用越来越广泛结论:我们需要使用大数据技术。2、大数据的定义大数据是收集、整理、处理大容量数据集,并从中获得结果的技术总称。二、大数据应用领域1)广告广告投放广告策略2)电信深度包检测流失分析
wespten
·
2023-12-15 07:53
Hadoop
Hive
Spark
大数据安全
hadoop
ambari
大数据
关于新手入门:Spark 部署实战入门
Spark在整个大数据系统中处于中间偏上层的地位,如下图,对
hadoop
起到了补充作用:基本概念Fork/Join框架是Java7提供了的一个用于并行执行任务的框架,是一个把大任务分割成若干个小任务,
IT资讯科技
·
2023-12-15 07:18
大数据
IT资讯
互联网科技
人工智能
大数据
程序员
编程语言
hadoop
Spark on Yarn 安装配置实验(3.1.1)
子任务二:SparkonYarn安装配置本任务需要使用root用户完成相关配置,已安装
Hadoop
及需要配置前置环境,具体要求如下:1、从宿主机/opt目录下将文件spark-3.1.1-bin-
hadoop
3.2
芝士小熊饼干
·
2023-12-15 07:44
spark
大数据
分布式
hadoop
Spark 单机搭建实战指南
在
Hadoop
的基础上,Spark优化了MapReduce计算模型,提高了数据处理速度,被广泛应用于大数据处理、机器学习、图计算等领域。本文将介绍如何在单台机器上搭建S
wcuuchina
·
2023-12-15 07:13
spark
spark
大数据
分布式
【
Hadoop
】
Hadoop
是一个开源的分布式离线数据处理框架,底层是用Java语言编写的,包含了HDFS、MapReduce、Yarn三大部分。
想当运维的程序猿
·
2023-12-15 07:43
hadoop
大数据
分布式
【
Hadoop
_06】MapReduce的概述与wc案例
1、MapReduce概述1.1MapReduce定义1.2MapReduce优点1.3MapReduce缺点1.4MapReduce核心思想1.5MapReduce进程1.6常用数据序列化类型1.7源码与MapReduce编程规范2、WordCount案例实操2.1本地测试2.2提交到集群测试1、MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架,
温欣2030
·
2023-12-15 06:43
【大数据】
mapduce
【
Hadoop
_05】NN、2NN以及DataNode的工作机制
1、NameNode和SecondaryNameNode1.1NN和2NN工作机制1.2Fsimage和Edits解析1.3CheckPoint时间设置2、DataNode2.1DataNode工作机制2.2数据完整性2.3掉线时限参数设置1、NameNode和SecondaryNameNode1.1NN和2NN工作机制思考:NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在
温欣2030
·
2023-12-15 06:12
【大数据】
hadoop
java
大数据
《PySpark大数据分析实战》-03.了解Hive
对大数据技术栈
Hadoop
、Hive、Spark、Kafka等有深入研究,对Data
wux_labs
·
2023-12-15 06:42
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
Hadoop
集群搭建
https://www.zybuluo.com/DFFuture/note/6268991.查看hostname修改主机名sudogedit/etc/hostname重启reboot2.编辑hostsudogedit/etc/hosts删除127.0.1.1那一行,并添加:192.168.86.140ubuntu1192.168.86.143ubuntu2192.168.86.144ubuntu3
摩V羯座
·
2023-12-15 06:50
Hive安装步骤
目录1、安装前提:
hadoop
全分布2、卸载MariaDB数据库(1)设置防火墙服务开启不启动(2)查看linux自带的MariaDB数据库(3)卸载linux自带的MariaDB数据库3、安装mysql
chde2Wang
·
2023-12-15 06:17
hive
hadoop
数据仓库
大数据组件sqoop部署安装与测试练习
环境说明10.176.2.101master10.176.2.103zjx0310.176.2.105zjx05cent-os6.5zookeepercdh3.4.5
hadoop
apache2.7.7mysql5.17jdk1.8.191sqoop1.4.7
zwb_jianshu
·
2023-12-15 06:05
大数据篇|
Hadoop
发展史及介绍
文章目录一、
Hadoop
介绍1.1、
Hadoop
是什么二、
Hadoop
发展史2.1、创始人2.2、
Hadoop
发展历史/起源2.3、
Hadoop
三大发行版本2.3.1、Apache
Hadoop
2.3.2
五月天的尾巴
·
2023-12-15 03:56
大数据
大数据
hadoop发展史及介绍
【
Hadoop
_03】HDFS概述与Shell操作
1、集群配置(1)集群启动/停止方式总结(2)编写
Hadoop
集群常用脚本(3)常考面试题【1】常用端口号【2】常用配置-文件2、HDFS概述(1)HDFS产出背景及定义(2)HDFS优缺点(3)HDFS
温欣2030
·
2023-12-14 23:04
【大数据】
hadoop
hdfs
大数据
【Hive】——CLI客户端(bin/beeline,bin/hive)
HiveServer22bin/hive、bin/beeline区别3bin/hive客户端hive-site.xml配置远程MateStore地址XMLhive.metastore.uristhrift://
hadoop
102
那时的样子_
·
2023-12-14 23:26
hive
hadoop
数据仓库
【Hive】——概述
1什么是Hive2Hive优点3Hive和
Hadoop
的关系4映射信息记录5SQL语法解析、编译Hive能将一个文件映射成为一张表,文件和表之间的关系称为映射Hive的功能职责是将SQL语法解析编译成为
那时的样子_
·
2023-12-14 23:15
hive
hive
hadoop
大数据
【Hive】——安装部署
1MetaData(元数据)2MetaStore(元数据服务)3MetaStore配置方式3.1内嵌模式3.2本地模式3.3远程模式4安装前准备
hadoop
.proxyuser.root.hosts*
hadoop
.proxyuser.root.groups
那时的样子_
·
2023-12-14 23:15
hive
hadoop
数据仓库
hive-3.1.2环境安装实验
1.修改
hadoop
相关参数1-修改core-site.xml[bigdata@masterhive]$vim/opt/module/
hadoop
/etc/
hadoop
/core-site.xml
hadoop
.proxyuser.bigdata.hosts
芝士小熊饼干
·
2023-12-14 22:09
hive
hadoop
数据仓库
EMR Cluster Kylo Installation Guide
EMRInstallGuideUploadrequiredJarstotheS3EMRbucketyoucreatedabovehttp://central.maven.org/maven2/org/elasticsearch/elasticsearch-
hadoop
夜空最亮的9星
·
2023-12-14 22:55
kafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转)
李克华云计算高级群:292870151195907286交流:
Hadoop
、NoSQL、分布式、lucene、solr、nutchkafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转)问题导读
weixin_34185320
·
2023-12-14 22:18
运维
操作系统
系统架构
Ambari和ClouderManager分析对比
第一章导论运维过
hadoop
集群的人都应该清楚,
hadoop
生态从安装、配置到后期运维是一个非常艰辛的过程,一般来说安装
hadoop
可能就需要几天时间,运维一个小型集群同样需要几个人。
weixin_30481087
·
2023-12-14 20:42
ui
数据库
python
大数据存储技术(1)——
Hadoop
简介及安装配置
目录一、
Hadoop
简介(一)概念(二)
Hadoop
发展历史(三)
Hadoop
三大发行版本(四)
Hadoop
的优势二、
Hadoop
的组成(一)
Hadoop
1.x和
Hadoop
2.x的区别编辑(二)
Hadoop
Francek Chen
·
2023-12-14 19:08
大数据技术基础
Spark编程基础
大数据
hadoop
linux
Scala-初学
HIVE也可以使用
hadoop
配置的压缩方法对中间结果或最终数据进行压缩1importscala.io.Sourcescala>vallines=Source.fromFile(“/usr/local/
Logan_addoil
·
2023-12-14 19:07
大数据学习之旅
scala
开发语言
后端
大数据之旅-问题反思
2.
hadoop
1.0和
hadoop
2.0明显的差异如何理解?
Logan_addoil
·
2023-12-14 19:07
大数据学习之旅
大数据
【python】多任务编程
多任务编程有哪些编程提速的方法单线程串行:不加改造的程序多线程并发:利用CPU和IO可以同时执行的原理,让CPU不会干巴巴等待IO完成多CPU并行/多进程:利用多核CPU的能力,真正的并行执行任务多机器并行:
hadoop
小赵要加油
·
2023-12-14 19:33
python
python
开发语言
sqoop安装及测试(坑解决)
sqoop安装:下载sqoop-1.4.7.bin__
hadoop
-2.6.0.tar.gz(非sqoop-1.4.7.tar.gz)解压修改sqoop-env-template.sh文件名为sqoop-env.sh
Java页大数据
·
2023-12-14 16:27
sqoop
hadoop
大数据
基于
hadoop
-3.3.2安装hbase-2.4.11,报错:object is not an instance of declaring class(已处理)
基于
hadoop
-3.3.2安装hbase-2.4.11,报错:objectisnotaninstanceofdeclaringclass安装之前看了hbase官网,hbase-2.4.11和
hadoop
Java页大数据
·
2023-12-14 16:27
hadoop
hbase
hbase
hadoop
big
data
大数据云计算——Docker环境下部署
Hadoop
集群及运行集群案列
大数据云计算——Docker环境下部署
Hadoop
集群及运行集群案列本文着重介绍了在Docker环境下部署
Hadoop
集群以及实际案例中的集群运行。
星川皆无恙
·
2023-12-14 14:57
大数据系统运维
Linux
Docker
docker
hadoop
spark
大数据
云计算
运维
容器
基于
Hadoop
技术的计算机专业画像平台的设计与研究
完整下载:基于
Hadoop
技术的计算机专业画像平台的设计与研究.docx基于
Hadoop
技术的计算机专业画像平台的设计与研究DesignandResearchofComputerProfessionalProfilingPlatformBasedon
Hadoop
Technology
wu_fei_yu
·
2023-12-14 14:24
信息可视化
idea本地调试
hadoop
遇到的几个问题
MapReduce的toString调用报错:Methodthrew‘java.lang.IllegalStateException‘exception.Cannotevaluateorg.apache.
hadoop
.mapreduc
sunweiking
·
2023-12-14 13:43
intellij-idea
hadoop
java
big data tools连接hdfs报错Exception during driver request: java.lang.IllegalArgumentException:java.net.U
hdfs时报错:Exceptionduringdriverrequest:java.lang.IllegalArgumentException:java.net.UnknownHostException:
hadoop
002
向之 所欣
·
2023-12-14 12:15
报错
大数据
hdfs
java
CentOS7
Hadoop
3.X
完全分布式
环境搭建
环境:windows10、centos7.9、
hadoop
3.x、jdk1.8-8u162
hadoop
各版本jdk各版本特此说明:
Hadoop
版本最好不要选
hadoop
3.1.0,因为官网显示此
hadoop
向之 所欣
·
2023-12-14 12:45
Hadoop
分布式
hadoop
大数据
mapreduce
二百一十八、
Hadoop
——
Hadoop
启动报错Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)
一、目的在完成Flume拓扑结构之聚合的开发案例,启动了hurys23服务器早已安装好的
Hadoop
,结果居然报错了二、报错详情hurys23:Permissiondenied(publickey,gssapi-keyex
天地风雷水火山泽
·
2023-12-14 12:39
Hadoop
hadoop
ssh
idea连接Hbase卡住,没有输出
1.项目场景(idea连接hbase)先检查
hadoop
,zookeeper,hbase启动没有idea连接hbase,创建命名空间,idea一直卡住在日志,没有输出packagecom.wf.hbase
挽风821
·
2023-12-14 12:38
大数据
intellij-idea
hbase
java
报错:Permission denied. user=dr.who is not the owner of inode=/tmp
文章目录用户名问题权限问题修改权限的正确做法用户名问题首先是为什么用户名是dr.who,我可以在core-default.xml文件中可以查到
hadoop
.http.staticuser.user参数默认为
撕得失败的标签
·
2023-12-14 12:37
Hadoop
hdfs
hadoop
权限问题
解决ERROR:Can‘t get master address from Zookeeper;znode data == null报错
发现有全部进程,但是打开hbaseshell进行使用的时候,会报错ERROR:Can’tgetmasteraddressfromZookeeper;znodedata==null,详细请看下图:原因分析:虽然启动
hadoop
夢醒汐月
·
2023-12-14 12:36
hbase
nosql
数据库
hadoop
HBase Error : Can't get master address from ZooKeeper; znode data == null
Error:Can’tgetmasteraddressfromZooKeeper;znodedata==null 首先先检查进程是否都有启动,(JPS)Zookeeper一个 QuorumPeerMain
Hadoop
isOllie
·
2023-12-14 12:33
HBase
HBase启动报错
Error
【大数据】详解 AVRO 格式
2.2.1Records2.2.2Enums2.2.3Arrays2.2.4Maps2.2.5Unions2.2.6Fixed3.Avro的文件存储格式3.1数据编码3.1.1原始类型3.1.2复杂类型3.2存储格式3.3存储格式4.小结1.Avro介绍ApacheAvro是
Hadoop
G皮T
·
2023-12-14 12:19
大数据
大数据
编码格式
avro
文件格式
十三、YARN资源分配调用
在
Hadoop
文件系统中,YARN作为
Hadoop
系统的第三大组件,其中,第二大组件MapReduce组件是基于YARN运行的,即没有YARN无法运行MapReduce程序,所以需要同时学习YARN。
弦之森
·
2023-12-14 12:34
Hadoop
开发语言
hadoop
大数据
hdfs
yarn
Hadoop
3.x
完全分布式
环境搭建Zookeeper和Hbase
集群规划IP地址主机名集群身份192.168.138.100
hadoop
00主节点192.168.138.101
hadoop
01从节点192.168.138.102
hadoop
02从节点
Hadoop
完全分布式
环境搭建请移步传送门先在主节点上进行安装和配置
向之 所欣
·
2023-12-14 12:32
Hadoop
分布式
zookeeper
hbase
hadoop
Flume+Kafka双剑合璧玩转大数据平台日志采集
一般而言,这些系统需要具有以下特征:构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;支持近实时的在线分析系统和类似于
Hadoop
之类的离线分析系统;具有高可扩展性。
java菜
·
2023-12-07 00:17
大数据实战项目_电商推荐系统
一、项目介绍
Hadoop
+Spark+(Python)Scala+SparkSQL+SparkStreaming+MongoDB+Redis+Kafka+Flume+(SpringMVC+vue)1项目介绍
Guff_hys
·
2023-12-06 20:28
大数据开发学习
大数据
服务器
hadoop
spark
zookeeper
flume
kafka
hadoop
学习之路3-MapReduce作业生命周期
本系列均为
hadoop
1版本为准。。MR作业生命周期,即用户从作业提交到运行结束经历的整个过程。如图所示:
hadoop
MR作业生命周期1.作业提交与初始化。
乌拉乌拉儿
·
2023-12-06 18:09
解决安装pyspark所遇到的所有问题
一开始安装
Hadoop
,hive,hbase,spark很顺利。但是到了pyspark时候已
天亮说晚安ii
·
2023-12-06 17:33
大数据
spark
ambari 安装及使用ambari安装
hadoop
记录
大数据平台XSailboat简介_OkGogooXSailboat的博客-CSDN博客1、ambari简介ApacheAmbari是一种基于Web的工具,支持Apache
Hadoop
集群的供应、管理和监控
yujianbujianqwe
·
2023-12-06 17:24
ambari
hadoop
大数据
ambari全攻略流程,认识ambari(一)
ambari介绍ApacheAmbari项目旨在通过开发用于供应、管理和监控Apache
Hadoop
集群的软件来简化
Hadoop
管理。
进无止
·
2023-12-06 17:53
ambari
hadoop
大数据
大数据平台Ambari2.7.4+HDP3.1.4详细安装教程
Ambari已支持大多数
Hadoop
组件,包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。
csdnuser267
·
2023-12-06 17:20
大数据平台
HDP
大数据
上一页
36
37
38
39
40
41
42
43
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他