E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
研磨hadoop
大数据集成课程设计--Hive多维统计分析案例实战--hive安装--
Hadoop
安装--centos安装
目录一、资源下载二、创建虚拟机三、安装centos7四、安装
hadoop
1、首先将安装包放入我们安装好的centos虚拟机中。
Fdecad
·
2023-10-11 00:53
big
data
hadoop
hdfs
大数据人工智能
Hadoop
--初识
Hadoop
1.大数据,搞事情呢?哪里来的那么多数据?先说段套话“我们生活在这个大数据爆炸的时代,电子设备中存储的数据总量很难预计。IDC曾经发布报告称,2013年数字世界项目统计得出全球数据总量为4.4ZB,预计在2020年将达到44ZB.......”。好了,现在我们来论论,1ZB到底多大?贫穷限制了我的想象力,知识的匮乏限制了我的思维。这个公式貌似是这样的:1ZB=1000EB=1000000PB=10
forsipphone
·
2023-10-11 00:52
大数据人工智能
hadoop架构
hadoop优点
大数据
人工智能
hadoop
大数据学习(2)
Hadoop
-分布式资源计算hive(1)
&&系列专栏:哲学语录:承认自己的无知,乃是开启智慧的大门如果觉得博主的文章还不错的话,请点赞+收藏⭐️+留言支持一下博>主哦1.1什么是Hive1)Hive简介Hive是由Facebook开源,基于
Hadoop
viperrrrrrr
·
2023-10-11 00:19
大数据
hadoop
学习
hive
配置Hive使用Spark执行引擎
MapReduce是
Hadoop
的一种计算模型,它通过将数据
CodeDevMaster
·
2023-10-11 00:49
大数据
hive
spark
hadoop
Hadoop
2.0探讨
文章目录8.
Hadoop
再探讨8.1
Hadoop
的优化与发展8.2HDFS的FA和Federation(
Hadoop
2.0新特性)8.2.1HDFSHA8.2.2HDFSFederation8.3YARN8.3.1MapReduce1.0
几窗花鸢
·
2023-10-10 23:16
大数据应用
hadoop
hadoop
大数据
林子雨 慕课答案2021新版
第一章大数据技术原理与应用—第1讲大数据概述(林子雨老师)课后习题_努力搬砖头的博客-CSDN博客第二章大数据技术原理与应用—第2讲大数据处理架构
Hadoop
(林子雨老师)课后习题_努力搬砖头的博客-CSDN
S_h_a_
·
2023-10-10 23:40
计算机本科课程
大数据
hadoop
安装集群搭建
#查看系统JDK进程[root@
hadoop
102~]#rpm-qa|grepjdkjava-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64java-1.6.0-openjdk
lingdu6633
·
2023-10-10 22:01
大数据
大数据
mysql mapreduce_
Hadoop
MapReduce中把分析数据写入mysql中
展开全部可以只用一行代码来运行MapReduce作业:JobClient.runJon(conf),Job作业运行时参与的四个实62616964757a686964616fe78988e69d8331333433626464体:1.JobClient写代码,配置作业,提交作业。2.JobTracker:初始化作业,分配作业,协调作业运行。这是一个java程序,主类是JobTracker。3.Tas
讲着童话的恶魔
·
2023-10-10 21:43
mysql
mapreduce
Hudi-集成Flink
文章目录集成Flink环境准备sql-client方式启动sql-client插入数据查询数据更新数据流式插入code方式环境准备代码类型映射核心参数设置去重参数并发参数压缩参数文件大小
Hadoop
参数内存优化读取方式流读
迷雾总会解
·
2023-10-10 21:32
大数据
数据库
flink
hadoop
大数据
hudi
第7节 hudi 0.9 与Flink 1.12.2 集成测试
的编译pom中查看,编译时用的flink版本是1.12.2,在官网下载Indexof/dist/flink/flink-1.12.2(1)上传到集群中因为是测试流程,先单节点上传至cdh06解压先不做
hadoop
第一次看海
·
2023-10-10 21:27
hudi
flink
hudi
flink
sql
Hudi第三章:集成Flink
:集成SparkHudi第二章:集成Spark(二)Hudi第三章:集成Flink文章目录系列文章目录前言一、环境准备1.上传并解压2.修改配置文件3.拷贝jar包4.启动sql-client1.启动
hadoop
2
超哥--
·
2023-10-10 21:23
Hudi学习专栏
flink
大数据
本地java程序连接阿里云服务器
Hadoop
失败
问题描述:在阿里云服务器搭建完
Hadoop
环境后,在服务器上用shell命令可以读取写入文件在本地java程序可以连接
hadoop
,并创建路径。
大雄的学习笔记
·
2023-10-10 20:39
spark3使用hive zstd压缩格式总结
ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前
Hadoop
支持的其他压缩格式,本特性使得Hive支持ZSTD压缩格式的表。
雾岛与鲸
·
2023-10-10 19:11
spark
数据仓库
大数据
hive
Spark入门
Spark1.Spark概述2.Spark特点3.RDD概述1.Spark概述什么是Spark回顾:
Hadoop
主要解决,海量数据的存储和海量数据的分析计算。
请给我一串代码好吗
·
2023-10-10 18:00
spark
大数据
juju
Juju不仅让跨多个云提供商的服务部署变得简单易行,还能简化在多个运行着如
Hadoop
等云任务的物理服务器集群上的部署工作。Juju是Canonical的服务建模和部署工具。
ThePromonkeyOf_HeLuo
·
2023-10-10 18:12
Devops
MPP和
hadoop
同样都可以处理大规模数据的MPP数据库架构与
Hadoop
体系架构属于不同的技术体系,二者没有直接的相关性,却常常被放在一起进行比较。
方璧
·
2023-10-10 18:03
hadoop
大数据
分布式
CC00011.spark——|
Hadoop
&Spark.V11|——|Spark.v11|sparkcore|开发环境搭建IDEA|
一、创建工程###---创建一个maven工程:~~~CreateNewProject——>Maven——>Next——>Name:SparkBigData——>Finish——>END###---安装scala插件;能读写HDFS文件###---导入依赖插件,写入pom.xml文件4.0.0com.yanqi.sparkbigdatacom.yanqi.sparkbigdata1.0-SNAPS
yanqi_vip
·
2023-10-10 18:48
大数据
hadoop
spark
java
maven
亲子丼
食材:大鸡腿(1个,最好是新鲜的),白洋葱(1个),香菇(2个),鸡蛋(2个)调料:味啉,昆布酱油,黑胡椒粒(可现场
研磨
成粉状的)准备工作:1.煮上米饭2.将香菇洗净浸泡10分钟后捞出(浸泡香菇的水留着备用
水怪怪
·
2023-10-10 17:47
CentOS 6.5 搭建
Hadoop
2.5.2集群
记录在64位CentOS6.5环境下搭建
Hadoop
2.5.2集群的步骤,同时遇到问题的解决办法,这些记录都仅供参考!
weixin_33892359
·
2023-10-10 16:11
大数据
java
开发工具
自己动手编译
hadoop
-2.5.2源码
搭建环境:Centosx6.564bit(后来:我才知道原来官网上发布的就是64位的,不过这个对我来说是个学习过程,对以后进行其他平台编译的时候有帮助!)1、安装JDK我这里用的是64位机,要下载对应的64位的JDK,下载地址:http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.
weixin_30539835
·
2023-10-10 16:40
hadoop
2.5.2 安装部署
0x00平台环境OS:CentOS-6.5-x86_64JDK:jdk-8u111-linux-x64
Hadoop
:
hadoop
-2.6.50x01操作系统基本设置1.1网络配置1.1.1修改主机名//
weixin_33772645
·
2023-10-10 16:40
大数据
运维
开发工具
Hadoop
2.5.2完全分布式搭建
该博客主要帮助实现
Hadoop
完全分布式环境的搭建:(已经安装好Ubuntu前提下,并且保证虚拟机可以相互ping同还有上网情况下)事先准备:jdk-7u51-linux-x64.tar
hadoop
-2.5.2
原来简单
·
2023-10-10 16:39
hadoop
Hadoop
完全分布环境搭建
ubuntu
Hadoop
-2.5.0-cdh5.2.0 获取源码及编译
笔者在使用
Hadoop
-2.5.0-cdh5.3.2遇到的则是第二种情况。因为从官网下直接下载的二进制ta包下,压根就木有本地库(在apache
hadoop
相同位置)。
该昵称已经被占用
·
2023-10-10 16:09
Hadoop学习专辑
ubuntu14.04 i686搭建
hadoop
-2.5.2
首先保证系统连上网络且更新过$sudoapt-getupdate所需工具包如下:对应为版本具体包名下载地址JDK7u71jdk-7u71-linux-i586.tar.gzhttp://ant.apache.org/bindownload.cgiAnt1.9.4apache-ant-1.9.4-bin.tar.gzhttp://maven.apache.org/download.cgiMaven3
sam喵喵
·
2023-10-10 16:08
hadoop
ubuntu1404
hadoop
单机及伪分布式环境
CentOS集群部署
hadoop
-2.5.2
现在在学习
hadoop
,熬了一两天,看了很多的博客,学到了很多的知识,是前人的无私奉献,让我在
hadoop
的安装部署上少走了不少弯路,特此感谢。
Macanv
·
2023-10-10 16:34
hadoop
hadoop
centos
集群
分布式
大数据
hadoop
2.5.2伪分布式搭建
1.准备Linux环境1.0点击VMware快捷方式,右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段:192.168.8.0子网掩码:255.255.255.0->apply->ok回到windows-->打开网络和共享中心->更改适配器设置->右键VMnet1->属性->双击IPv4->设置windows的IP:192.16
持之以恒_fighting
·
2023-10-10 16:32
大数据
搭建
Hadoop
2.5.2环境
现象是:执行
hadoop
namenode-format时,namenode的存放位置,是
hadoop
的默认路径;然后执行
hadoop
dfsadmin-report,提示java.net.Conn
licongdong
·
2023-10-10 16:01
Nutch2.3.1
hadoop
centos
namenode
Hadoop
2.5.2 安装部署
0x00平台环境OS:CentOS-6.5-x86_64JDK:jdk-8u111-linux-x64
Hadoop
:
hadoop
-2.5.20x01操作系统基本设置1.1网络配置修改主机名//查看当前主机名
dengyu9760
·
2023-10-10 16:01
大数据
运维
开发工具
Hadoop
2.5.2+Zookeeper3.4.6 + HBase0.98.8-
hadoop
2环境搭建
Hadoop
集群Zookeeper集群1配置11zoocfg12分发到集群的其它机器13设置myid身份唯一标识14一些配置参数的解释2启动关闭3启动日志分析4测试验证5注意事项Hbase集群1配置11
码上笔记
·
2023-10-10 16:30
hbase
hadoop
hbase
zookeeper
hadoop
学习笔记-搭建环境
这几天乘着工作之余,学习了一下
hadoop
技术,跌跌撞撞的几天,终于完成了一个初步的
hadoop
的安装及测试,具体如下:动力:工作中遇到的数据量太大,服务器已经很吃力,sql语句运行老半天,故想用大数据技术来改善一下环境
励志重写JDK
·
2023-10-10 16:30
redis
hadoop
Hadoop
-2.5.2平台环境搭建遇到的问题
报错二、Hive2.1mrshuffle不存在2.1.2查看yarn任务:2.1.3问题描述:2.1.4参考文档一、集群环境java-1.8.0-openjdk-1.8.0.181-7.b13.el7
hadoop
程序终结者
·
2023-10-10 15:54
Hadoop生态
报错
hadoop
大数据
分布式
hive
Hadoop
介绍与安装
一
Hadoop
起源
Hadoop
的理论起源主要来自谷歌公司的三大论文,并迅速应用于全球各大互联网公司。因此,学习大数据
Hadoop
是绕不开的一个知识点。今年来,大数据的兴起其
EricTao2
·
2023-10-10 14:58
日常学习记录随笔-大数据之日志(
hadoop
)收集实战
数据收集(nginx)--->数据分析--->数据清洗--->数据聚合计算---数据展示可能涉及到zabix做任务调度我们的项目电商日志分析比如说我们现在有一个系统,我们的数仓建立也要有一个主题我这个项目是什么我要干什么定义方向对用户进行分析,用户信息要懂整个数据的流程1.前端埋点数据2.java业务端数据(比如说支付成功或者支付失败我要发到nginx服务上)3.java(oltp数据)4.ngi
一个诺诺前行的后端程序员
·
2023-10-10 13:23
大数据
学习
hadoop
Hadoop
----Azkaban的使用与一些报错问题的解决
1.因为官方只放出源码,并没有放出其tar包,所以需要我们自己编译,通过查阅资料我们可以使用gradlew对其进行编译,还是比较简单,然后将里面需要用到的服务文件夹进行拷贝,完善其文件夹结构,通常会缺少几个,需要自己创建一个,然后再从其他目录中复制几个到目标服务。再配置各个服务的xml文件即可。2.需要用到MySQL,需要创建azkaban数据库,在构建好的项目中,有一个sql脚本(带start字
沙糖桔45
·
2023-10-10 13:10
hadoop
大数据
分布式
azkaban
Hadoop
----Hive的使用
1.数据库的安装,通过网上教程,使用yum进行安装即可,一定删除干净,下载与Hive版本对应的MySQL。2.Hive的安装,在官网下载.tar.gz包解压至对应目录(/export/server),可以根据网上教程进行一定的配置。3.元数据的初始化,在使用在hive中执行命令,会给MySQL导入一些基本的表于hive3架构4.连接问题,有直接连接还有使用metastore进行连接,但是一般还要再
沙糖桔45
·
2023-10-10 12:59
hadoop
hive
大数据
Java
Flink系列之Flink的应用场景(一)
ApacheFlinkisaframeworkanddistributedprocessingengineforstatefulcomputationsoverunboundedandboundeddatastreamsDT时代,人们对于数据的要求越来越严格,从开始的大数据到现在慢慢转变成快数据,我们很多公司都是基于
Hadoop
当_下
·
2023-10-10 11:23
Python操作Hive数据仓库
Python连接Hive需要使用Impala查询引擎由于
Hadoop
集群节点间使用RPC通信,所以需要配置Thrift依赖环境Thrift是一个轻量级、跨语言的RPC框架,主要用于服务间的RPC通信。
对许
·
2023-10-10 11:32
#
Python
#
Hive
#
数据分析
数据仓库
python
hive
【图文教程】Centos 7下安装
Hadoop
环境说明:系统:Centos7在VM中安装的
hadoop
版本:2.7.7JDK:1.8注意:
Hadoop
需要Java环境的。
凯哥Java
·
2023-10-10 11:15
2019年华为网络精英挑战赛-大数据
1.1.2
Hadoop
特点开放,全球生态;结构化、半结构化、非结构化;高性能、实时。
Wakeupeme328514
·
2023-10-10 09:21
hive和
hadoop
关系
1.hive使用的默认执行引擎是mapreduce作业,相当于执行的hive的sql都会转化成mapreduce的作业的形式2.hive的表使用的默认存储是hdfs的文件系统,相当于表的数据是存储在hdfs文件系统中的3.hive是一种读时模式,也就是说只有在真正要从hdfs文件系统读取数据的时候才会进行类型转换,此时也才知道对应的字段是不是整数等,而mysql数据库系统是一种写时模式,也就是当数
lixia0417mul2
·
2023-10-10 09:03
大数据
Spark 总复习
Spark总复习一、基础题二、简答题1、论述Spark与
Hadoop
的区别1)编程方式2)数据存储3)数据处理4)数据容错2、简述Spark集群的基本运行流程3、论述批量计算、流式计算、实时计算、离线计算的区别
喝着奶茶敲实验
·
2023-10-10 08:14
Spark
spark
scala
big
data
Hadoop
电影评分数据统计分析实验
Hadoop
Hadoop
分布式计算基础是什么?
喝着奶茶敲实验
·
2023-10-10 08:13
Hadoop
hadoop
安装mysql报错信息mysql-community-common(x86-64))=5.7.9isneededbymysql-community-libs
mysql报错信息mysql-community-common(x86-64))=5.7.9isneededbymysql-community-libs解决:清除yum里所有mysql依赖包[root@
hadoop
mysql
neo .zhou
·
2023-10-10 08:02
大数据总结
mysql
Hbase Shell
一些常用的hbaseshell命令示例:hbase中出现16进制字符串的处理:将其用双引号引起来统计hbase全表的总数:hbaseorg.apache.
hadoop
.hbase.mapreduce.RowCounter'table
天之見證
·
2023-10-10 07:00
Hive Hooks介绍
Hive作为SQLon
Hadoop
最稳定、应用最广泛的查询引擎被大家所熟知。但是由于基于MapReduce,查询执行速度太慢而逐步引入其他的近实时查询引擎如Presto等。
叁金
·
2023-10-10 07:43
安装
hadoop
,并配置hue
这里记录一下我搭建
hadoop
的过程。
欧阳小伙
·
2023-10-10 04:18
大数据
hadoop
大数据
分布式
安装spark并配置高可用
0、说明上一篇文章讲了如何安装
hadoop
,这里将spark的详细安装步骤记录在这里。其中实现了spark的高可用配置,即将zookeeper配置到spark集群中。对于资源管理也配置了yarn模。
欧阳小伙
·
2023-10-10 04:14
大数据
spark
大数据
分布式
mac 安装
hadoop
单机
需要配置免密码登录(ssh)brewinstall
hadoop
默认安装最新的,我这里是装的是
hadoop
3.0.0。
横渡
·
2023-10-10 03:22
hdfs中服务器协议详解,
hadoop
rpc服务端初始化和调用过程详解
本文主要描述了
hadoop
rpc服务端的初始化和调用过程,相比客户端的初始化,rpc服务端感觉会简单点,但是调用过程却比客户端复杂一些。
weixin_29215969
·
2023-10-10 03:53
hdfs中服务器协议详解
大数据
Hadoop
生态圈-组件介绍
大数据
Hadoop
生态圈-组件介绍
Hadoop
是目前应用最为广泛的分布式大数据处理框架,其具备可靠、高效、可伸缩等特点。
Hadoop
的核心组件是HDFS、MapReduce。
青社
·
2023-10-10 02:45
大数据
hadoop
大数据
hadoop
spark
hbase
hive
上一页
84
85
86
87
88
89
90
91
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他