E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop深入浅出
Azkaban各种类型的Job编写
一、概述原生的Azkaban支持的plugin类型有以下这些:command:Linuxshell命令行任务gobblin:通用数据采集工具
hadoop
Java:运行
hadoop
MR任务java:原生java
__元昊__
·
2024-03-28 21:00
Linux(centos7)部署hive
前提环境:已部署完
hadoop
(HDFS、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL
灯下夜无眠
·
2024-03-28 12:44
Linux
linux
hive
运维
dbeaver
hive客户端
关于HDP的20道高级运维面试题
HDP(HortonworksDataPlatform)的主要组件包括
Hadoop
框架、HDFS、MapReduce、YARN以及
Hadoop
生态系统中的其他关键工具,如Spark、Flink、Hive
编织幻境的妖
·
2024-03-26 15:34
运维
【
Hadoop
】使用Scala与Spark连接ClickHouse进行数据处理
风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域,ApacheSpark是一个广泛使用的高性能、通用的计算框架,而ClickHouse作为一个高性能的列式数据库,特别适合在线分析处理(OLAP)。结合Scala语
音乐学家方大刚
·
2024-03-26 09:56
Scala
Hadoop
hadoop
scala
spark
hadoop
配置免密登录
1.生成密钥ssh-keygen-trsa所有节点都要执行2.所有节点执行ssh-copy-id-i~/.ssh/id_rsa.pub用户名1@主机名1ssh-copy-id-i~/.ssh/id_rsa.pub用户名2@主机名2ssh-copy-id-i~/.ssh/id_rsa.pub用户名3@主机名33.目录授权chmod700~/.sshchmod600~/.ssh/authorized_
我干开发那十年
·
2024-03-24 07:25
ssh
服务器
linux
python基础教程-《Python基础教程(第3版)》PDF高清版
《python基础教程第3版》PDF高清版百度云资源,内涵教材源代码百度云链接:百度云盘提取码:7r7o编辑推荐久负盛名的Python入门经典,是非常优秀的基础教程,
深入浅出
,讲解到位。
编程大乐趣
·
2024-03-24 04:50
【笔记】HDFS基础笔记
启动
hadoop
命令(未配环境变量):进入
hadoop
安装目录输入.
哇咔咔哇咔
·
2024-03-20 04:12
Hadoop
hdfs
笔记
hadoop
大数据
ubuntu
【笔记】Linux常用命令
命令含义cd/home/
hadoop
#把/home/
hadoop
设置为当前目录cd..#返回上一级目录cd~#进入到当前Linux系统登录用户的主目录(或主文件夹)。
哇咔咔哇咔
·
2024-03-20 03:11
Linux
笔记
linux
运维
ubuntu
一听 | 《三字经》为何是蒙学经典?
《三字经》不仅朗朗上口,讲述
深入浅出
,而且知识丰富,其中介绍历史的部分号称是“袖里《通鉴纲目》”,《通鉴纲目》是朱熹和弟子根据司马光《资治通鉴》编写的简明历史读物,在古代社
难得清明
·
2024-03-18 19:38
linux安装单机版spark3.5.0
一、spark介绍是一种通用的大数据计算框架,正如传统大数据技术
Hadoop
的MapReduce、Hive引擎,以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0
爱上雪茄
·
2024-03-17 18:57
大数据
JAVA知识
spark
大数据
分布式
Hadoop
简介
简介大数据简介概述大数据的说法从出现到现在,也经历了十多年时间的发展。而在这十几年的发展过程中,非常多的机构、组织都试图对大数据做出过定义,例如:研究机构Gartner给出了这样的定义:"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。再例如根据维基百科的定义,大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
程序员小郭同学
·
2024-03-16 07:10
hadoop
Hive中的NVL函数与COALESCE函数
ReturnsdefaultvalueifvalueisnullelsereturnsvalueExample:>SELECTnvl(null,'bla')FROMsrcLIMIT1;blaFunctionclass:org.apache.
hadoop
.hive.ql.udf.generic.GenericUDFNv
独影月下酌酒
·
2024-03-15 13:13
Hadoop
大数据
hive
hadoop
数据仓库
hive库表占用空间大小的命令
hdfsdfs-du-h/user/hive/warehouse2、按占用空间大小降序排列hdfsdfs-du/user/hive/warehouse/ipms.db|sort-nr3、查某一个分区占用空间大小(单位G)
hadoop
fs-ls
刀鋒偏冷
·
2024-03-15 13:13
hive
hadoop
数据仓库
03hive数仓安装与基础使用
hiveHive概述Hive是基于
Hadoop
的一个数据仓库工具。
daydayup9527
·
2024-03-14 13:39
hadoop_hive
运维
hadoop
HDFS
(一)HDFS简介及其基本概念 HDFS(
Hadoop
DistributedFileSystem)是
hadoop
生态系统的一个重要组成部分,是
hadoop
中的的存储组件,在整个
Hadoop
中的地位非同一般
weixin_51987187
·
2024-03-12 14:32
笔记
大数据
一本书教你学会思维导图
作者在书中结合了很多具体的商业销售、策划、沟通、领导的案例,
深入浅出
地讲解了思维导图在不同情境下的应用。
零点陆一捌
·
2024-03-12 06:46
大数据开发(
Hadoop
面试真题-卷二)
大数据开发(
Hadoop
面试真题)1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点?如何解决这些问题?
Key-Key
·
2024-03-12 02:15
大数据
hadoop
面试
zookeeper 使用
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的
Hadoop
项目中的一个子项目,并且根据google发表的论文来实现的,接下来我们首先来安装使用下这个软件,然后再来探索下其中比较重要一致性算法
SkTj
·
2024-03-10 02:15
Hive SQL 开发指南(三)优化及常见异常
在大数据领域,HiveSQL是一种常用的查询语言,用于在
Hadoop
上进行数据分析和处理。为了确保代码的可读性、维护性和性能,制定一套规范化的HiveSQL开发规范至关重要。
大数据_苡~
·
2024-03-09 14:13
003-数据开发
hive
Hive优化
数据倾斜
Hive常见异常
hive
join
大数据开发(
Hadoop
面试真题-卷九)
大数据开发(
Hadoop
面试真题)1、Hivecount(distinct)有几个reduce,海量数据会有什么问题?
Key-Key
·
2024-03-09 10:06
大数据
hadoop
面试
大数据开源框架技术汇总
目录系统平台(
Hadoop
、CDH、HDP)监控管理(CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle)文件系统(HDFS、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖
·
2024-03-08 20:48
数据仓库
hive
flume
分布式
scipy
makefile
crm
lighttpd
浅析机器学习:原理、应用及未来展望
本文将
深入浅出
地介绍机器学习的概念、原理、应用领域及未来发展趋势。二、机器学习的定义与原理定义机器学习是使计算机具有学习能力的技术,通过计算
祺稷
·
2024-03-05 15:39
AI
机器学习
《
深入浅出
红黑树:一起动手实现自平衡的二叉搜索树》
一、分析1.红黑树的性质红黑树是一种自平衡的二叉搜索树,它具有以下五个性质:(1)节点是红色或黑色。(2)根节点是黑色。(3)所有叶子节点(NIL节点)是黑色。(4)每个红色节点的两个子节点都是黑色(从每个叶子到根的所有路径上不能有两个连续的红色节点)。(5)从任一节点到其每个叶子的所有路径都包含相同数目的黑色节点。2.红黑树的操作红黑树的主要操作包括插入、删除和查找。其中,插入和删除操作可能会破
GT开发算法工程师
·
2024-03-03 12:31
c++
开发语言
算法
数据结构
【
Hadoop
】在spark读取clickhouse中数据
读取clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties(batchSize:String="
方大刚233
·
2024-03-03 06:54
Hadoop
Scala
hadoop
spark
clickhouse
【
Hadoop
】使用Metorikku框架读取hive数据统计分析写入mysql
一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置,具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:jdbc:connectionUrl:"jdbc:mysql://233.233.233.233:3306/sjjc"user:"root"password:"123456"driver:"com.
方大刚233
·
2024-03-03 06:23
Hadoop
Scala
hadoop
hive
mysql
Spark-sql Adaptive Execution动态调整分区数量,调整输出文件数
看看这个参数如何运用:我们的spark-sql版本:[
hadoop
@666~]$spark-sql--versionWelcometo______/__
不想起的昵称
·
2024-03-02 15:03
hive
spark
hive
数据仓库
hadoop
里需要的lib
hadoop
.so版本不一致导致问题及解决办法
$
HADOOP
_HOME/lib/native/Linux-amd64-64(64位操作系统)$
HADOOP
_HOME/lib/native/Linux-i386-32(32位操作系统)文件夹中的lib
hadoop
.so
weixin_34304013
·
2024-03-02 09:23
大数据
操作系统
嵌入式
hadoop
启动报错处理
1.
hadoop
启动报错1.1.问题1util.NativeCodeLoader:Unabletoloadnative-
hadoop
libraryforyourplatform...usingbuiltin-javaclasseswhereapplicable
akuibpt23191
·
2024-03-02 08:51
大数据
操作系统
Spark整合hive(保姆级教程)
准备工作:1、需要安装配置好hive,如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark,如果不会安装可以跳转到Spark安装与配置(单机版)3、需要安装配置好
Hadoop
万家林
·
2024-02-29 09:47
spark
hive
spark
hadoop
Hadoop
-Yarn-NodeManager是如何监控容器的
一、源码下载下面是
hadoop
官方源码下载地址,我下载的是
hadoop
-3.2.4,那就一起来看下吧Indexof/dist/
hadoop
/core二、上下文在我的博客中的ContainerLaunchprepareForLaunch
隔着天花板看星星
·
2024-02-28 06:15
hadoop
大数据
yarn
Zookeeper实现分布式锁
首先需要确保有
hadoop
102,
hadoop
103,
hadoop
104三台虚拟机并且都安装成功且配置成功了zookeeper。
正在绘制中
·
2024-02-25 23:35
分布式
zookeeper
云原生
深入浅出
虚拟机难(JVM)?现在让它通俗易懂
大家可以想想,JVM是什么?JVM是用来干什么的?在这里我列出了三个概念,第一个是JVM,第二个是JDK,第三个是JRE。相信大家对这三个不会很陌生,相信你们都用过,但是,你们对这三个概念有清晰的知道么?我不知道你们会不会,知不知道。接下来你们看看我对JVM的理解。(1):JVMJVM是JavaVirtualMachine(Java虚拟机)的缩写,JVM是一种用于计算设备的规范,它是一个虚构出来的
编程小世界
·
2024-02-24 05:34
深入浅出
PyTorch学习网址
https://datawhalechina.github.io/thorough-pytorch/
今天是学习的一天
·
2024-02-23 19:38
人工智能
docker搭建
hadoop
hdfs完全分布式集群
1制作
hadoop
镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分,固定IP及启动集群的部分应该跳过。
shangcunshanfu
·
2024-02-20 22:08
hadoop
docker
big
data
基于docker安装HDFS
1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/
hadoop
:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau
core512
·
2024-02-20 22:02
大数据
虚拟机&容器
docker
hdfs
听王晨教授讲《未来教育:素养、学校与教师》的学习心得
向我们展示了一幅对未来教育的擘画发展蓝图,王晨教授接地气的发言和
深入浅出
的阐述,我受益匪浅。现将学习心得表述如下:第一是重构教育的使命。
林清华揭阳惠来小学
·
2024-02-20 21:32
2021-09-25
漫画式科普开创者陈磊,拥有众多喜爱他的读者,他的画风诙谐幽默,文字通俗有趣,道理
深入浅出
,生动形象。让你在捧腹大笑的同时,不经意间就通晓了历史。看过这本
常书
·
2024-02-20 21:36
hive 的map数和reduce如何确定
的文件大小,集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到,该参数不能自定义修改);2.举例:a)假设input目录下有1个文件a,大小为780M,那么
hadoop
Super乐
·
2024-02-20 20:38
hive
hive
(17)Hive ——MR任务的map与reduce个数由什么决定?
MapTask的数量由以下参数决定文件个数文件大小blocksize一般而言,对于每一个输入的文件会有一个mapsplit,每一个分片会开启一个map任务,很容易导致小文件问题(如果不进行小文件合并,极可能导致
Hadoop
爱吃辣条byte
·
2024-02-20 20:27
#
Hive
hive
数据仓库
读魏书生的《教学工作漫谈》有感
魏老师针对学生升入初中后,学习中的有意注意,有意记忆和有意想象的能力都有较大的提高,为了使他们更适应初中教学的要求,曾把心理学知识引进课堂,
深入浅出
地介绍了艾宾浩斯遗忘率曲线以及大脑用进废退的规律。
孙丽_cdb3
·
2024-02-20 19:38
Hadoop
生态圈
是数据分析数据引擎,也是MapReduce模型,支持SQL4.Pig也是一个数据分析引擎,不支持SQL,有自己的PigLatin数据5.Sqoop是数据采集工具,针对关系数据库6.Flume是针对文件等数据的采集7.
Hadoop
陈超Terry的技术屋
·
2024-02-20 19:47
16.用
Hadoop
命令向CDH集群提交MR作业
Redhat7.2非Kerberos集群CDH5.13,OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的,因为使用
hadoop
大勇任卷舒
·
2024-02-20 19:27
【YARN】【Apache
Hadoop
YARN】【架构】
ThefundamentalideaofYARNistosplitupthefunctionalitiesofresourcemanagementandjobscheduling/monitoringintoseparatedaemons.TheideaistohaveaglobalResourceManager(RM)andper-applicationApplicationMaster(AM)
资源存储库
·
2024-02-20 18:48
apache
hadoop
大数据
记一次 Flink 作业启动缓慢
记一次Flink作业启动缓慢背景应用发现,
Hadoop
集群的hdfs较之前更加缓慢,且离线ELT任务也以前晚半个多小时才能跑完。
卢说
·
2024-02-20 18:38
Hadoop
大数据
Flink
flink
大数据
hadoop
hdfs
暴力枚举刷题3
题目来源:[NOIP2002普及组]选数-洛谷参考书目:参考书籍:《
深入浅出
程序设计竞赛(基础篇)》解题思路:通过位运算来枚举数组a的所有子集,然后检查每个恰好包含k个元素的子集的元素和是否为质数。
Sking426
·
2024-02-20 17:45
暴力枚举
算法
数据结构
c++
c语言
暴力枚举刷题2
题目来源:烤鸡-洛谷参考书目:参考书籍:《
深入浅出
程序设计竞赛(基础篇)》解题思路:这道题可以用暴力枚举的方法解决,用10层for循环,再if判断就能找到所有符合的情况。
Sking426
·
2024-02-20 17:14
暴力枚举
算法
数据结构
c++
c语言
暴力枚举刷题1
题目来源:统计方形(数据加强版)-洛谷参考书籍:《
深入浅出
程序设计竞赛(基础篇)》解题思路:这道理适合用暴力枚举求解。我把书上提到的四种枚举方法分享给大家。
Sking426
·
2024-02-20 17:11
暴力枚举
算法
数据结构
c++
c语言
开发语言
JAVA高并发——JDK的并发容器
文章目录1、超好用的工具类:并发集合简介2、线程安全的HashMap3、
深入浅出
ConcurrentHashMap3.1、ConcurrentHashMap的内部数据结构3.2、put()方法的实现3.3
布道师小羊
·
2024-02-20 16:39
#
网络+并发+函数式+JVM
JAVA高阶
java
开发语言
大数据Map Reduce (
Hadoop
) 和 MPP数据库 的区别
原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以MapReduce之间会有一个shuffle的过程对Map的结果排序.Reduce的输入是排好序的.MR分而治之的策略和数据库行业中另一种数据库MassivelyParallelProcessor即大规模并行处理数据库(典型代表AW
山哥Samuel
·
2024-02-20 15:05
Hadoop
大数据的入门学习
由于所做的银行项目与大数据有关,所以个人学习下
hadoop
的知识,希望能对大数据有所了解,不喜勿喷,哪里有不对的希望大神指点
Hadoop
百度百科:
Hadoop
是一个由Apache基金会所开发的分布式系统基础架构
heybo_zhang
·
2024-02-20 14:36
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他