E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop;Spark
大数据学习之 Flink
目录一:简介二:为什么选择Flink三:哪些行业需要四:Flink的特点五:与
spark
Streaming的区别六:初步开发七:Flink配置说明八:环境九:运行组件一:简介Flink是一个框架和分布式得计算引擎
会编程的海贼王
·
2024-01-22 19:58
Flink
大数据
Flink
大数据之Flink的看了就可入门
2Flink对比
Spark
Spark
是一种基于内存的
大数据的江湖
·
2024-01-22 19:56
大数据
#
Flink
flink
大数据学习之Flink,10分钟带你初步了解Flink
流式数据处理的发展和演变1.流处理和批处理2.传统事务处理2.1传统事务处理架构编辑3.有状态的流处理4.Lambda架构5.新一代流处理器七、Flink的特性总结1.Flink的核心特性2.分层API八、FlinkVS
Spark
1
十二点的泡面
·
2024-01-22 19:23
大数据
Flink
大数据
学习
flink
Spark
消费Kafka的两种方式
原理如何保证数据不丢失但是会导致数据重复问题优点缺点Direct(NoReceiver)方式code特点优点缺点介绍kafka版本,kafka0.8支持Receiver和DirectKafka版本大于等于0.10.0,且
Spark
这个程序猿可太秀了
·
2024-01-22 17:57
#
spark
#
kafka
spark内核
kafka
spark
AQE优化和源码
介绍AQE全称是AdaptiveQueryExecution,官网介绍如下PerformanceTuning-
Spark
3.5.0DocumentationAQE做了什么AQE是
Spark
SQL的一种动态优化机制
这个程序猿可太秀了
·
2024-01-22 17:56
spark内核
spark
AQE
Spark源码
Spark优化
Impala:基于内存的MPP查询引擎
Impala的特点1.3、Impala与Hive1、Impala概述1.1、Impala简介Impala是Cloudera公司主导研发的高性能、低延迟的交互式SQL查询引擎,它提供SQL语义,能查询存储在
Hadoop
对许
·
2024-01-22 17:26
Java大数据
#
Hadoop及生态圈
#
数据湖仓
大数据
Hadooop和Hbase是什么关系
HBase是一个基于
Hadoop
的NoSQL分布式列存储数据库,用于存储海量结构化和半结构化数据,并提供高可用、高性能和面向列的操作功能。
wwwyx12138
·
2024-01-22 17:50
hbase
数据库
大数据
大数据平台的硬件规划、网络调优、架构设计、节点规划
1.大数据平台硬件选型要对
Hadoop
大数据平台进行硬件选型,首先需要了解
Hadoop
的运行架构以及每个角色的功能。
小枫@码
·
2024-01-22 17:18
大数据架构师
大数据
Spark
简介
1、什么是
Spark
Spark
是大数据的调度,监控和分配引擎。
shinelord明
·
2024-01-22 17:17
大数据
引擎
spark
大数据
hadoop
hadoop
-hdfs-API
处理
hadoop
配置文件及系统环境1.将
hadoop
所有jar包(除了..以外)添进
hadoop
/lib文件夹备用。2.将linux的
hadoop
/bin导出覆盖windows的
hadoop
/bin。
有七段变化
·
2024-01-22 15:43
CentOS7下
Hadoop
2.9.2、Hive 2.3.6安装与实践
参考的安装文章地址:https://blog.csdn.net/pengjunlee/article/details/81607890实际安装的版本为:
hadoop
2.9.2,hive2.3.6;操作系统
流火星空
·
2024-01-22 14:58
大数据
hive
大数据
hive
java大数据
hadoop
2.9.2 Linux安装mariadb和hive
一、安装mariadb版本centos71、检查Linux服务器是否已安装mariadbyumlistinstalledmariadb*2、如果安装了,想要卸载yumremovemariadbrm-rf/etc/my.cnfrm-rf/var/lib/mysql才能完全删除3、安装mariadb在线网络安装yuminstall-ymariadb-server开启服务systemctlstartma
crud-boy
·
2024-01-22 14:26
java大数据
大数据
linux
mariadb
spark
web框架--play framework 安装与运行
目前网上关于playframework框架的安装配置都是低版本的,现就高版本问题进行编写:1、下载https://www.playframework.com/(1)play2.3之前的版本都是压缩包zip,解压后,命令行运行play旧版本,即早于2.2的Play版本打包在zip文件中。提供了play创建新应用程序、运行测试和运行应用程序的命令。(2)playframework高版本配置高版本的Pl
huazi99
·
2024-01-22 13:37
大数据
java
spark
scala
30、
Spark
内核源码深度剖析之
Spark
内核架构深度剖析
Spark
内核架构深度剖析.png就上面这幅图,详细解释一下自己编写的Application,就是我们自己写的程序,拷贝到用来提交
spark
应用的机器,使用
spark
-submit提交这个Application
ZFH__ZJ
·
2024-01-22 12:43
关于Hive架构原理,尚硅谷
最近学习hive时候,在做一个实操案例,具体大概是这样子的:我在dataGip里建了一个表,然后在
hadoop
集群创建一个文本文件里面存储了数据库表的数据信息,然后把他上传到hdfs后,dataGrip
大数据SQLboy
·
2024-01-22 11:41
Hive
hive
架构
hadoop
48、
Spark
性能优化之性能优化概览
Spark
性能优化概览由于
Spark
的计算本质是基于内存的,所以
Spark
性能程序的性能可能因为集群中的任何因素出现瓶颈:CPU、网络带宽、或者是内存。
ZFH__ZJ
·
2024-01-22 11:31
Spark
- 升级版数据源JDBC2
>在
spark
的数据源中,只支持Append,Overwrite,ErrorIfExists,Ignore,这几种模式,但是我们在线上的业务几乎全是需要upsert功能的,就是已存在的数据肯定不能覆盖,
kikiki5
·
2024-01-22 10:41
Ranger概述及安装配置
二、Ranger2.1、什么是rangerApacheRanger是一个用来在
Hadoop
平台上进行监控,启动服务,以及全方位数据安全访问管理的安全框架。Ranger愿景是在Apa
小枫@码
·
2024-01-22 09:39
大数据运维
安全
运维
【大数据处理技术实践】期末考查题目:集群搭建、合并文件与数据统计可视化
合并文件与数据统计可视化实验目的任务一:任务二:实验平台实验内容及步骤任务一:搭建具有3个DataNode节点的HDFS集群集群环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改
hadoop
汐ya~
·
2024-01-22 09:35
hadoop
linux
虚拟机
java
Spark
groupByKey和reduceByKey
我们通过简单的WC看看两者的区别groupByKey实现WCscala>valrdd=sc.parallelize(List(1,1,2,2,3,3)).map((_,1))rdd:org.apache.
spark
.rdd.RDD
喵星人ZC
·
2024-01-22 09:23
redis-5.0.8集群环境搭建
单机环境安装redis-3.2.8主从复制架构搭建及哨兵配置如果你对redis的安装很陌生,请看完我以上两期教程,对完成此期教程很有帮助2.下载解压redis-5.0.8.tar.gz[xiaokang@
hadoop
01
小刘新鲜事儿
·
2024-01-22 08:15
redis
redis
大数据技术原理及应用课实验3 :熟悉常用的HBase操作
目录实验3熟悉常用的HBase操作一、实验目的二、实验平台三、实验步骤(每个步骤下均需有运行截图)(一)编程实现以下指定功能,并用
Hadoop
提供的HBaseShell命令完成相同任务:1.列出HBase
Blossom i
·
2024-01-22 08:08
大数据编程
大数据
hbase
数据库
Flink on YARN(下):常见问题与排查思路
杨弢(搏远),阿里巴巴计算平台事业部技术专家,Apache
Hadoop
Committer,目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。
Apache Flink
·
2024-01-22 08:33
一张图轻松掌握 Flink on YARN 基础架构与启动流程
杨弢(搏远),阿里巴巴计算平台事业部技术专家,Apache
Hadoop
Committer,目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。
zhisheng_blog
·
2024-01-22 08:02
10
Hadoop
的安全模式及权限介绍
1、HDFS工作流程启动NameNode,NameNode加载fsimage到内存,对内存数据执行editslog日志中的事务操作。文件系统元数据内存镜像加载完毕,进行fsimage和editslog日志的合并,并创建新的fsimage文件和一个空的editslog日志文件。NameNode等待DataNode上传block列表信息,直到副本数满足最小副本条件,这个过程NameNode处于安全模式
水无痕simon
·
2024-01-22 08:02
Hadoop
hadoop
安全
大数据
[flink]一Flink部署|配置文件|提交作业|部署模式|独立模式部署|yarn模式部署
一、集群部署集群规划节点服务器
hadoop
1
hadoop
2
hadoop
3
hadoop
4角色JobManagerTaskManagerTaskManagerTaskManagerTaskManager1、
胖胖学编程
·
2024-01-22 08:30
Flink
flink
Hadoop
基本概论
目录一、大数据概论1.大数据的概念2.大数据的特点3.大数据应用场景二、
Hadoop
概述1.
Hadoop
定义2.
Hadoop
发展历史3.
Hadoop
发行版本4.
Hadoop
优势5.
Hadoop
1.x/2
LzYuY
·
2024-01-22 08:25
Hadoop
hadoop
大数据
分布式
史上最全深度解析Flink内存管理--大数据技术
目前,大数据计算引擎主要使用Java或基于JVM的编程语言实现的,例如Apache
Hadoop
,Apache
Spark
,ApacheDrill,ApacheFlink等。
大数据学习僧
·
2024-01-22 08:50
Flink
大数据
flink
Flink(十四)【Flink SQL(中)查询】
FlinkSQL查询环境准备:#1.先启动
hadoop
my
hadoop
start#2.不需要启动flink只启动yarn-session即可/opt/module/flink-1.17.0/bin/yarn-session.sh-d
让线程再跑一会
·
2024-01-22 08:14
Flink
flink
大数据
Flink是如何管理内存的
在讲Flink管理内存之前要了解下Flink为什么要自己实现内存管理一、Flink为什么要自己实现内存管理在大数据领域,大多数数据相关的开源框架(
Hadoop
、
Spark
、Storm)都是基于JVM运行的
Relian哈哈
·
2024-01-22 08:13
Flink
hive sql转换成MR任务过程
)、WEBUI(浏览器访问hive)2)元数据:Metastore元数据包括:表名、表所属的数据库(默认是default)、表的拥有者、列/分区字段、表的类型(是否是外部表)、表的数据所在目录等;3)
Hadoop
上官沐雪
·
2024-01-22 08:08
hive
hive
Spark
写入kafka(批数据和流式)
Spark
写入(批数据和流式处理)
Spark
写入kafka批处理写入kafka基础#
spark
写入数据到kafkafrompy
spark
.sqlimport
Spark
Session,functionsasFss
中长跑路上crush
·
2024-01-22 07:02
Spark阶段
spark
kafka
linq
spark
入门教程
一、安装scala环境官网下载地址Download|TheScalaProgrammingLanguage,本次使用版本为sacla2.11.12,将压缩包解压至指定目录,配置好环境变量,控制台验证是否安环境是否可用:二、添加pom依赖创建一个maven项目1、添加scala的sdk依赖2.11.12org.scala-langscala-library${scala.version}org.sc
fengchengwu2012
·
2024-01-22 07:02
BigData
spark
大数据
分布式
大数据开发之电商数仓(
hadoop
、flume、hive、hdfs、zookeeper、kafka)
第1章:数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念:为企业制定决策,提供数据支持的集合。通过对数据仓库中数据的分析,可以帮助企业,改进业务流程、控制成本,提高产品质量。数据仓库并不是数据的最终目的地,而是为数据最终的目的地做好准备,这些准备包括对数据的:清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括:业务数据、用户行为数据和爬虫数据等3、业务系统数据库
Key-Key
·
2024-01-22 07:29
大数据
hadoop
flume
kafka
hive
hdfs
看看关系型数据库是怎么吊打
Hadoop
的
所以在不少架构中,会看到使用ETL的方式将数据库送到
Hadoop
中,使用其分布式存储和分布式计算的特点来进行分析。
薛晓刚
·
2024-01-22 02:58
数据库
25.集群异常故障分析——HOSTS
25.1问题情况
Hadoop
集群HDFS、YARN、Hive等服务出现异常告警重启集群异常告警任然存在大量告警Cluster1HDFS可用空间抑制...NameNode运行状况抑制...HDFS金丝雀抑制
大勇任卷舒
·
2024-01-22 02:51
django基于
spark
的电影推荐系统(程序+开题)
因此,基于
Spark
的电影推荐系统的研究具有重
liu10665
·
2024-01-21 21:35
django
python
后端
Spark
读取Hbase内容
不啰嗦直接看代码//初始化Hbase的基本配置valhbaseConf=HBaseConfiguration.create()hbaseConf.set("hbase.zookeeper.quorum","地址")valscan=newScan();scan.addFamily(Bytes.toBytes("c"))//要读取的列簇scan.setTimeStamp(timeStamp)//指定一
小湘西
·
2024-01-21 20:11
Spark
Hbase
spark
hbase
大数据
Spark
读取ElasticSearch
不啰嗦先上代码/***初始化
spark
*/val
spark
Name="Read_ES"val
spark
Conf=new
Spark
Conf().setAppName(
spark
Name).set("
spark
.serializer
小湘西
·
2024-01-21 20:11
Spark
Elasticsearch
spark
elasticsearch
大数据
Hive SQL的编译过程(转)
Hive是基于
Hadoop
的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的HiveETL计算流程,负责每天数百GB的数据存储和分析。
愤怒的谜团
·
2024-01-21 20:40
Hbase笔记
HBase-1.hbase介绍ApacheHBase™是
Hadoop
数据库,是一个分布式,可扩展的大数据存储。当您需要对大数据进行随机,实时读/写访问时,请使用ApacheHBase™。
MFRain
·
2024-01-21 20:24
spark
on yarn安装部署
spark
onyarn安装部署使用的三台主机名称分别为bigdata1,bigdata2,bigdata3。
佛系爱学习
·
2024-01-21 17:11
spark
大数据
分布式
黑猴子的家:API 操作 HDFS 文件下载
1、Code->GitHubhttps://github.com/liufengji/
hadoop
_hdfs.git2、Code@TestpublicvoidgetFileFromHDFS()throwsException
黑猴子的家
·
2024-01-21 16:19
H2O
Spark
ling Water
什么是H2O
Spark
lingWater
Spark
lingWater允许用户将快速,可扩展的H2O机器学习算法与
Spark
的功能相结合。
Liam_ml
·
2024-01-21 16:03
django基于
Hadoop
平台的电影推荐系统(程序+开题报告)
本系统(程序+源码+数据库+调试部署+开发环境)带文档lw万字以上,文末可获取系统程序文件列表开题报告内容研究背景:随着互联网的普及和大数据技术的发展,人们对于个性化推荐的需求越来越高。电影作为一种重要的娱乐方式,其推荐系统的研究也受到了广泛关注。然而,传统的电影推荐系统往往基于用户的历史行为进行推荐,忽略了其他重要的信息,如电影的类型、导演、演员等。此外,由于电影数据的海量性和复杂性,传统的推荐
liu10662
·
2024-01-21 15:51
django
python
后端
ubuntu22.04安装atlas2.0.0
在ubuntu裸机上安装,裸机未安装java,
hadoop
等环境。jdk和maven都使用apt方式安装。sudoaptinstallopenjdk-8-jdksudoa
playmakerlby
·
2024-01-21 15:37
大数据
大数据
maven
【
Spark
】
Spark
运行架构--YARN-Cluster
YARN-Cluster模式启动类图YARN-Cluster实现原理YARN-Cluster作业运行调用图一、YARN-Cluster工作流程图image二、YARN-Cluster工作流程客户端通过
spark
-submit
w1992wishes
·
2024-01-21 14:34
py
spark
中实现scala的contains函数
scala:lines.filter(line=>line.contains("Python"))py
spark
:lines.filter(lambdax:x.find("Python")!
tianchen627
·
2024-01-21 12:25
94.144.145 二叉树的前序遍历、中序遍历、后序遍历
spark
打酱油输入:root=[1,null,2,3]输出:[1,2,3]示例2:输入:root=[]输出:[]示例3:输入:root=[1]输出:[1]提示:树中节点数目在范围[0,100]内-100
spark打酱油
·
2024-01-21 11:58
hadoop
yarn 配置
转自:http://blog.csdn.net/guotong1988/article/details/47130701
晴天哥_王志
·
2024-01-21 09:03
上一页
23
24
25
26
27
28
29
30
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他