E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据组件
大数据组件
-Flink环境搭建
【大数据学习记录篇】-持续更新中~个人主页:beixi@本文章收录于专栏(点击传送):【大数据学习】持续更新中,感谢各位前辈朋友们支持学习~文章目录1.Flink组件介绍2.环境准备3.Flink搭建1.Flink组件介绍Flink(ApacheFlink)是一个开源的流处理和批处理框架,它具有高性能、低延迟、容错性和灵活性的特点。Flink拥有强大而灵活的数据处理能力,用户可以根据自己的需求选择
beixi@
·
2023-09-05 07:56
大数据技术学习
大数据
flink
运维
Flink基础实操-计算单词出现次数
大数据学习】持续更新中,感谢各位前辈朋友们支持学习~上一篇文章写到了Flink环境搭建,这篇文章接着上篇文章延伸Flink的使用-计算单词出现次数,如果Flink境没有搭建的小伙伴们可以参考我上一篇文章:
大数据组件
beixi@
·
2023-09-05 07:23
大数据技术学习
flink
单例模式
大数据
运维
大数据组件
-Flume集群环境的启动与验证
持续更新中,感谢各位前辈朋友们支持学习~上一篇文章写到了Flume集群环境的安装,这篇文章接着上篇文章延伸Flume集群环境的启动与验证,如果Flume集群环境没有搭建的小伙伴们可以参考我上一篇文章:
大数据组件
beixi@
·
2023-09-03 20:28
大数据技术学习
大数据
flume
分布式
运维
大数据组件
Sqoop-安装与验证
【大数据学习记录篇】-持续更新中~个人主页:beixi@本文章收录于专栏(点击传送):【大数据学习】持续更新中,感谢各位前辈朋友们支持学习~文章目录1.Sqoop组件介绍2.环境介绍3.搭建步骤1.Sqoop组件介绍Sqoop是一个用于在ApacheHadoop和关系型数据库(如MySQL、Oracle等)之间进行数据传输的工具。它提供了简单易用的命令行界面,可以将结构化数据从关系型数据库导入到H
beixi@
·
2023-09-02 12:24
大数据技术学习
大数据
sqoop
hadoop
运维
服务器
大数据组件
-Flume集群环境搭建
【大数据学习记录篇】-持续更新中~个人主页:beixi@本文章收录于专栏(点击传送):【大数据学习】持续更新中,感谢各位前辈朋友们支持学习~文章目录1.Flume集群环境介绍2.搭建环境介绍3.启动HDFS集群环境4.Flume集群环境搭建1.Flume集群环境介绍Flume是一个分布式、可靠和高可用性的数据采集工具,用于将大量数据从各种源采集到Hadoop生态系统中进行处理。在大型互联网企业的数
beixi@
·
2023-09-02 12:24
大数据技术学习
大数据
flume
运维
分布式
Sqoop实操案例-互联网招聘数据迁移
大数据学习】持续更新中,感谢各位前辈朋友们支持学习~上一篇文章写到了Sqoop的安装与验证,这篇文章接着上篇文章延伸Sqoop迁移数据的案例操作,如果Sqoop没有安装成功的小伙伴们可以参考我上一篇文章:
大数据组件
beixi@
·
2023-09-02 12:22
大数据技术学习
sqoop
hadoop
hive
linux
运维
mysql
大数据
开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)
开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)易观CTO郭炜序现在
大数据组件
非常多,众说不一,在每个企业不同的使用场景里究竟应该使用哪个引擎呢
zxfBdd
·
2023-09-01 08:10
大数据
Apache Beam实战指南 | 手把手教你玩转大数据存储HdfsIO
开发者经常要用到不同的技术、框架、API、开发语言和SDK来应对复杂应用的开发,这大大增加了选择合适工具和框架的难度,开发者想要将所有的
大数据组件
熟练运用几乎是一项
yoku酱
·
2023-09-01 04:40
助力工业物联网,工业大数据之服务域:Shell调度测试【三十三】
文章目录知识点07:Shell调度测试知识点08:依赖调度测试知识点09:Python调度测试知识点10:Oracle与MySQL调度方法知识点11:
大数据组件
调度方法知识点07:Shell调度测试目标
Maynor996
·
2023-08-28 19:37
#
大数据工业物联网项目
大数据
【Flink】Flink架构及组件
我们学习大数据知识的时候,需要知道
大数据组件
如何安装以及架构组件,这将帮助我们更好的了解
大数据组件
对于大数据Flink,架构图图下:整个架构图有三种关键组件1、Client:负责作业的提交。
一杯咖啡半杯糖
·
2023-08-24 04:25
Flink实战
flink
大数据
【Flink】Flink提交流程
我们通常在学习的时候需要掌握
大数据组件
的原理以便更好的掌握这个
大数据组件
,Flink实际生产开发过程中最常见的就是提交到yarn上进行调度,模式使用的Per-Job模式,下面我们就给大家讲下Flink提交
一杯咖啡半杯糖
·
2023-08-24 04:23
Flink实战
flink
大数据
返京隔离期间的学习情况
2.3返京,晚上十一点到家2.4开始查看相关资料,制定学习计划2.5--2.11学习华为大数据相关课程经过一周的视频学习,对基于Hapdoop架构
大数据组件
体系有了大概的认识2.12--2.13这两天找到近五年国家发布的大数据标准白皮书和发展报告
万事皆成
·
2023-08-20 11:25
IDEA 中使用 Big Data Tools 连接 Flink Kafka HDFS
IDEA中使用BigDataTools连接
大数据组件
https://mp.weixin.qq.com/s?
JasonLee实时计算
·
2023-08-13 12:02
【基于HBase和ElasticSearch构建大数据实时检索项目】
项目说明二、环境搭建三、编写程序四、测试流程一、项目说明利用HBase存储海量数据,解决海量数据存储和实时更新查询的问题;利用ElasticSearch作为HBase索引,加快大数据集中实时查询数据;使用到的
大数据组件
有
若兰幽竹
·
2023-08-05 08:30
大数据
大数据
hbase
elasticsearch
Kafka原理+操作+实战
干货走起~#回顾4种部署kafka方案,如下链接:《
大数据组件
运维—kafka安装部署》-大宁。
Data宁
·
2023-07-25 10:00
kafka
大数据组件应用
实时计算架构方案
kafka
java
大数据
谈笑间学会大数据—Mac系统ssh免密登录配置教程
也没有很严重的影响,就是简化操作,配置免密就是为了无需重复输入密码,如果你喜欢一直输入密码,不配置也是可以的(小编建议:后续如果启动
大数据组件
,最好还是操作下)具体操作生成公钥ssh-keygen-trsa
MrZhangBaby
·
2023-07-22 01:36
大数据
谈笑间学会大数据
大数据
macos
ssh
HBase探索篇 _ OpenJdk15编译并部署CDH版HBase
但是我们线上在用的HBase的版本是cdh6.3.2-hbase2.1.0,CDH组装的
大数据组件
与原生版本相
大猿小猿向前冲
·
2023-07-18 10:06
又卡了,大数据平台容器化运维走起
方案实施3.0转移数据修改docker默认存储位置3.1手动清理3.2定时容器日志清理3.3限制Docker容器日志大小大家好,我是脚丫先生(o^^o)大数据基础平台的搭建,我采用的是全容器化Apache的
大数据组件
大数据指北
·
2023-07-17 22:12
#
---
大数据运维
大数据
运维
大数据分析工程师面试集锦5--Spark面试指南
Spark作为
大数据组件
中的执行引擎,具备以下优势特性。1.高效性。内存计算下,Spark比MapRedu
数据与智能
·
2023-06-19 14:21
阿里云EMR自定义日志投递与使用实践分享
EMR目前支持了日志管理,即日志客户SLS投递的功能,基于此功能,客户可以将需要的各种
大数据组件
日志收集到自身SLS中,做查询和分析。基于
Apache Spark中国社区
·
2023-06-18 05:42
阿里云
大数据
hadoop
云计算
分布式
猿创征文|大数据开发必备的数据采集工具汇总
它们是市面上
大数据组件
的融合碰撞产生的适合自身的。在数据处理的最
chad__chang
·
2023-06-16 03:23
大数据
大数据学习归纳
修改记录时间内容2020年4月10日第一次发布2020年4月16日添加MaxComputeSQL部分2020年9月14日新增数仓部分笔记大数据架构基础知识题
大数据组件
概念集群:多个人做同样的事分布式:多个人协作
猫腻余腥
·
2023-06-14 18:52
BigData_Study
大数据
学习
hadoop
大数据组件
笔记 -- Hadoop
文章目录一、Hadoop入门1.1基础架构1.2大数据生态圈二、Hadoop集群部署2.1准备2.2配置2.3启动2.4监控页面三、HDFS3.1组成架构3.2HDFSShell3.3HDFS客户端3.4HDFS数据流3.4.1写数据流程3.4.2读数据流程3.5NN和2NN3.5.1工作机制3.5.2集群安全模式3.6DN3.6.1工作机制3.6.2扩容3.6.3退役四、MapReduce4.1
L小Ray想有腮
·
2023-06-13 04:02
BigData
Flume初探
系列前言数据采集和管道的选择有很多,flume、fluentd、logstash等等但是logstash跟elk一套技术栈、fluentd看了眼kafka的sink写的非常复杂版本管理极乱flume同是apache家的项目,和一种
大数据组件
兼容性好得多
ohmyadd
·
2023-06-12 03:38
Hue 编译安装和
大数据组件
集成配置
环境信息因使用要求,需要临时在集群中加装Hue。Hue所在集群的情况如下:CentOS7.4Hue4.10Hadoop3.xHive3.xHBase2.x本篇记录Hadoop集群安装Hue的全过程。Hue编译Hue4.10版本下载可在GitHubRelease下载:ReleaseRelease4.10·cloudera/hue(github.com)在编译前需要在环境环境安装如下内容:yumins
AlienPaul
·
2023-05-04 11:42
史上最全的2023最新大数据面试笔记【200+页,10w+字】
依稀还记得刚开始找工作,从零开始准备八股文的时候,心情超级浮躁,不知道该准备哪些内容(
大数据组件
实在太多了!!!),不知道哪些是重点,在这里感谢一下CSDN平台,提供了大量的面经,让我更快的抓
三石大数据
·
2023-04-21 20:39
面试
hadoop
大数据
算法
大数据组件
知识点总结(5) - Kafka
实现数据生产者与消费者解耦,方便扩展数据流水线;承载大规模数据请求(发送与处理速率不匹配、大量并发);可作为发布订阅系统或数据总线;分布式架构:性能和吞吐量高、容错性强、扩展性好;数据持久性:数据都会(顺序I/O、批量、压缩)持久化到磁盘上,结合多副本策略与应答响应模式避免丢失。基本架构由Producer、Broker、Consumer组成;Broker作为缓冲区,连接Producer和Consu
千反田爱瑠爱好者
·
2023-04-18 15:32
linux内核之select/poll/epoll
一些主流应用IO多路复用技术,突破高并发问题,如nginx、redis、netty,分布式服务框架dubbo,
大数据组件
hadoop、spark、flink、hbase纷纷使用netty作为网络通信组件
吴成伟0122
·
2023-04-12 10:21
linux
运维
服务器
使用Apache Bigtop编译打包开源
大数据组件
——以zk、hadoop、spark、hive为例
ApacheBigtop是一个编译、打包、部署开源
大数据组件
的工具,经过我多方实验,现在将可靠的Bigtop打包
大数据组件
的过程与方法写在这里1.申请一个虚拟机。
runningandrunning
·
2023-04-11 19:49
bigtop
hadoop
spark
大数据
大数据组件
——Hive简介及入门
Hive简介ApacheHive是基于Hadoop的一种数据仓库工具,可以提供类似于SQL的查询语言——HiveQL,用来从存储在分布式存储系统中的大规模数据集合中检索和分析数据。它支持多种文件格式和访问协议,并能够与其他ApacheHadoop组件完美配合使用。Hive旨在将SQL用户和MapReduce程序员带入到一个单一系统中以处理超大型数据集,并将复杂的编程任务简化为类似SQL的声明性查询
'Wu'
·
2023-04-11 19:14
学习日常
大数据
hive
大数据
hadoop
数据湖04:数据湖技术架构演进
这些公司通常采用开源的
大数据组件
来搭建大数据平台。大数据平台经历过“以Hadoop为代表的离线数据平台”、“Lambda架构平台”、“Kappa架构平台”三个阶段。
YoungerChina
·
2023-04-10 09:14
数据湖
大数据
数据湖
大数据组件
安装过程
zookeeper安装的三种模式-jxwch-博客园1、搭建HBase完全分布式集群-365upit-博客园Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS_给力星Storm安装教程_CentOS6.4/Storm0.9.6_给力星使用Maven编译运行Storm入门代码(Stormstarter)_给力星Spark快速入门指南–Spark安装与基础使用_给力星Sq
Oran_5590
·
2023-04-09 23:45
盘点Hadoop生态中 6 个核心的
大数据组件
大数据生态圈中有很多优秀的组件,可谓琳琅满目,按组件类别可分为存储引擎、计算引擎,消息引擎,搜索引擎等;按应用场景可分为在线分析处理OLAP型,在线事务处理OLTP型,以及混合事务与分析处理HTAP型等。有些组件主要存储日志数据或者只允许追加记录,有些组件可更好的支持CDC或者upsert数据。有些组件是为离线分析或批处理而生,有些则更擅长实时计算或流处理。本文整理了几个笔者认为非常重要且仍然主流
大数据技术架构
·
2023-04-07 00:32
分布式
大数据
hadoop
spark
java
【6.824分布式系统笔记】LEC 3: GFS |HDFS、背景、GFS架构、文件读写、一致性
大数据组件
HDFS即GFS开源实现,用于存储非结构化数据。上层还有HBase(BigTable)用于存储结构化数据。再上层就是MapReduce计算框架。
Mengo_x
·
2023-04-06 19:13
分布式系统
MIT
分布式
golang
HDFS
GFS
大数据组件
Hive性能测试和性能优化
目录1、项目介绍2、测试方法3、性能优化3.1Hive原理3.2优化过程1、项目介绍这是我在华为做的最后一个项目,当时在华为海思部门。部门主要是给一些国产芯片做服务器的软件性能测试,包括大数据生态软件Hadoop、Hbase、Hive等。本人负责的是Hive软件的性能测试和性能优化,最终对比Hive在x86和arm服务器上的性能。2、测试方法使用业界sql性能测试工具tpc-ds,选择个别SQL做
Wilbur.Dreamer
·
2023-04-06 19:29
大数据
性能优化
性能测试
hive
hadoop
sql
开源OLAP引擎哪个快? (Presto、HAWQ、ClickHouse、GreenPlum)
现在
大数据组件
非常多,众说不一,在每个企业不同的使用场景里究竟应该使用哪个引擎呢?
探路人
·
2023-04-06 16:06
笔记
hive
Presto
GreenPlum性能
阿里巴巴大数据-大数据技术专家-平台架构
长期招聘,简历投递:
[email protected]
岗位职责:•参与阿里巴巴大数据平台和数据中台建设,承担大数据智能研发平台整体架构工作•负责基础平台架构,
大数据组件
技术应用,探索,
扶至钦
·
2023-04-05 09:40
CDH下配置Flume进行配置传输日志文件(尚硅谷版)
CDH下配置Flume进行日志采集配置说明:许多企业目前都在使用CDH进行大数据开发,CDH具有方便,高效,一键配置,方便管理和搭建
大数据组件
的特点,所以下面说一下尚硅谷的Flume配合Kafka进行日志文件的采集
Jecky不姓码
·
2023-04-05 03:50
Flume
CDH下flume读取文件
flume
hadoop
hdfs
Hadoop
大数据组件
——HDFS
HDFS的优缺点1.优点1.高容错性:数据可字宗保存多个副本,通过增加副本的形式,提高容错性。2.适合处理大数据:数据规模可达到GB,TB甚至是PB级的大数据。文件规模可达到百万。3.可构建在廉价机器上:通过多副本机制,提高可靠性。2.缺点1.不适合低延时数据的访问:毫秒级的存储数据时难以实现的。2.无法高效对大量小文件进行存储。小文件存储的寻址时间会超过读取时间,违反了HDFS的设计目标。同时数
人间咸鸭蛋。
·
2023-04-03 22:58
hdfs
big
data
hadoop
大数据组件
hbase安装部署与测试练习
环境说明10.176.2.101(10.176.2.121)master10.176.2.103zjx0310.176.2.105zjx05cent-os6.5zookeepercdh3.4.5hadoopapache2.7.7jdk1.8.191hbase1.2.7解决ip冲突修改冲突机器中的ipvim/etc/sysconfig/network-scripts/ifcfg-eth0修改ip与主
enjoy_muming
·
2023-04-03 15:11
01 CentOS7中安装kafka并测试生产者消费者
kafka是
大数据组件
中的消息队列,俗语有云:系统卡不卡,全看kafka。kafka的使用能极大的提升的系统吞吐量。本文将阐述在CentOS7中安装kafka。
张力的程序园
·
2023-04-02 20:00
数据湖技术架构
这些公司通常采用开源的
大数据组件
来搭建大数据平台。大数据平台经历过“以Hadoop为代表的离线数据平台”、“Lambda架构平台”、“Kappa架构平台”三个阶段。
潘永青
·
2023-04-01 23:56
大数据开发
hadoop
hive
大数据
基于阿里云官网文档-大数据开发治理平台 DataWorks研读+数据质量扩展+相应的
大数据组件
知识扩展
网址:阿里DataWorkers网址:数据集成概述-大数据开发治理平台DataWorks-阿里云目录网址:阿里DataWorkers网址:数据集成概述-大数据开发治理平台DataWorks-阿里云一、DataWorks工作流程1、数据集成(1)数据同步过程中几个必要的东西2、数据开发(1)写sql,但又不止写sql(2)调度配置3、运维工作(1)大体如下(2)周期任务实例DAG图(有向无环图)(3
ListenerDMT
·
2023-03-31 16:08
大数据扩展知识
阿里云
hive
【Hadoop】
大数据组件
进行监控脚本
用linuxshell对HDP(ambari)部署的大数据服务进程进行监控检查进程脚本#配置需要检查的进程,请以逗号隔开process="NameNode,DFSZKFailoverController"#检查进程脚本status=`jps`arr=(${process//,/})index=0while(($index<${#arr[@]}))doif(echo$status|grep-q"${
我的浪漫与极端
·
2023-03-29 13:28
大数据
hadoop
大数据平台数据处理之Lambda架构和Kappa架构
首先我们来看一个典型的互联网大数据平台的架构,如下图所示:在这张架构图中,大数据平台里面向用户的在线业务处理组件用褐色标示出来,这部分是属于互联网在线应用的部分,其他蓝色的部分属于大数据相关组件,使用开源大数据产品或者自己开发相关
大数据组件
csdn-延
·
2023-03-28 22:50
大数据
架构
hadoop
大数据
离线处理
实时数据
数据架构
企业是如何选择技术栈来做离线数仓
案例一、小型公司首先我们要明白一点小型公司人员并不多其次服务器的配置有不是很高,这时如果要做数仓使用到的
大数据组件
就不可能了,那我们就使用传统数据库来进行讲解。
大数据老哥
·
2023-03-25 15:57
用于生产环境Hadoop集群的搭建
生产可用的大数据平台,应当包含存储(hdfs)、元数据管理(hive)、计算(mr、tez、spark、flink)、资源管理(yarn)等
大数据组件
,以及调度系统(dolphinscheduler),
兴趣使然的码基
·
2023-03-23 02:23
hadoop
big
data
spark
用户画像解决方案
https://fgk.pw/i/bMDNFAJ0916视频+源码+详细课件规划全面:内容涵盖用户标签指标体系、数据分析、数据开发、ETL、搭建开发环境、kafka和hbase等常用
大数据组件
的介绍、画像的产品形态
无涯2016
·
2023-03-21 13:08
CDH 6.3.1 rpm+http安装部署
一、准备工作1.离线部署主要分为三块:a.MySQL离线部署b.CM离线部署c.Parcel⽂件离线源部署2.规划节点MySQL部署组件Parcel文件离线源CM进程
大数据组件
cdh001ParcelActivityMonitorNNRMDNNMcdh002MySqlAlertPublisherEventServerDNNMcdh003HostMonitorServiceMonitorDNNM3
吃货大米饭
·
2023-03-19 20:02
Ranger知识地图
Ranger入门路线1.准备能够上网的电脑,Eclisp开发环境,Linux服务器等;2.掌握Hadoop(HDFS/YARN)
大数据组件
基本功能,环境搭建,命令使用等;3.掌握Ranger的基本功能,
木木与呆呆
·
2023-03-14 01:17
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他