大数据组件

【赵渝强老师】基于大数据组件的平台架构

  在了解了大数据各个生态圈所包含的组件及其功能特性后，就可以利用这些组件来搭建一个大数据平台从而实现数据的存储和数据的计算。下图展示了大数据平台的整体架构。  视频讲解如下：大数据平台的Lambda架构【赵渝强老师】大数据平台的Lambda架构大数据平台的Kappa架构【赵渝强老师】大数据平台的Kappa架构  大数据平台的总体架构可以分为五层，分别是：数据源层、数据采集层、大数据平台层、数据仓
赵渝强老师·2024-08-30 16:07

Bigtop 从0开始(上)

本文作者：蔡佳良原文阅读：【巨人肩膀社区·博客·分享】Bigtop从0开始BigTop的应用场景：1.BigTop通过提供预配置的Docker镜像，极大简化了在不同操作系统上编译大数据组件的rpm或deb
atbigapp.com·2024-08-23 23:11

hadoop 分布式集群安装与原理

对很多人来说，学习大数据都止步于集群搭建，即使是那些工作过很多年的JAVA程序员也不例外，我们分享一套能让您轻松完成集群搭建的方法，包括Hadoop的源码编译、企业级环境安装与配置和常用大数据组件的基本原理
海牛大数据_青牛老师·2024-02-13 12:44

我的创作纪念日

当时，作为一名来自南京的大二大数据专业学生，我被分配到了一个大型分布式系统测试团队中，亲身经历了从零构建测试框架、设计复杂测试场景到验证大数据组件性能的过程。这份实践让我意识到，软件测试不仅是
yueqingll·2024-02-11 14:14

Elasticsearch: 非结构化的数据搜索

很多大数据组件在快速原型时期都是Java实现，后来因为GC不可控、内存或者向量化等等各种各样的问题换到了C++，比如zookeeper->nuraft(https://www.yuque.com/treblez
SakamataZ·2024-02-08 22:48

大数据组件部署下载链接

Hadoop2.7下载连接:https://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/Hive2.3.2下载连接：http://archive.apache.org/dist/hive/hive-2.3.2/Zookeeper下载连接：https://archive.apache.org/dist/zookeeper/zookeeper-3.
运维道上奔跑者·2024-02-04 05:13

大数据组件笔记 -- Spark 入门

文章目录一、简介二、Spark运行模式2.1本地模式2.2集群角色2.3Standalone模式2.4Yarn模式2.5总结三、WordCount开发案例实操一、简介Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark历史Spark虽然有自己的资源调度框架，但实际中常用Yarn来进行统一资源管理。Spark框架Spark内置模块SparkCore：实现了Spark的基本功能
L小Ray想有腮·2024-02-03 15:53

循序渐进大数据组件之--Flink

最近学习了Flink，做一些小的总结：（预计这个我会出一个系列）先来看看Flink是什么：（出自官网）ApacheFlink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。ApacheFlink功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以
Alex_81D·2024-02-03 15:20

如何接手一个大数据项目

以下是个人的一些思考总结：了解一个大数据系统，我认为需要从以下几个方面入手：宏观方面：1.了解系统的整体架构和技术栈：需要了解系统中使用的技术栈，包括各种大数据组件和工具，例如Hadoop、Spark、
Mmj666·2024-01-30 15:19

FlinkCdc--Debezium实现Kafka实时监控mysql binlog日志

不管是什么大数据组件大部分都分单机和集群模式，这次我配置的是kafka集群监控mysqlbinlog日志一.Zookeeper和Kafka集群部署我的服务器是三台节点aliyun-bigdata-01aliyun-bigdata
chenzhihao·2024-01-29 09:08

大厂大数据面试题收录（1）

6.在大数据组件中，你们一般用的资源管理框架是哪个？7.那你能谈一下yarn的基础架构及调度流程吗？8.Hivesql到MapReduce转化的流程清楚吗？
后季暖·2024-01-23 11:49

HBase集群写入出现大量毛刺排查

大家好，我是K&D，一名10年以上大数据架构&研发经验从业者，目前主要从事云原生大数据方向设计，擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优问题现象查看监控，业务请求量正常，但是server
KubeData·2024-01-17 02:12

一文了解数据库vs数据仓库vs数据湖

大家好，我是K&D，一名10年以上大数据架构&研发经验从业者，目前主要从事云原生大数据方向设计，擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优以下是本文目录：什么是数据库？
KubeData·2024-01-17 02:11

程序员如何构建自己的「护城河」

大家好，我是K&D，一名10年以上大数据架构&研发经验从业者，目前主要从事云原生大数据方向设计，擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优关注我，持续分享更多技术干货0.何为「护城河」前段时间
KubeData·2024-01-17 02:41

一文详细了解大数据离在线混部架构模型

离在线混部背景介绍随着云原生技术的蓬勃发展，在整个行业内都在探索大数据组件云原生化从而实现资源更精细化的使用，PS：关于云原生和大数据结合之后文章单独来写），在这其中就以大数据离在线混部技术为代表首先尝试将资源进行波峰波谷式的进行充分利用
KubeData·2024-01-17 02:09

nifi详细介绍--一款开箱即用、功能强大可靠，可用于处理和分发数据的大数据组件

目录目录一、引言二、NiFi的历史背景介绍三、NiFi是什么？核心特性应用领域四、NIFI入门五、NiFi工作流程六、实际应用场景七、优势总结一、引言NiFi（ApacheNiFi），全名为“NiagaraFiles”，是一款开源的数据集成工具，由Apache软件基金会开发和维护。它是一个易于使用、功能强大且可靠的系统，用于处理和分发数据的大数据数据组件。它以直观的用户界面、可视化的设计和强大的数
大壮001·2024-01-15 23:30

Flink（十二）【容错机制】

前言最近已经放假了，但是一直在忙一个很重要的自己的一个项目，用JavaFX和一个大数据组件联合开发一个功能，也算不枉我学了一次JavaFX，收获很大，JavaFX它作为一个GUI开发语言，本质还是Java
让线程再跑一会·2024-01-14 13:22

如何构建大数据指标分析系统

技术的第一性原则是解决问题，不同的技术方案都能实现同样的需求，那在公司原有技术架构上，如何设计技术架构，尽量用最少的大数据组件解决多种应用场景问题。
i7杨·2024-01-04 03:37

2024年统一大数据应用场景的技术

前言：中间件/大数据组件的出现是为了解决特定的应用场景。
i7杨·2024-01-04 03:07

hadoop 3.3.3集群安装部署

前言大数据开发涉及的组件和方向比较多，由于之前项目使用的都是成熟的大数据产品CDH或者HDP，里面封装了多个大数据组件，对于企业而言，无论是体验还是维护都比较友好，但对于开发人员来说，太过于集成，反而不太好了解各个组件具体的配置细节
以茉萱·2023-12-24 02:18

【基础知识】大数据组件YARN简述

YARN是一个分布式的资源管理系统。YARN是Hadoop系统的核心组件，主要功能包括负责在Hadoop集群中的资源管理，负责对作业进行调度运行以及监控。ResourceManager负责集群的资源管理与调度，为运行在YARN上的各种类型作业分配资源。非HA集群部署在EMR的Master节点上，HA集群部署在EMR的多个Master节点上，保证了高可用性。NodeManager负责节点的资源管理、
偏振万花筒·2023-12-23 22:28

【基础知识】大数据组件HBase简述

HBase是一个开源的、面向列（Column-Oriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。只是面向列，不是列式存储mysqlvshbasevsclickhouseHMaster负责HBase中RegionServer的管理，包括表的增删改查；RegionServer的负载均衡，Region分布调整；Regi
偏振万花筒·2023-12-23 22:54

Kylin基础知识点解析与应用探索

：学习内容：学习时间：学习产出：Kylin简介什么是KylinKylin的历史和发展Kylin在大数据领域的地位和作用Kylin架构Kylin的组成部分和模块Kylin的工作原理和流程Kylin与其他大数据组件的关系和集成
阿猫的故乡·2023-12-23 04:18

【基础知识】大数据组件HDFS简述

HDFS是经典的Master和Slave架构，每一个HDFS集群包括一个NameNode和多个DataNode。NameNode管理所有文件的元数据信息，并且负责与客户端交互。DataNode负责管理存储在该节点上的文件。每一个上传到HDFS的文件都会被划分为一个或多个数据块，这些数据块根据HDFS集群的数据备份策略被分配到不同的DataNode上，位置信息交由NameNode统一管理。NameN
偏振万花筒·2023-12-18 22:06

Flume+Kafka+Storm+Redis构建大数据实时处理系统

如何一步步构建我们的实时处理系统（Flume+Kafka+Storm+Redis）实时处理网站的用户访问日志，并统计出该网站的PV、UV将实时分析出的PV、UV动态地展示在我们的前面页面上如果你对上面提及的大数据组件已经有所认识
Summer_1981·2023-12-15 06:16

大数据组件sqoop部署安装与测试练习

环境说明10.176.2.101master10.176.2.103zjx0310.176.2.105zjx05cent-os6.5zookeepercdh3.4.5hadoopapache2.7.7mysql5.17jdk1.8.191sqoop1.4.7(2.x不稳定,使用1.x)sqoop安装本人将sqoop部署在master机器上，mysql安装在zjx03上1下载sqoop应用包mkdi
zwb_jianshu·2023-12-15 06:05

【Ambari】HDP单机自动化安装（基础环境和MySQL脚本一键安装）

目录一、版本信息1.1大数据组件版本1.2ApacheComponents1.3Databases支持版本二、安装包上传三、服务器基础环境配置3.1配置修改3.2服务器环境配置3.3MySQL数据库安装四
阿龙先生啊·2023-11-27 11:51

大数据组件图谱

大数据组件图谱文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台文件系统HDFSHadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统
饮水思源09·2023-11-25 07:40

实时监控：基于流计算 Oceanus ( Flink ) 实现系统和应用级实时监控

作者：吴云涛，腾讯CSIG高级工程师本文描述了如何使用腾讯云大数据组件来完成实时监控系统的设计和实现，通过实时采集并分析云服务器（CVM）及其App应用的CPU和内存等资源消耗数据，以短信、电话、微信消息等方式实时反馈监控告警信息
腾讯云大数据·2023-11-25 06:41

利用 Apache Ranger 管理 Amazon EMR 中的数据权限

在大数据领域，ApacheRanger是最受欢迎的授权选择之一，它支持所有主流大数据组件，包括HDFS、Hive、HBase、Trino等组件。
亚马逊云开发者·2023-11-23 14:43

Kerberos安全认证-连载11-HBase Kerberos安全配置及访问

HBaseShell操作HBase5.JavaAPI操作HBase技术连载系列，前面内容请参考前面连载10内容:Kerberos安全认证-连载10-HiveKerberos安全配置及访问_IT贫道的博客-CSDN博客大数据组件
IT贫道·2023-11-22 04:58

如何应对大数据分析工程师面试Spark考察，看这一篇就够了

Spark作为大数据组件中的执行引擎，具备以下优势特性。高效性。内存计算下，Spark比MapReduce快100倍。Spark使用
AI科技大本营·2023-11-20 18:22

大数据组件spark hadoop hive简单介绍

spark单机启动spark-shell集群启动/usr/local/spark-2.4.5-bin-hadoop2.7/sbin/start-all.sh提交任务1.打包python环境:whereispython#/usr/local/python3/zip-rpy_env.zippy_env2.spark提交参考：pyspark打包依赖包&使用python虚拟环境notebook集成：htt
转身之后才不会·2023-11-19 23:29

奇瑞金融业务面一面

3.标签体系建设二、面试总时长：55分钟三、面试的的具体内容如下：1.自我介绍2.讲一下你是用过的大数据组件3.介绍一下目前单位的数据流向，以及用到哪些技术4.介绍一下目前单位数仓的架构？
柳小葱的狂热粉·2023-11-19 12:07

开源大数据组件

集群：DataSphereStudiohttps://gitee.com/WeBank/DataSphereStudio?utm_source=alading&utm_campaign=repoBI报表：DataEasehttps://github.com/dataease/dataease集群管理HDP/CDH/CDP–Todo
刘金宝_Arvin·2023-11-19 01:33

Hive3 on Spark3配置

1、软件环境1.1大数据组件环境大数据组件版本Hive3.1.2Sparkspark-3.0.0-bin-hadoop3.21.2操作系统环境OS版本MacOSMonterey12.1Linux-CentOS7.62
江畔独步·2023-11-10 13:37

数仓面经大框架

1.计算机及编程基础：操作系统：进程、线程等数据结构：算法题计算机网络：分层等Linux：常用的指令MySQL（重点）Java/Python基础排序算法（快排、归并等）2.大数据组件Hadoop:HDFS
Young_IT·2023-11-09 02:03

大数据组件 in K8S

作者颜卫，腾讯高级后台开发工程师，专注于Kubernetes大规模集群管理和资源调度，有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。大数据的发展历史大数据技术起源于Google在2004年前后发表的三篇论文，分布式文件系统GFS、分布式计算框架MapReduce和NoSQL数据库系统BigTable，俗称"三驾马车"。在论文发表后，Lucene
无精疯·2023-11-06 23:22

大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经

大数据组件学习路线：阶段1：学习绿色箭头的知识点；阶段2：学习红色箭头的知识点；阶段3：学习蓝色箭头的知识点；1Hadoop1.1Hadoop1.x与Hadoop2.x的区别1.2HDFS架构（1）NameNode
For Coding·2023-10-28 21:50

ambari安装hdp时，ambari-hdp-*.repo中baseurl为空

在ambari安装大数据组件，进行到第9步Install,StartandTest时，出错！
只爱大锅饭·2023-10-20 03:32

大数据 | Spark on K8S 在有赞的实践

本文主要介绍了随着云原生时代的到来，经历7年发展的有赞离线计算平台如何拥抱云原生，通过容器化改造、弹性伸缩、大数据组件
xyzhang2018·2023-10-14 00:21

CDH 集群离线部署、大数据组件安装与扩容详细步骤(cdh-6.3.1)

一、环境准备1、服务器配置和角色规划IP地址主机名硬件配置操作系统安装步骤10.168.168.1cm-server8C16GCentos7新建10.168.168.2agent018C16GCentos7新建10.168.168.3agent028C16GCentos7新建10.168.168.4agent038C16GCentos7新建10.168.168.5agent048C16GCento
可乐大数据·2023-09-30 01:26

大数据知识图谱笔记

大数据组件繁多，五花八门，这里花了几天时间针对以前笔记的Hadoop、Spark两大生态圈的相关组件进行了分类整理，用简短的几句话对相关特性进行了总结描述，强化记忆，供学习、选型、面试。
*沧海明月*·2023-09-29 06:59

大数据组件笔记 -- ElasticSearch

文章目录一、简介1.1概念1.2集群二、HTTP操作2.1索引2.2文档2.3映射2.4高级查询2.5索引模板2.6重建索引三、JavaAPI3.1索引3.2文档3.3高级查询四、进阶4.1核心概念4.2系统架构4.3读写流程4.4分片原理4.4.1倒排索引4.4.2文档搜索4.5文档冲突五、集成5.1SpringData5.1.1添加、删除索引5.1.2文档操作5.1.3文档搜索5.2Spark
L小Ray想有腮·2023-09-26 10:19

大数据组件测试环境

一、大数据组件环境搭建1.Hadoop环境搭建1.1模板虚拟机环境准备0）安装模板虚拟机，IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G1）hadoop100虚拟机配置要求如下
程序猿张同学·2023-09-20 01:35

大数据开发中常用组件服务的集群管理脚本整理集合

大数据开发常用脚本整理集合大数据环境相关脚本bash运行模式说明创建shell脚本目录配置hostsSSH自动配置脚本文件同步、复制工具rsync基本用法文件同步脚步命令执行脚本节点循环简化大数据组件相关脚本
CodeDevMaster·2023-09-20 01:34

大数据组件HDFS、MapReduce、Hive三个大数据组件的特点和架构，并详细阐述它们之间的联系与区别

作者：禅与计算机程序设计艺术1.简介大数据组件是解决大数据的关键组件之一，在Hadoop生态系统中占据着至关重要的地位，它包括了HDFS、MapReduce、Hive等等一系列框架和工具。
禅与计算机程序设计艺术·2023-09-10 14:54

大数据组件系列-Hadoop每日小问

1、谈谈对HDFS的理解？HDFS这种存储适合哪些场景？HDFS即HadoopDistributedFileSystem，Hadoop分布式文件系统。它为的是解决海量数据的存储与分析的问题，它本身是源于Google在大数据方面的论文，GFS-->HDFS;HDFS由Client、NameNode、DataNode、SecondaryNameNode组成；Client负责响应用户的各种请求比如上传、
躺平的赶海人·2023-09-06 15:55

【创新项目探索】大数据服务omnidata-hive-connector介绍

omnidata-hive-connector介绍omnidata-hive-connector是一种将大数据组件Hive的算子下推到存储节点上的服务，从而实现近数据计算，减少网络带宽，提升Hive的查询性能
openEuler社区·2023-09-06 01:37

【创新项目探索】大数据服务omnidata-hive-connector介绍

omnidata-hive-connector介绍omnidata-hive-connector是一种将大数据组件Hive的算子下推到存储节点上的服务，从而实现近数据计算，减少网络带宽，提升Hive的查询性能
·2023-09-05 11:34
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他