07_大数据生态

Hadoop简单入门（一）：Hadoop概述

1.2Hadoop优势（4高）1.3Hadoop组成（面试重点）1.3.1HDFS架构概述1.3.2YARN架构概述1.3.3MapReduce架构概述1.3.4HDFS、YARN、MapReduce三者关系1.4大数据生态体系
Richard奇·2022-12-21 14:29

Hadoop大数据生态系统笔记

前言第一次更新于2022.3.6(未发布)第二次更新于2022.3.8本章主要用来记录回顾总结一下2021上学期的《大数据的技术原理及应用》，因为内容超级多，在本章我只记录关于Hadoop的内容以及整体主要的框架组件。Hadoop1.0与Hadoop2.0的区别Hadoop1.0Hadoop2.0HDFS单一NameNode节点，容易出现单点故障HDFSHA和热备份机制HDFS单一命名空间，无法隔
骆骆爱学习·2022-12-21 04:34

Hadoop面试题---Yarn的作用以及工作机制

一、Yarn的作用在大数据生态环境中，yarn主要有两个作用：资源管理和程序调度。
你的玉哥·2022-12-18 22:28

基于 Flink + Hudi 的实时数仓在 Shopee 的实践

相比于传统基于HDFS和Hive的数据仓库架构，基于ApacheHudi的Lakehouse解决方案有众多优势，例如：低延迟的数据刷新，高度的数据新鲜度；小文件自动化管理；支持数据文件的多版本读写；与大数据生态内
·2022-12-18 10:10

明日黄花Hadoop 方兴未艾云原生——传统大数据平台的云原生化改造

本文6484字，阅读时间约20分钟以Hadoop为中心的大数据生态系统从2006年开源以来，一直是大部分公司构建大数据平台的选择，但这种传统选择随着人们深入地使用，出现越来越多的问题，比如：数据开发迭代速度不够快
LinkTime_Cloud·2022-12-16 16:02

spark技术简介

大数据生态圈存储主要包括hdfs、Kafka计算主要包括MapReduce、Spark、Flink查询主要为Nosql和Olap，Nosql主要包括Hbase、Cassandra等:其中olap包括kyline
花凡·2022-12-15 11:55

Spark技术栈中的组件

Spark技术栈概述相对于第一代的大数据生态系统Hadoop中的MapReduce，Spark无论是在性能还是在方案的统一性方面，都有着极大的优势。Spark框架包含了多个紧密集成的组件。
Rnan-prince·2022-12-15 11:18

PySpark——开启大数据分析师之路

实际上"名不副实"这件事在大数据生态圈各个组件中是很常见的，例如Hive（蜂巢），从名字中
IT农民工1·2022-12-14 10:50

大数据生态系统组件基础学习

这是学习大数据这一整套各种组件MySQL，hive，spark，mapreduce等等的一些基础语法，日常更新，有不对的地方欢迎指正，资料也是自己收集来的，若有侵权，联系我立马删。MySQL（一）创建数据库及表1.创建数据库databasecreatedatabases数据库名use数据库名创建表格createtable表名(字段名1数据类型[约束条件]，字段名2数据类型[约束条件]，[其他约束条
m0_62653861·2022-12-09 12:03

大数据开发要学Java框架吗？

Java具有非常多的优秀特性，同时拥有庞大的类库生态和大量的开发者，在大数据生态体系中，大数据生态组件很多都是用Java语言或基于JVM的语言（如
我想去吃ya·2022-12-08 20:44

大三学习规划路线图

路线图介绍:本课程对大数据生态系统进行全方位讲解，有hadoop实操与底层原理应用，DFS与MapRedcue的全新解读，内含有全网独家发布的YARN调度框架的底层事件二次分发机制和Google源码级IPC
weixin_30548917·2022-12-06 03:28

009_贝斯特_07_新生活_5_王睿刚_8_表姐的幼儿园_02_有情人终成眷属

小伙子名叫袁军，他父亲在县里的政法系统工作，大小还是个领导。他哥哥大学毕业后，在市里的检察院工作，只是他从小贪玩儿，成绩一般，高中毕业后就进了工厂，淑琴所在的那个小厂子，就是他们的客户之一。袁军找机会跟家里人说了他和淑琴的事儿，做为县城里里有头有脸的人家，自然看不上从农村来的淑琴啊。家里人的反对，让袁军痛苦不已。之前家里给他介绍过不少女孩儿，但他都没看上，他就对善良的淑琴情有独钟。虽然家里人不同意
蜗牛黄·2022-12-03 11:39

【机器学习】课程笔记07_神经网络的表述(Neural Networks Representation)

神经网络的表述非线性假设（Non-linearHypotheses）神经元与大脑（NeurousandtheBrain）模型展示Ⅰ（ModelRepresentationⅠ）模型展示Ⅱ（ModelRepresentationⅡ）例子和直觉理解Ⅰ（ExamplesandIntuitionsⅠ）例子和直觉理解Ⅱ（ExamplesandIntuitionsⅡ）多元分类（MulticlassClassif
雀栎·2022-11-24 05:37

Git学习笔记

Git00_Git常用命令01_课程介绍02_官网介绍03_概述_版本控制介绍04_概述_分布式版本控制VS集中式版本控制05_概述_发展历史06_概述_工作机制和代码托管中心07_安装_安装和客户端的使用
巨輪·2022-11-22 02:00

ORB-SLAM2代码详解07: 跟踪线程Tracking

pdf版本笔记的下载地址:ORB-SLAM2代码详解07_跟踪线程Tracking,排版更美观一点,这个网站的默认排版太丑了（访问密码：3834）ORB-SLAM2代码详解07:跟踪线程Tracking
ncepu_Chen·2022-11-21 20:23

大数据生态系统的主要开源技术和框架

前言目前大数据相关的技术可以说是蓬勃发展百花齐放，对于初人者来说，一个个响亮的名字，一个个眼花缭乱的框架，之前刚了解了一个，很快又跳出来一个，真是让人眼花缭乱,无从下手,但是万变不离其宗，不管这些技术如何变化、名词如何新颖，它们都属于下图介绍的某个具体流程和环节，因此下面将结合前面所述的数据流程来介绍当前1.数据采集传输主要技术：数据采集传输工具和技术主要分为两大类：离线批处理和实时数据采集和传输
你凡不凡·2022-11-19 19:15

009_贝斯特_07_新生活_5_王睿刚_1_养鸡不成蚀把米

2005年对王睿奇来说，不管是从工作、学习，还是生活等各个方面，都发生了不小的变化。工作方面，随着贝斯特在中国业务的拓展，在海淀中关村那边新建了一个研发中心，以便更好的利用海淀的高校资源。学业方面，人大紧张的学习顺利结束，拿到了管理学的学位证书；生活方面，买了房、结了婚，并且还把弟弟王睿刚夫妻俩也都弄到了北京，了却了父母多年的一桩心愿。所以不但他在这一年开始了新生活，弟弟王睿刚同样如此。王睿刚复员
蜗牛黄·2022-11-17 08:28

18_视频录制01_命令行

阅读本文之前，建议先阅读《07_音频录制01_命令行》对常用命令作一个基本认识。
咸鱼Jay·2022-11-07 21:32

Spark+Flink+Iceberg打造湖仓一体架构实践探索

数据湖-大数据生态杀青数据仓库的痛点只能存储结构化数据，无法采集存储非结构化数据无法存储原始数据，所有的数据须经过ETL清洗过程离线数仓的数据表牵一发而动全身，数据调整工程量大实时数仓存储空间有限，无法采集和存储海量实时数据回溯效率低下
架构师老狼·2022-11-01 13:14

009_贝斯特_07_新生活_2_结婚_6_结婚典礼_1

第二天王睿奇被一平从睡梦中叫醒，他头疼的厉害，摇摇晃晃地从床上爬起来，掀开窗帘的一角往外面一看，外面黑咕隆咚一片，此时天还没亮呢。要搁在以往，他宿醉之后，一定要睡到自然醒，才有可能爬起来。今天对他是个特殊的日子，他必须迅速调整好状态，来迎接他一生中这个重要的时刻。一平一看就知道他状态不佳，于是一把把他拉到卫生间里，让他洗漱之后，又快速的冲了个澡。这个方法果然奏效，再从卫生间出来，刮完胡子、洗过澡的
蜗牛黄·2022-10-31 13:28

009_贝斯特_07_新生活_2_结婚_4_报喜

王睿奇他们回来的本来就不早，离结婚的日子也没有几天了，于是就赶紧把要紧的事儿先定下来。摆桌要使用桌子板凳，王永才第二天拿上了两盒好烟，去跟村里专门提供这些东西的马三儿家说一声。以前农村的日子都过的紧巴，村里也没人专门干这个，婚丧嫁娶要办事儿，还要去邻村租赁，很不方便。于是马三儿就和自己的好哥们儿一商量，干脆哥几个成立个小的合作社，凑点儿钱操办一套，有人租赁还能收点儿租金补贴家用。于是他们就凑钱买了
蜗牛黄·2022-10-28 08:07

大数据面试题汇总【持续更新】

前言本文内容是根据自身对相应知识的浅薄理解，如有错误欢迎指正~大数据生态圈Hadoop架构HDFS（分布式文件系统）:解决海量数据的存储问题NameNode：集群当中的主节点，管理元数据，主要用于管理集群当中的各种数据
Kazi_1024·2022-10-12 10:45

009_贝斯特_07_新生活_2_结婚_2_虞道光第二：牛沐_8_好机会啊

孩子刚出生那阵儿，牛沐确实在家呆的时间比以前多了一些，但他对老婆的态度却没有太大的变化，这让他妈当初的愿望算是落了空，本想着有了孩子就能把他的心拴住了。孩子再稍大一些，他又故态复萌，回到了之前经常夜不归宿的状态，即使回家，也经常是喝的宁酊大醉，倒头在自己的屋就睡了。好在有两个孩子转移了他妈和他老婆的注意力，也顾不上再理他了。那两年对于牛沐来说，家里红旗不倒，外面彩旗飘飘。虽然老婆对此也颇有怨言，但
蜗牛黄·2022-10-11 19:41

009_贝斯特_07_新生活_2_结婚_2_虞道光第二：牛沐_1

转眼就到了周末，周六被邀请的都是王睿奇在北京最亲近的人，因为他和一平在北京没啥亲戚，能来的也就都是朋友了。本来他还说把一平原来在工厂上班时那两个好朋友一起叫过来的，可一平说他们和大家也不熟悉，自己以后找机会再单独请她们吧。虞道光两口子自不必说，做为王睿奇的把兄弟，他们肯定是第一批就被邀请的。这批人里面，还有杨东雨、何健、以及郑义旺两口子。这桌上，有一个人和大家比较陌生，他是把兄弟老二牛祝朝家大哥的
蜗牛黄·2022-09-29 20:14

大数据开发要学Java框架吗？

Java具有非常多的优秀特性，同时拥有庞大的类库生态和大量的开发者，在大数据生态体系中，大数据生态组件很多都是用Java语言或基于JVM的语言（如Scala）开发的。想入行做大
骨灰级收藏家·2022-09-29 19:23

SpringCloud分布式、微服务、云架构快速开发平台源码之ClickHouse 存算分离架构

背景ClickHouse作为开源OLAP引擎，因其出色的性能表现在大数据生态中得到了广泛的应用。
不会写代码的女程序猿·2022-09-21 08:17

ClickHouse 存算分离架构探索

背景ClickHouse作为开源OLAP引擎，因其出色的性能表现在大数据生态中得到了广泛的应用。
Juicedata·2022-09-21 08:15

大数据生态安全框架的实现原理与最佳实践（下篇）

我们会通过系列文章，来看下大数据生态中安全框架的实现原理与最佳实践，系列文章一共两篇，包含以下章节：大数据生态安全框架概述HDFS认证详解HDFS授权详解HIVE认证详解HIVE授权详解金融行业大数据安全最佳实践本片文章是下篇
·2022-09-14 16:56

大数据技术之Hadoop入门（二）

一从Hadoop框架讨论大数据生态1.1Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构2）主要解决，海量数据的存储和海量数据的分析计算问题。
沙漠v仙人掌·2022-09-09 07:48

基于开放共享的自主研发—MaxCompute 持续增强生态与开放性建设

简介：MaxCompute是阿里巴巴自研的云原生数据仓库，同时也兼容大部分大数据生态系统。一个平台无法实现所有功能和解决所有问题，MaxCompute需持续增强生态与开放性建设，方能走得更远。
·2022-09-06 18:37

kafka系列(一)安装使用及基本原理

kafka在大数据生态中扮演者重要的角色，各个系统利用Kafka作为数据中转枢纽来实时消费所有类型的数据。
程序员劝退师丶·2022-09-03 07:56

如何从零开始优雅整合SpringBoot框架与Kafka消息中间件

自学教程参见B站尚硅谷大数据生态圈开发课程，https://www.bilibili.com/video/BV17t411W7wZ真就B站大学，B站流批！
码代码的乔木·2022-08-26 21:08

spark----notes---first

大数据生态与spark简介✫大数据概念：大数据不仅仅是数据的“大量化”，而是包含“快速化”、“多样化”和“价值化”等多重属性。✫大数据的特点：数据量大、数据类型繁多、处理速度快、价值密度低。
Sunshine and sunny·2022-08-22 23:46

10亿+/秒！看阿里如何搞定实时数仓高吞吐实时写入与更新

看阿里如何搞定实时数仓高吞吐实时写入与更新导读：Hologres（原交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通
·2022-08-18 18:05

湖仓一体，Hologres加速云数据湖DLF技术原理解析

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
阿里云大数据AI技术·2022-08-18 13:14

一文看懂大数据生态圈完整知识体系【大数据技术及架构图解实战派】

一文看懂大数据生态圈完整知识体系徐葳随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系
bigdata1024·2022-08-18 01:37

大数据生态圈技术组件解析

大数据文摘投稿作品作者：小山猪的沙塔这是一篇技术杂谈类的文章。下面是食用须知：本文适合还不十分了解大数据的你，同样适合不确定要不要学习大数据的你，将带你了解行业的需求以及与之相关的岗位，也同样适合刚刚踏入大数据领域工作的你，欢迎收藏并将文章分享给身边的朋友。笔者从事大数据开发和培训多年，曾为多家机构优化完整大数据课程体系，也为多所高校设计并实施大数据专业培养方案，并进行过多次大数据师资培训、高校骨
weixin_38754337·2022-08-18 01:07

【大数据】一文看懂大数据生态圈完整知识体系

随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。
机智的小天文·2022-08-18 01:06

一文看懂大数据生态圈完整知识体系

随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。
小晨说数据·2022-08-18 01:06

大数据生态圈完整知识体系

随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。
000X000·2022-08-18 01:36

大数据生态圈简介

大数据平台架构大数据平台架构大致可分为五个层级。顶层为应用层，提供数据服务与可视化，解决企业实际问题。第二层是大数据处理核心，包括数据处理、交互式分析以及机器学习与数据挖掘。第三层是资源调度，为了充分利用系统资源，提高全系统的资源利用率以及增强系统扩展性，需要进行统一的资源管理与调度。第四层是数据存储，如何解决海量数据的读写问题，是实现大数据平台的构建的基础。第五层是数据获取，快速、高效获取到海量
JeremyHeria·2022-08-15 09:08

分布式系列分布式计算框架Hadoop核心组件概述

Hadoop作为成熟的分布式计算框架在大数据生态领域已经使用多年，本文简要介绍Hadoop的核心组件MapReduce、YARN和HDFS，以加深了解。
solihawk·2022-08-02 09:32

10亿+/秒！看阿里如何搞定实时数仓高吞吐实时写入与更新

简介：Hologres（原交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
·2022-07-11 17:50

Hadoop，hive，spark分别都是什么

Hadoop，hive，spark在大数据生态圈的位置如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark之间是什么关系？
昨日啊萌·2022-07-11 09:52

Hadoop生态之Hive（一）

最近博主一直在学习hive，也是想做一个总结来方便各位佬以及博主自己的知识记忆，毕竟大数据生态需要掌握的基础知识以及组件很多很多，在学习新框架组件的同时基础和以前的框架底层知识也很重要哦。
红糖番薯·2022-07-11 09:20

ZooKeeper与CAP是什么关系？适用于哪些场景？

要想在大数据这条路坚持走下去，并用好大数据，有几点建议：1、系统的了解大数据生态中的技术框架（可通过以下文章了解）。典型大数据架构有哪些？我该怎么选择？
arno_wzk·2022-07-05 10:34

一篇文章带你了解大数据生态圈---大数据组件图谱

小编一篇文章带你了解大数据生态圈—大数据组件图谱转载地址：http://blog.csdn.net/u010039929/article/details/70157376文章目录小编一篇文章带你了解大数据生态圈
小哪吒的BD·2022-07-02 09:20

Nebula Graph入驻阿里云计算巢，助力企业打造云上超大规模图数据库

NebulaGraph可灵活加载不同数据源的数据，支持Spark、Flink、HBase等多种周边大数据生态。它是世界上唯一能够容纳千亿个
·2022-06-21 18:25

【Hadoop】Hadoop组件 -之 HDFS组件

一、概述Hadoop作为分布式存储，分布式计算的大数据生态系统，涵盖了从数据源到数据采集，数据存储，数据计算，数据分析，数据应用的各个场景，学习大数据的架构，了解各个组件对地工作原理和运行机制非常关键。
Echo_Jiang220417·2022-06-20 12:57

07_不可能三角

文章目录区块链现状不可能三角模型追求“安全”与“去中心化”则无法达到“可扩展性”追求“可扩展性”与“安全”则无法实现“去中心化”追求“可扩展性”与“去中心化”则需要牺牲“安全”总结区块链现状区块链是去中心化的账本技术，需要保证开放性、自治性、不可篡改等特性。去中心化是指使用分布式核算和存储，不存在中心化的硬件或管理机构，任意节点的权利和义务都是均等的，系统中的数据块由整个系统中具有维护功能的节点来
lsqzedu·2022-06-17 10:43
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他