大数据生态圈

基于 Kafka 的实时数仓在搜索的实践应用

一、概述ApacheKafka发展至今，已经是一个很成熟的消息队列组件了，也是大数据生态圈中不可或缺的一员。
·2022-02-28 11:30

基于 Kafka 的实时数仓在搜索的实践应用

一、概述ApacheKafka发展至今，已经是一个很成熟的消息队列组件了，也是大数据生态圈中不可或缺的一员。
vivo互联网技术·2022-02-28 11:00

1&2 大数据发展趋势 & HDFS和ZooKeeper【HCIA-BigData】

文章目录1、大数据发展趋势与鲲鹏大数据**大数据应用的主要计算模式****Hadoop大数据生态圈****华为云大数据服务**2、HDFS分布式文件管理系统和ZooKeeper2.1导读2.2HDFS分布式文件管理系统
Mengo_x·2022-02-28 10:22

大数据生态圈技术整理

组件类型(本文还未写完)文件系统HDFS调度系统OozieAzkabanAirflow管理系统ZookeeperYARNAmbariClouderaManagerHue数据存储HDFSHBaseCarbonDataAccumulo消息系统KafkaRabbitMQActiveMQ数据收集LogstashFlumeNIFIFluentd数据处理SparkSparkStreamingStormFlin
非常强壮的蚂蚁·2022-02-18 02:41

每日一书｜建大数据平台太难了，给我发个工程原型吧

从2008年Hadoop成为Apache的顶级项目开始，大数据技术迎来了十多年的持续发展，其间随着Spark的异军突起，整个大数据生态圈又经历了一次“装备升级”，变得更加完善和强大。
《新程序员》编辑部·2021-11-27 08:00

Hadoop 入门笔记 十四 : HDFS架构原理

是Hadoop核心组件之一，作为大数据生态圈最底层的分布式存储服务而存在。HDFS解决的问题就是大数据如何存储,它是横跨在多台计算机上的文件存储系统并且具有高度的容错能力。HDFS集群遵循主从架构。
·2021-10-20 17:24

盘点Hadoop生态中 6 个核心的大数据组件

大数据生态圈中有很多优秀的组件，可谓琳琅满目，按组件类别可分为存储引擎、计算引擎，消息引擎，搜索引擎等；按应用场景可分为在线分析处理OLAP型，在线事务处理OLTP型，以及混合事务与分析处理HTAP型等
create17·2021-10-16 11:16

MapReduce 的核心知识点，你都 get 到了吗 ?（干货文章，建议收藏！）

本文已收录github：https://github.com/BigDataScholar/TheKingOfBigData，里面有大数据高频考点，Java一线大厂面试题资源，上百本免费电子书籍，作者亲绘大数据生态圈思维导图
大数据梦想家·2021-05-02 11:06

Zookeeper数据查看工具ZooInspector简介

一、背景Zookeeper作为常用的集群协调者组件被广泛应用，尤其是在大数据生态圈中；Zookeeper集群存储各个节点信息，包括：Hadoop、Hbase、Storm、Kafka等等；二、查询ZK数据的方式那如何查看
数据萌新·2021-04-20 21:05

HDFS 监控背后那些事儿，构建 Hadoop 监控共同体

在大数据生态圈中，HDFS是最重要的底层分布式文件系统，它的稳定性关乎整个生态系统的健康。本文介绍了HDFS相关的重要监控指标，分享指标背后的思考。HDFS监控挑战HDFS是Hadoop生态的一部
0x8g1T9E·2021-02-24 14:55

oracle timestamp java类型_Flink进阶教程：数据类型和序列化机制简介

序列化和反序列化是很多大数据框架必须考虑的问题，在Java和大数据生态圈中，已有
weixin_39733812·2020-12-17 19:57

PySpark SQL——SQL和pd.DataFrame的结合体

惯例开局一张图01PySparkSQL简介前文提到，Spark是大数据生态圈中的一
Python数据之道·2020-09-13 08:32

与东华大数据达成战略合作，共建智能大数据生态圈

双方将充分发挥资源互补优势，整合资源，建立大数据综合运营平台，共同打造智能大数据生态圈，共拓大数据服务市场。此次双方签约，旨在围绕东华大数据核心战略目标
斯图飞腾Stratifyd·2020-09-11 13:52

PySpark——开启大数据分析师之路

实际上"名不副实"这件事在大数据生态圈各个组件中是很常见的，例如Hive（蜂巢），从名字中很难理解它为什么会是一个数仓，难道仅仅是因为
简说Python·2020-09-07 08:00

【转】【亲测】scala +maven+java+ intellij idea 环境搭建及编译、打包 项目并存java与scala

以前自己有道云的一篇笔记，今日拿出来又看了一遍，补发出来原文地址：http://www.cnblogs.com/yjmyzz/p/4694219.html大数据生态圈中风头正旺的Spark项目完全是采用
曹赫洋·2020-08-24 02:41

一套很专业的监控方案：HDFS监控落地背后的思考

在大数据生态圈中，HDFS是最重要的底层分布式文件系统，它的稳定性关乎整个生态系统的健康。本文介绍了HDFS相关的重要监控指标，分享指标背后的思考。一、HDF
Summer_1981·2020-08-23 20:27

大数据基础知识问答----spark篇，大数据生态圈

Spark相关知识点1.Spark基础知识1.Spark是什么？UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架dfsSpark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器
weixin_33898876·2020-08-23 00:08

Zookeeper数据查看工具ZooInspector简介

一、背景Zookeeper作为常用的集群协调者组件被广泛应用，尤其是在大数据生态圈中；Zookeeper集群存储各个节点信息，包括：Hadoop、Hbase、Storm、Kafka等等；二、查询ZK数据的方式那如何查看
天空win·2020-08-20 16:58

第一课 Zookeeper数据查看工具ZooInspector简介

一、背景Zookeeper作为常用的集群协调者组件被广泛应用，尤其是在大数据生态圈中；Zookeeper集群存储各个节点信息，包括：Hadoop、Hbase、Storm、Kafka等等；二、查询ZK数据的方式那如何查看
Arroganter·2020-08-20 05:12

(四)大数据生态圈集群搭建之 --Hive搭建的三种模式

Hive搭建Hive下载&上传&解压Hive搭建的三种模式(一)基于Derby的Local模式(不常用)搭建操作(二)基于MySQL的Local模式在client节点安装mysql在client节点上安装Hive操作(三)基于MySQL的远程(Remote)模式(常用模式)原理在client节点安装mysql在client节点配置Hive工具(服务端)在node01节点配置Hive工具(客户端)使
Apache-Qibao·2020-08-18 02:54

大数据入门

刚开始接触大数据生态圈，经过两周的努力终于在自己实验室的机子上搭建成功了hadoop环境(伪分布模式)，对于所有涉及到的知识全部是第一次学习和实践，包括虚拟机安装、虚拟化相关知识、虚拟机上安装Ubuntu
CodeYoung7·2020-08-11 23:23

Hive2.0安装完整版——Hive2.3.4

@羲凡——只为了更好的活着Hive安装完整版——Hive2.3.4Hive是大数据生态圈中最常用的数据仓库，也是有hadoop集群的公司的必备。
羲凡丞相·2020-08-10 08:21

kylin介绍

http://www.mamicode.com/info-detail-1015006.htmlKylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务
youbo_sun·2020-08-10 01:05

基于Spark 和Scala 的最先进数据分析技术有哪些？

“我之所以要翻译这本书，也是源于我对大数据生态圈的理解和判断。与传统的MR计算框架相比，Spark有着足够的性能和易编程方面的优势，并且Spark本身也正在形成自己的生态体系。
清图·2020-08-08 11:58

大数据框架：Spark vs Hadoop vs Storm

知识预热「专治不明觉厉」之“大数据”；大数据生态圈及其技术栈；关于大数据的四大特征（4V）海量的数据规模（Volume）：Quantifiable（可量化）高速的数据流转和动态的数据体系（Velocity
weixin_30265103·2020-08-04 03:27

kafka系列-入门篇之安装

不过在0.8.x的版本就有不少公司已经在生产环境上使用了，也可以说明它在大数据生态圈的地位是非常重要的。
马各马它·2020-08-03 15:35

hadoop概述（1.2）

目录一、Hadoop是什么二、三大论文三、hadoop三大发行版本四、hadoop的优势五、hadoop组成六、hdfs架构初步了解七、yarn架构八、MapReduce架构九、大数据生态圈一、Hadoop
denganming1214·2020-08-01 11:51

大数据实战项目有哪些

我们大数据课程为就业课程，除了对大数据生态圈各个服务组件进行细致的讲解，还通过企业级真实大数据项目实战，让你快速到达就业水平。
QFdongdong·2020-07-27 17:12

HDFS集群PB级数据迁移方案-DistCp生产环境实操篇

用了接近2个星期的时间，终于把公司的需要的大数据组建部署完毕了，当然，在部署的过程中踩了不少坑，自己也对系统，网络，各个大数据生态圈常用软件进行了调优操作，后期等我整理好笔记后会分享给大家参考的。
weixin_34397291·2020-07-27 13:36

大数据生态圈常用组件简介、功能特性、适用场景整理（二）

三更灯火五更鸡，正是男儿读书时。分类名称简介功能特点使用场景大数据存储HDFSHDFS是一个分布式的文件系统，它具有高度的容错，高吞吐量，弹性伸缩等优点。是高度容错性和高吞吐量的海量数据存储解决方案。高容错性HDFS通过多方面保证数据的可靠性，多个副本并且分布到物理位置的不同服务器上，数据校验功能、后台的连续自检数据一致性功能保证了高容错。高吞吐量HDFS的通过机架感知、多副本可就近读取数据。另外
惊鸿只一瞥丶·2020-07-15 06:10

大数据生态圈常用组件：数据库、查询引擎、ETL工具、任务调度工具等

你的闺蜜在减肥，隔壁老王在练腰，你还不赶紧来学习整理了当年使用过的一些，大数据生态圈组件的特性和使用场景，若有不当之处，请留言斧正，一起学习成长。
惊鸿只一瞥丶·2020-07-15 06:09

大数据生态圈及重要组件

Spark：计算引擎，框架媒介，调用配置所处位置下的机器的硬件设施来实现调用配置。使用内存来存储数据，运算快，断电丢失。对应于Hadoop圈中的MapReduceHbase：分布式、面向列的数据库，存储和读取媒介，来源于BigTable（一个结构化数据的分布式存储系统），但HBase是一个非结构化数据存储的数据库。是Hadoop项目的子项目非结构化、面向列、稀疏Hadoop：分布式系统基础框架，管
北落师门XY·2020-07-14 03:19

Spark系列视频

大数据生态圈很大，很多开发者都仅仅接触到某个单一产品。Spark是近年来比较流行的大数据计算框架，系统、平台要想用好Spark这个产品，需要用到很多的产品。
weixin_30896511·2020-07-13 17:41

011-Ambari二次开发之组件编译概述

Ambari组件即大数据生态圈的组件，如Hadoop，Zookeeper，HBase，Hive，Spark，Kafka等。当我们业务需要修改源码时，我们需要重新编译打包组件。
zhangiongcolin·2020-07-12 19:23

012-Ambari二次开发之组件Zookeeper，Kafka，Hadoop编译

Zookeeper是大数据生态圈组件之间协调的基础组件。本篇我们开始编译基于HDP3.0版本栈的Zookeeper。
zhangiongcolin·2020-07-12 19:23

Zookeeper数据查看工具ZooInspector

Zookeeper作为常用的集群协调者组件被广泛应用，尤其是在大数据生态圈中；Zookeeper集群存储各个节点信息，包括：Hadoop、Hbase、Storm、Kafka等等；二、查询ZK数据的方式那如何查看
Arno-wei·2020-07-11 08:48

c++的大数据生态链在哪里？

C/C++是否存在大数据生态圈，为什么？
BlueBirdssh·2020-07-10 20:00

c++的大数据生态链在哪里？

C/C++是否存在大数据生态圈，为什么？
changeBbing·2020-07-10 20:31

Hadoop ha CDH5.15.1-hadoop集群启动后，两个namenode都是standby模式

然而在这一个小时内，我都心里活动真的是跌宕起伏呀～不是因为放假，而是身为一名大数据运维技术人员需要替公司大数据生态圈中面临都各种问题。这不，遇到了一个奇葩
weixin_33724570·2020-07-10 07:18

步入大数据“快车道”，上海联通开启繁花似锦的大数据生态圈项目！

随着移动互联网的发展，时下我们正处在一个大数据的时代，数据已经成为宝贵生产力，谁掌握了数据谁就可能拥有未来。面对大数据带来的空间机遇，越来越多的企业将目光转向这一市场。站在信息化建设前沿的电信运营商，坐拥海量用户，是数据的产生者和传输者，拥有着开拓大数据市场的天然优势。面对新常态下的产业转型方向，上海联通积极探索大数据运营和变现模式，致力于打造大数据发展的生态圈。通过大数据实验室支持双创和学术研究
黄河在线·2020-07-10 02:56

大数据生态圈集群搭建汇总--Hadoop & Hive & Spark & Kafka & HBase & Sqoop & Flume

集群搭建集群规划汇总Linux环境准备HadoopHa集群搭建Yarn搭建Hive搭建Spark搭建SparkStandalone模式SparkYarn模式Kafka搭建Hbase搭建Sqoop搭建Flume搭建本文将持续更新…集群规划汇总角色node01node02node03node04clientHadoop-NameNode√(主)√(备)Hadoop-DataNode√√√Journal
Apache-Qibao·2020-07-10 02:17

记一次 HDFS NameNode GC 调优

大数据生态圈的框架大都以JVM系语言开发（JavaScala为主），毕竟生态成熟嘛要啥有啥。
秦夏·2020-07-09 07:59

HBase 深入浅出

HBase在大数据生态圈中的位置提到大数据的存储，大多数人首先联想到的是Hadoop和Hadoop中的HDFS模块。大家熟知的Spark、以及Hadoop的MapReduce，可以理解为一种计算框架。
勿悔Choles·2020-07-02 13:57

Hadoop大数据生态圈中的组件角色与关系

各种大数据框架近几年发展得如火如荼，比如Hadoop,MapReduce,Hive,Hbase,Storm,Spark,Flink,Kylin等。一、Hadoop核心组件首先要介绍一下Hadoop，现在Hadoop分为3部分，分别是HDFS，Yarn和Mrv2HadoopCommonHadoopCommon是在Hadoop0.2版本之后分离出来的HDFS和MapReduce独立子项目的内容，是Ha
BabyFish13·2020-07-01 08:18

001-Ambari-大数据平台搭建利器(一)

Ambari是Hortonworks开源的大数据生态圈的管理软件，具备大数据生态圈组件的安装、管理、运维等基本功能(官方未提供组件可以自己去集成)，提供WebUI进行可视化的集群管理，简化了大数据平台的安装
zhangiongcolin·2020-06-30 14:19

大数据实战视频教程

千锋大数据课程为就业课程，除了对大数据生态圈各个服务组件进行细致的讲解，还通过企业级真实大数据项目实战，让你快速到达就业水平。
肖晓晓·2020-06-30 04:43

阿里面试

如下问题：1.你觉得大数据生态圈从技术角度来看，未来会朝什么方向发展？
weixin_30646505·2020-06-27 22:51

HDFS监控背后那些事儿，构建Hadoop监控共同体

在大数据生态圈中，HDFS是最重要的底层分布式文件系统
ctna2171·2020-06-23 01:08

Kylin的介绍及使用说明

介绍篇Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase
编程人生之路·2020-06-22 04:49

大数据生态圈包括哪些内容，分别有什么用途面试

hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和Mapreduce下图是hadoop生态系统，集成spark生态圈。在未来一段时间内，hadoop将于spark共存，hadoop与spark都能部署
龙卷风摧毁停车场!·2020-06-21 22:54
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他