07_大数据生态

大数据计算生态之数据计算（二）

导读：大数据计算发展至今，已经形成了一个百花齐放的大数据生态，通用计算、定制开发，批量处理、实时计算，关系查询、图遍历以及机器学习等等，我们都可以找到各种对应的计算引擎来协助我们处理这些任务。
程小舰·2023-03-30 17:07

大数据计算生态之数据存储

导读：大数据计算发展至今，已经形成了一个百花齐放的大数据生态，通用计算、定制开发，批量处理、实时计算，关系查询、图遍历以及机器学习等等，我们都可以找到各种对应的计算引擎来协助我们处理这些任务。
程小舰·2023-03-30 16:37

大数据计算生态之数据计算（一）

导读：大数据计算发展至今，已经形成了一个百花齐放的大数据生态，通用计算、定制开发，批量处理、实时计算，关系查询、图遍历以及机器学习等等，我们都可以找到各种对应的计算引擎来协助我们处理这些任务。
程小舰·2023-03-30 16:37

Alluxio-基于内存的虚拟分布式存储系统

Alluxio是内存为中心的架构，以内存速度统一了数据访问速度，使得数据的访问速度能比现有方案快几个数量级,为大数据软件栈带来了显著的性能提升在大数据生态系统中，Alluxio位于数据驱动框架或应用（如
机器爱上学习·2023-03-30 13:53

大数据生态体系产品(3) - HBase的架构与高性能存储

文章目录1.HBase的诞生1.1设计模型1.2非关系数据库NoSQL2.HBase的可伸缩架构2.1HRegion2.2HRegionServer2.3HMaster2.4数据写入过程3.HBase的可扩展数据模型4.HBase的高性能存储4.1数据存储4.2数据读取1.HBase的诞生  Google发表GFS、MapReduce、BigTable三篇论文，号称“三驾马车”，开启了大数据的时代
小爱玄策·2023-03-29 20:38

大数据生态体系产品(2) - Spark的架构与原理

文章目录1.Spark的诞生2.弹性数据集RDD3.Spark的生态体系4.Spark高效计算的原理剖析4.1计算阶段4.2shuffle5.Spark的执行过程1.Spark的诞生  Spark在2012年左右开始流行，那时内存的容量提升和成本降低已经比MapReduce出现的十年前强了一个数量级，Spark优先使用内存的条件已经成熟；其次，使用大数据进行机器学习的需求越来越强烈，不再是早先年那
小爱玄策·2023-03-29 20:37

07_手工画图剖析Elasticsearch的分布式架构图和内部运转图

本文章收录于【Elasticsearch系列】，将详细的讲解Elasticsearch整个大体系，包括但不限于ELK讲解、ES调优、海量数据处理等。目录一、Elasticsearch对复杂分布式机制的透明隐藏特性二、Elasticsearch的垂直扩容与水平扩容三、增减或减少节点时的数据rebalance四、master节点五、节点对等的分布式架构六、shard、replica机制梳理七、单nod
华星详谈·2023-03-23 19:30

大数据框架之Hadoop：入门（二）从Hadoop框架讨论大数据生态

第2章从Hadoop框架讨论大数据生态2.1Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。
yiluohan0307·2023-03-22 11:33

zookeeper源码分析系列一开篇基础知识剖析

zookeeper进行剖析.一、ZooKeeper总体介绍1.1、什么是zookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协同服务+存储系统,同时是一款世界级的优秀开源产品，在大数据生态系统中
meng_philip123·2023-03-20 04:40

Flink on Yarn模式部署

而在目前大数据生态中，国内应用最为广泛的资源管理平台就是YARN了。所以接下来介绍的是YARN平台上Flink是如何集成
陈小哥cw·2023-03-19 11:20

Hologres揭秘:深度解析高效率分布式查询引擎

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
阿里云Hologres·2023-03-17 11:26

009_贝斯特_07_新生活_5_王睿刚_5_杨威其人_4_啃出天花板

要说杨威这人也特别有意思，在他帮郑义旺管理账目的期间，有一些事儿让外人看来百思不得其解。就比如让他负责买菜、做饭，他总是买一些土豆、白菜之类的便宜菜，即使买肉，也是买一些边角料，而不是人人都爱吃的那部分。底下整天干体力活儿的那帮人，肯定对此有意见啊。别说干活儿的人了，就连郑义旺都觉着这么吃有点儿受不了，私下找他说了不止一次，大家干活儿都挺辛苦的，平时多做点儿好吃的犒劳犒劳大家。你说这钱又不是花你自
蜗牛黄·2023-03-15 00:17

009_贝斯特_07_新生活_5_王睿刚_3_牛街

梁丽娟来到北京之后，没有着急先找工作，而是在老公王睿刚的陪同下，先到天安门、故宫、东单、西单，这些外地人来京必打卡的地方逛了逛。过了几天，她对北京也有了初步的印象，觉着最适合她的工作可能就是在商场里做导购。想想也是，她一米七的个儿，身材匀称高挑，并且心眼儿还特别活泛，嘴也好使，做导购再合适不过了。由于梁丽娟文化水平不高，再说她也刚来北京，对大城市心里多少还是有些发怵，所有也就没有到那些高档的商场去
蜗牛黄·2023-03-11 13:46

欢迎来到大数据时代-----赶快来了解一些大数据的基础知识

Hadoop离线是大数据生态圈的核心与基石，是整个大数据的入门。linux、hadoop、hive三者形成一体，掌握这些知识就可以独立基于数据仓库是实现离线数据分析的可视化报表开发。
Aggressive-Cute·2023-03-09 21:15

009_贝斯特_07_新生活_2_结婚_2_虞道光第二：牛沐_9_滑铁卢_2_老子出马

两三个月之后，牛沐的经济情况非但没有好转，反而变得越来越糟糕。他本以为煤炭生意那边很快就能周转出资金来，把高利贷的窟窿给堵上，哪知受国家政策的影响，整个煤炭行业急转直下，打了很多人一个措手不及。从2012年下半年开始，全国各地的煤炭库存上涨，煤炭价格开始波动，进入2013年以后，煤炭彻底供大于求，一直走下坡路到现在。常言说“覆巢之下，焉有完卵”，别说牛沐这样的二道贩子了，就连上游的那些煤老板，再加
蜗牛黄·2023-03-09 02:32

009_贝斯特_07_新生活_2_结婚_2_虞道光第二：牛沐_5_叔侄之殇

由于牛沐和那女孩儿两边的家族和社会关系非常庞大，光是结婚的喜宴，就足足摆了好几天。他爸爸的老家不是在湖西嘛，从那儿到漠河距离遥远，为了照顾老家的亲人，他家为赴宴的亲戚，订了从北京到漠河往返的机票。其中的绝大部分人都没有坐过飞机，那股新鲜劲儿你就甭提了。牛祝朝虽然不是官员，但他特有当官儿的那个谱儿，因此他被选为老家的亲属代表在婚礼上发言。为了这篇发言稿，他足足准备了半个多月。那时他大哥已经官至县级领
蜗牛黄·2023-03-08 23:42

009_贝斯特_07_新生活_2_结婚_2_虞道光第二：牛沐_9_滑铁卢_4_无法回头

大哥回到东北以后，把自己关在屋里，足足想了两天两夜，光是烟就抽了四五盒。他心里非常清楚，自己一旦迈出了借钱的这一步，万一以后出了纰漏，所有的重担就要由自己一个人来扛。况且这么大一笔钱，自己就是砸锅卖铁，也补不上这么大的一个窟窿，这也是他无法最后下定决心的最重要原因。在万分焦虑的时候，他还是给老五牛祝朝，这个自己最看重的弟弟打了个电话，想从他那儿得到些建议。牛祝朝告诉大哥，他特别理解大哥救子心切的心
蜗牛黄·2023-03-08 21:35

Hadoop 及Spark 分布式HA运行环境搭建

作者：京东物流秦彪工欲善其事必先利其器，在深入学习大数据相关技术之前，先手动从0到1搭建一个属于自己的本地Hadoop和Spark运行环境，对于继续研究大数据生态圈各类技术具有重要意义。
·2023-02-21 11:56

Hadoop项目/生态

大数据生态Theprojectincludesthesemodules:HadoopCommonHadoopDistributedFileSystem(HDFS™)HadoopYARNHadoopMapReduceOtherHadoop-relatedprojectsatApacheinclude
心無旁騖丶·2023-02-19 01:09

Apache Spark + 海豚调度：PB 级数据调度挑战，教你如何构建高效离线工作流

在大数据开源技术领域，以Hadoop为核心的大数据生态系统面对海量数据也不断发展与迭代，大数据处理流程中的各个开源组件，也一起开启了狂飙突进的大数据时代，推动整个行业开启了数字化变革之路。
·2023-02-18 17:17

009_贝斯特_07_新生活_2_结婚_2_虞道光第二：牛沐_9_滑铁卢_6_扯掉遮羞布

由于牛沐从他爸拿到的那两千万，其中大部分都用来还高利贷了，当时他并没有往已经停工了的杭州项目，投入更多的资金。对于他来讲，高利贷压的他喘不过气来，那才是当务之急要处理的事儿。另外，他还存有一丝幻想，又往之前的煤炭生意里投入了一些资金，希望能再现自己往日的辉煌。可惜之后煤炭行情，再也没有恢复到前两年的盛况，并且投入的这些钱，差不多都打了水漂儿。现在从他的角度来看，能抓的救命稻草就剩杭州项目这一个了，
蜗牛黄·2023-02-18 14:25

009_贝斯特_07_新生活_5_王睿刚_2_来北京了

就这样，冯秀珍不得不又给大儿子打电话，时常念叨一下他弟弟的情况。王睿奇一看确实一直这样下去也不是个办法，只得看看北京有没有适合王睿刚的工作。说实话，给弟弟找工作，对他来讲也是一件挠头的事儿。他在一家高科技公司上班，平时他的交际圈儿也不大，他认识的人里面，还真没几个能帮上忙的。这事儿就这样，一拖就拖了一年多。直到有一天，王睿奇、虞道光他们几个又去郑义旺家蹭饭、打麻将，在打牌的时候王睿奇老是出错牌，有
蜗牛黄·2023-02-18 13:57

009_贝斯特_07_新生活_5_王睿刚_4_红烧肉

这不，今天是周六，还不到六点呢，王睿奇他们几个就来到了郑义旺家楼下。临上楼之前，王睿奇特意到清真超市买了一只鸡，虞道光之前就说了，今天他要做给大家做一道经典的湖西美食——辣子鸡。楼下一层住着郑义旺岳父岳母一家，他们是典型的回民，对回民的一些个规矩非常讲究。但不知为何，他们当初就同意把闺女嫁给郑义旺这个汉民了呢。要说老一辈儿的回回对婚姻是特别在意的，他们嫁闺女、娶媳妇儿只能在回回里面找，不然以后生活
蜗牛黄·2023-02-17 06:59

07_使用随机流RandomAccessFile删除文件指定内容

@AuthorJackyWang转载请注明出处,https://www.jianshu.com/p/1c1b35d9be9b碰到一个需求,在某个服务的日志文件达到指定大小之后,删除该日志文件前面多少行,在后面追加新的日志。以下,为此次使用随机文件流操作文件内容所记。/***@Title:removeFileLine*@Description:TODO(该方法为从文件开头删除前n行)*@param:
明天你好向前奔跑·2023-02-06 23:54

从0开始学大数据总结笔记：2、大数据生态体系主要产品原理与架构

我们常常意识不到问题的存在，直到有人解决了这些问题。上面所有这些技术在实际部署的时候，通常会部署在同一个集群中，某台服务器可能运行着HDFS的DataNode进程，负责HDFS的数据存储；同时也运行着Yarn的NodeManager，负责计算资源的调度管理；而MapReduce、Spark、Storm、Flink这些批处理或者流处理大数据计算引擎则通过Yarn的调度，运行在NodeManager的
qililong88·2023-02-04 17:49

HADOOP大数据技术栈简介

一、大数据技术图谱大数据.jpgHadoopHadoop狭义指Apacha的一款软件，广义指的是Hadoop大数据生态圈。Hadoop三大组件：HDFS、YARN、MapReduce。
奋斗的韭菜汪·2023-02-02 15:54

数据科学之路（8）不得不说的Tez

是跟MapReduce和Spark一样都是大数据生态中的计算框架吗？其运作原理又是什么呢？
LiuShaodong·2023-02-02 14:39

大数据技术之Hadoop（入门）

大数据技术之Hadoop（入门）一从Hadoop框架讨论大数据生态1.1Hadoop是什么1.2Hadoop发展历史1.3Hadoop三大发行版本1.4Hadoop的优势1.5Hadoop组成1.5.1HDFS
我是超级小白·2023-02-02 14:25

TiDB x 阿里云丨最长 30 天，最高节省 ¥33,000，免费试用云数据库 TiDB 的机会来啦！

云数据库TiDB是PingCAP和阿里云深度技术融合的产品，基于阿里云环境部署优化，具备云原生、一键扩缩容、金融级高可用、兼容MySQL协议和大数据生态等重要特性，提供OLTP规模化和实
·2023-02-02 14:01

你昨天听“三月密谈”了吗

0411-每日一念（醉清风_亮）生活四象限之个人成长-07_日更28篇《你昨天听“三月密谈”了吗》你知道昨天晚上畅销书作家“邻三月”在京东直播卖书吗？猫叔的新作《一本顶十年》。
醉清风_亮·2023-02-01 23:46

Maven下载jar包

不过对于刚接触大数据生态的python玩家而言就比较痛苦了，使用时经常缺少各种jar包，或者版本不符。好在有与pip类似的工具maven,本文就来介绍如何使用maven。
我傻笑你跑掉·2023-02-01 04:50

Hologres揭秘：高性能原生加速MaxCompute核心原理

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
阿里云Hologres·2023-01-30 15:05

大数据生态系统的环境搭建

大数据各种环境搭建系统环境准备配置网卡信息开启网卡ifupeth0设置静态ip静态ip:192.168.xxx.xxx子网掩码:255.255.255.0默认网关ip:192.168.xxx.2主DNS服务器:114.114.114.114第二DNS服务器:8.8.8.8设置网卡开机自启vim/etc/sysconfig/network-scripts/ifcfg-eth0重启网卡servicen
Ashe_wyq·2023-01-30 15:50

湖仓一体解决方案

数据湖产生的背景由于云技术的推动，企业对于跨公司、跨行业、跨领域的综合型数据的需求日趋明显，不同类型、格式数据之间的关联性碰撞越来越激烈，刺激着数据技术的创新发展，逐渐形成了大数据生态结构。
yu.minxue·2023-01-30 07:35

009_贝斯特_07_新生活_5_王睿刚_8_表姐的幼儿园_01_表白

一平回到家之后，就马上联系了衡水的表姐，把小侄女儿的事儿和她说了一下。表姐是个热心肠的人，没有任何犹豫就答应了接受玥玥。一平一听大喜过望，撂下电话就以最快的方式通知了王睿刚两口子。他们两口子总算暂时松了口气，至少孩子有个踏实的去处了。到了下个周末，一平就带着王睿奇，还有弟妹一家一起到了衡水表姐家。去之前，他们就和跟玥玥说好了，让她先在那儿跟着大姨乖乖地上幼儿园，爸爸妈妈每个月都会去看她，孩子虽然不
蜗牛黄·2023-01-29 17:22

C语言笔记07_小游戏设计——“走迷宫”

C语言07小游戏设计——走迷宫目标：我们要设计一个完整的小游戏“走迷宫”。你将可以通过控制键盘上的“W”、“S”、“A”、“D”4个键来控制1个“小球”进行上、下、左、右，而你的目的就是让这个“小球”从起点走出迷宫。来看看这个迷宫吧。准备知识：请看C语言笔记06开始Step01:制造一个迷宫：chara[15][30]={"#######################","#O######","
flamingocc·2023-01-28 04:41

大数据开发：spark core核心讲解

关于Spark框架在大数据生态当中的地位，相信不必多说大家也明白，作为大数据公认的第二代计算引擎，Spark至今仍然占据重要的市场份额，只要提到大数据，那么Spark一定是如影随形的。
加米谷大数据张老师·2023-01-24 20:58

TryHackMe-红队-07_武器化

Weaponization了解并探索常见的红队武器化技术。您将学习如何使用业内常见的方法来构建自定义有效负载，以获得初始访问权限。什么是武器化武器化是网络杀伤链模式的第二阶段。在此阶段，攻击者使用可交付的有效负载（如word文档，PDF等）生成和开发自己的恶意代码[1]。武器化阶段旨在使用恶意武器来利用目标机器并获得初始访问权限。大多数组织都运行Windows操作系统，这将是一个可能的目标。组织的
Sugobet·2023-01-24 18:53

【大数据hadoop】基于centos7搭建haoop与hive

一、前言hadoop是大数据生态中的基础服务，也是其他大数据框架的基础运行环境，尤其是hdfs，是其他大数据框架的基础存储载体，因此系统学习和掌握hadoop对学习大数据很有必要；而Hive则是Hadop
逆风飞翔的小叔·2023-01-12 21:03

问题盘点｜使用 Prometheus 监控 Kafka，我们该关注哪些指标

Kafka广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺
·2023-01-12 02:25

问题盘点｜使用 Prometheus 监控 Kafka，我们该关注哪些指标

Kafka广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺
·2023-01-12 01:54

大数据行业图谱之（1）：底层基础平台公司能做多大？

底层基础平台主要解决的是数据存储、计算的问题，是整个大数据生态的基石。采集到
weixin_33895475·2023-01-11 16:27

大数据行业图谱之(1)：底层基础平台公司能做多大？

底层基础平台主要解决的是数据存储、计算的问题，是整个大数据生态的基石。采集到
weixin_34405557·2023-01-11 16:27

大数据行业图谱之一：底层基础平台公司能做多大？

底层基础平台主要解决的是数据存储、计算的问题，是整个大数据生态的基石。采集到的数据，首先要能高效、快捷地存起来，才能进行数据分析和数据挖掘。这一层非常重要，同时也是技术含量最高的一层。
weixin_33725515·2023-01-11 16:57

Apache Spark + 海豚调度：PB 级数据调度挑战，教你如何构建高效离线工作流

在大数据开源技术领域，以Hadoop为核心的大数据生态系统面对海量数据也不断发展与迭代，大数据处理流程中的各个开源组件，也一起开启了狂飙突进的大数据时代，推动整个行业开启了数字化变革之路。
·2023-01-09 15:12

Spark 在 KaiwuDB 中的应用与实践

为此，KaiwuDB推出了此项解决方案：借助Spark平台，融合了KaiwuDB分布式集群及列存存储的性能优势，定制了Spark工具，为用户提供一个高性能的OLAP解决方案，并满足了大数据生态的客户需求
·2023-01-06 17:05

Linux网络编程_05_网络层IP协议

Linux网络编程_03_应用层HTTP协议Linux网络编程_04_传输层UDP和TCP协议Linux网络编程_05_网络层IP协议Linux网络编程_06_数据链路层MAC帧协议Linux网络编程_07
柿子__·2023-01-04 11:12

离线数仓搭建_07_数仓建模理论

点击右下方：专栏目录查看全文文章目录第三部分：数据仓库系统8.0数仓分层1.1为什么要分层1.2数据集市与数据仓库概念1.3数仓命名规范1.3.1表命名1.3.2脚本命名1.3.3表字段类型9.0数仓理论9.1范式理论9.1.1范式概念9.1.2函数依赖9.1.3三范式区分9.2关系建模与维度建模9.2.1关系建模9.2.2维度建模9.3维度表和事实表（重点）9.3.1维度表9.3.2事实表9.4
Fang GL·2022-12-31 16:35

云计算技术简述及发展分析

当前，在“互联网+”时代背景下，云计算已然成为数字经济时代下的基础设备，中国加快实施大数据战略，大数据生态系统的日益完善为云计算发展奠定了重要基础，云计算也催化出大数据在应用领域的“井喷”
OpenInfra·2022-12-26 13:12

Linux网络编程_01_网络基础

Linux网络编程_03_应用层HTTP协议Linux网络编程_04_传输层UDP和TCP协议Linux网络编程_05_网络层IP协议Linux网络编程_06_数据链路层MAC帧协议Linux网络编程_07
柿子__·2022-12-23 11:27
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他