大数据学习指北第3页

大数据学习之Flink算子、了解DataStream API（基础篇一）

DataStreamAPI（基础篇）注：本文只涉及DataStream原因：随着大数据和流式计算需求的增长，处理实时数据流变得越来越重要。因此，DataStream由于其处理实时数据流的特性和能力，逐渐替代了DataSet成为了主流的数据处理方式。目录DataStreamAPI（基础篇）前摘：一、执行环境1.创建执行环境2.执行模式3.触发程序执行二、源算子（source）三、转换算子（Trans

十二点的泡面·2024-01-23 14:51

青年人“防秃”指北：接轨主流，以掌上电脑抵御不高兴

90后也开始害怕秃顶？连小学生喊你一声“大爷”都要郁闷半天的话，你一定在为即将步入中年而焦虑。还好，这个世界因为科技与互联网的发展而变得多元化。既有网络帮你接轨主流观念，又能以游戏帮你解压释放自我，人们的自信得以保留。不过，我相信你手头的设备往往不能同时顾及游戏和工作，这种需求太难满足了。以大多数人想买的超极本为例，打游戏的确可以不吃力，但是体重太沉，体积也不小，出个差，背着用着都累赘；只带智能手

笔点酷玩·2024-01-23 09:49

大数据学习之Flink、比较不同框架的容错机制

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第五章、Flink的容错机制与其他框架的容错机制相比较Ⅰ、Flink的容错机制与其他框架的容错机制相比较相同点：1.容错机制的目的：2.持久化存储：不同点：1.适用场景：2.容错机制的细节：3.数据一致性：综上所述

十二点的泡面·2024-01-23 07:07

大数据学习之Flink、Flink容错机制的注意事项

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第四章、Flink容错机制的注意事项Ⅰ、注意事项1.Checkpoint的稳定性：2.状态一致性：3.失败的Checkpoint或Savepoint处理：4.资源管理：5.版本控制：6.监控和日志分析：第四章、Fl

十二点的泡面·2024-01-23 07:06

大数据学习之Flink、搞懂Flink的恢复策略

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第三章、Flink的恢复策略Ⅰ、恢复策略1.Checkpoint：2.Savepoint：3.重启策略：4.状态后端：第三章、Flink的恢复策略Ⅰ、恢复策略了解如何从故障中恢复数据流。根据Checkpoint和S

十二点的泡面·2024-01-23 07:36

大数据学习之 Flink

目录一：简介二：为什么选择Flink三：哪些行业需要四：Flink的特点五：与sparkStreaming的区别六：初步开发七：Flink配置说明八：环境九：运行组件一：简介Flink是一个框架和分布式得计算引擎，对于无界和有界数据流进行状态计算二：为什么选择Flink流数据更真实地反应了我们得生活方式传统得数据架构是基于有限数据集的低延迟，高吞吐，结果的准确性和良好的容错性三：哪些行业需要电商和

会编程的海贼王·2024-01-22 19:58

大数据学习之Flink，Flink部署

Flink部署一、了解它的关键组件客户端（Client）作业管理器（JobManager）任务管理器（TaskManager）我们的代码，实际上是由客户端获取并做转换，之后提交给JobManger的。所以JobManager就是Flink集群里的“领导者”，对作业进行中央调度管理；而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。这里的TaskManager，

十二点的泡面·2024-01-22 19:55

大数据学习之Flink，10分钟教你快速上手Flink

Java8和Scala2.12集成开发环境（IDE）使用IntelliJIDEA安装的插件——Maven、Git和ScalaMaven用来管理项目依赖；补：详细的Maven介绍在我的另一篇CSDN文章大数据学习之

十二点的泡面·2024-01-22 19:24

大数据学习之Flink，了解Flink的多种部署模式

目录一、部署模式1.部署模式分类：1.1会话模式（SessionMode）：优点：缺点：1.2单作业模式（Per-JobMode）：优点：缺点：1.3应用模式（ApplicationMode）：2.独立部署：2.1概念：2.2部署在会话模式下：2.3部署在单作业模式下：【Pass】2.4部署在应用模式下：2.5部署在高可用模式下：3.YARN部署：3.1概念：3.2部署在会话模式下：3.3部署在单

十二点的泡面·2024-01-22 19:24

大数据学习之Flink、快速搞懂Flink的容错机制！！！

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第一章、Flink的容错机制Ⅰ、Flink的容错机制1.概念：Ⅱ、状态的一致性：1.一致性级别：2.端到端的状态一致性Ⅲ、Flink容错机制的配置参数1.checkpoint.interval：2.checkpoi

十二点的泡面·2024-01-22 19:54

大数据学习之Flink、10分钟了解Flink的核心组件以及它们的工作原理

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第二章、Flink核心组件和工作原理Ⅰ、核心组件1.Checkpoint组件：2.Savepoint组件：3.Barrier组件4.StateBackend组件5.RecoveryStrategy组件6.‌Fail

十二点的泡面·2024-01-22 19:54

大数据学习之Flink，10分钟带你初步了解Flink

目录前摘一、认识Flink的Logo编辑二、了解Flink的起源三、了解Flink的发展四、明白Flink的定位五、Flink主要的应用场景六、流式数据处理的发展和演变1.流处理和批处理2.传统事务处理2.1传统事务处理架构编辑3.有状态的流处理4.Lambda架构5.新一代流处理器七、Flink的特性总结1.Flink的核心特性2.分层API八、FlinkVSSpark1.二者区别1.1数据处理

十二点的泡面·2024-01-22 19:23

fendouweiqian·2024-01-21 17:30

NodeJS 服务 Docker 镜像极致优化指北

这段时间在开发一个腾讯文档全品类通用的HTML动态服务，为了方便各品类接入的生成与部署，也顺应上云的趋势，考虑使用Docker的方式来固定服务内容，统一进行制品版本的管理。本篇文章就将我在服务Docker化的过程中积累起来的优化经验分享出来，供大家参考。以一个例子开头，大部分刚接触Docker的同学应该都会这样编写项目的Dockerfile，如下所示：FROMnode:14WORKDIR/appC

__Duang__·2024-01-21 10:53

再见了Xshell、iTerm2，这款开源的终端工具真香

哈喽，大家好，我是指北君。

开源指北·2024-01-21 00:52

Java 异步编程的完美利器：CompletableFuture 指北

Future获取异步执行结果之前我们详细探索了线程池，在上一篇文章中，我们仅仅介绍了ThreadPoolExecutor的voidexecute(Runnablecommand)方法，利用这个方法虽然可以提交任务，但是却没有办法获取任务的执行结果（execute()方法没有返回值）。而很多场景下，我们又都是需要获取任务的执行结果的。Future介绍Java通过ThreadPoolExecutor提

半亩方塘立身·2024-01-20 23:01

日更 516天“拆书”《药房里买得到的传世名方》新版-养阴清肺丸⑷

之前文章请点击下方蓝色链接养阴清肺丸目录“拆书”《药房里买得到的传世名方》新版-养阴清肺丸⑷大家好，我是指北针。

指北针_从零开始·2024-01-20 20:54

日更 491天“拆书”《药房里买得到的传世名方》新版-八珍丸(11)

“拆书”《药房里买得到的传世名方》新版-八珍丸(11)大家好，我是指北针。今天文章的主题，改善气血双虚从立秋开始今天的文章，由拆书、小改变与习惯坚持，二部分组成，欢迎阅读与留言评论。一、拆书。

指北针_从零开始·2024-01-20 08:28

2020-07-15

东方易吃完最后一个冰糖葫芦把竹签儿一指北宫尊玉，神情严肃认真地说道：“既然这帝国四品要员，我们高高在上的户部侍郎北宫大人要为林氏一族作保，本王也不是不通情理！这个天大的面子得给！”“谢平安王爷！

草堆里的蜗牛·2024-01-20 07:47

超实用 JavaScript 调试技巧

大厂技术高级前端Node进阶点击上方程序员成长指北，关注公众号回复1，加入高级Node交流群作为前端开发，我们会经常使用console.log()来调试程序中的问题。

傲娇的koala·2024-01-20 02:03

日更 469天“拆书”《药房里买得到的传世名方》新版-人参归脾丸⑸

药房里买得到的传世名方》新版-人参归脾丸⑵“拆书”《药房里买得到的传世名方》新版-人参归脾丸⑶“拆书”《药房里买得到的传世名方》新版-人参归脾丸⑷“拆书”《药房里买得到的传世名方》新版-人参归脾丸⑸大家好，我是指北针

指北针_从零开始·2024-01-20 02:19

日更 359天成长日记-主动折腾自己

成长日记-主动折腾自己大家好，我是指北针。今天文章的主题，主动折腾自己成长日记，今天由阅读、运动、小改变与习惯坚持，三部分组成，欢迎阅读与留言评论。一、阅读。

指北针_从零开始·2024-01-19 22:13

【大数据项目学习】第十章：HBase分布式集群部署与设计

第十章：HBase分布式集群部署与设计一个初学者的大数据学习过程文章目录第十章：HBase分布式集群部署与设计1.HBase安装前须知1.1必备条件1.1.1硬件1.1.2软件1.2运行模式2.HBase

学不会K8S不改ID·2024-01-19 00:23

从术语到Spark，10篇必读大数据学习资源

大数据文摘作品编译：王一丁、王梦泽、夏雅薇本文给想进入大数据领域的朋友提供了一系列的资源，由浅入深，比如“需要了解的51条大数据术语”、“学习python的四个理由”、“十一个必须要参加的大数据会议”等有趣的话题。相信各种背景的朋友都会在这篇文章中有所收获。之前，我们已就数据可视化进行了深入探讨。这次，我们将从更基本的概念讲起，以便在涉足更复杂的数据科学和商业智能之前能够真正理解大数据。文中会引领

金光闪闪耶·2024-01-18 13:45

大数据学习计划【2019经典不断更新】

我为什么要学习大数据：因为我不喜欢现在国企的工作氛围，不看好这个行业，另外我通过多方渠道了解到，其中包括李笑来、凯文凯利、和各种新闻及文章，现在我们正处于大数据时代，我是一个不安于现状、喜欢探索顺应时代发展趋势学习新东西的人，希望通过努力来改变自己生活状态渴望成功的人，我喜欢与朝气蓬勃奋发向上的人一起活在未来。很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线

铁拳虎·2024-01-18 09:41

作为刚入职的小白，怎么才能学好大数据？

大数据学习方向一、大数据运维之Linux基础打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等。

铁拳虎·2024-01-18 09:40

为了更好地讲述元诗我认真阅读元代史

[3]上文云“从宋初到北宋中叶”，可见袁编的“宋初”是指北宋初期，而前文一说

复旦金声缘·2024-01-17 09:29

JS格式化时间之后少了8个小时

newDate通过解析currentDateStr返回一个long类型的时间差(UTC时间)来构造日期对象，但这个解析的过程中，如果遇到CST，会被认为是指北美的时区，比格林威治时间(GMT)晚6个小时

陈皮太·2024-01-17 07:47

15张图解密全球财富金字塔格局大学成都分院荐

接下来的内容由“趋势就业创业研究院”为你解读最新财经资讯：来源：新中产财富指北原文标题：世界顶级投行瑞信15张图解密全球财富金字塔今天推荐的是瑞士信贷发布的《2018全球财富报告》，这给我们提供了一幅清晰的全球财富全景图

创投人孙源柏·2024-01-17 02:29

大数据学习二：linux常用命令一

RacyFu·2024-01-16 20:25

大数据学习入门到实战教程，精心整理万字长文入门，老奶奶看了都说学会了

什么是大数据基本概念在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！换个角度说，大数据是：1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez

悦悦学Python·2024-01-16 18:10

2022-09-12 《思辨力》1053

但是如果我们今天已经可以把一个行为界定为是一个自私的行为了，那么在它清晰的地方我们应该有这种一致性，这样才能让道德发挥它所谓的指北针的作

我来自金星·2024-01-16 08:39

日更 528天“拆书”《药房里买得到的传世名方》新版-养阴清肺丸(终)

之前文章请点击下方蓝色链接养阴清肺丸目录“拆书”《药房里买得到的传世名方》新版-养阴清肺丸(终)大家好，我是指北针。

指北针_从零开始·2024-01-16 01:21

2022-01-03大数据学习日志——Hadoop离线阶段——Hadoop MapReduce、YARN、HA

学习目标理解分布式计算分而治之的思想学会提交MapReduce程序掌握MapReduce执行流程掌握YARN功能与架构组件掌握程序提交YARN交互流程理解YARN调度策略掌握HadoopHA实现原理内容大纲#1、初识MapReduceMapReduce背后的思想先分再合，分而治之MapReduce设计构思官方MapReduce示例MapReducePython接口#2、MapReduce基本原理整

王络不稳定·2024-01-15 14:37

2023再谈前端状态管理

大厂技术高级前端 Node进阶点击上方程序员成长指北，关注公众号回复1，加入高级Node交流群什么是状态管理？状态状态是表示组件当前状况的JS对象。

傲娇的koala·2024-01-15 00:43

2.7K Star，酷炫抽奖程序开源了

Hi，骚年，我是大G，我的公众号「GitHub指北」会推荐GitHub上有趣有用的项目，一分钟get一个优秀的开源项目，挖掘开源的价值。你们公司今年年会开了吗？今年很幸运，居然中了1000元现金红包。

码个锤子Pro·2024-01-14 16:31

1.3K Star，让发送短信变的更简单

Hi，骚年，我是大G，我的公众号「GitHub指北」会推荐GitHub上有趣有用的项目，一分钟get一个优秀的开源项目，挖掘开源的价值。

码个锤子Pro·2024-01-14 16:30

大数据实时抓取软件：Maxwell学习网站的高效框架！

对于大数据学习框架，整个体系的掌握需要投入相

知识分享小能手·2024-01-14 01:32

2022-02-01大数据学习日志——Hadoop离线阶段——数据仓库、Apache Hive

学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解ApacheHive远程模式部署安装内容大纲#数据仓库基础核心知识1、数据仓库是什么为何而来？为了分析数据而来数据分析的平台2、数据仓库的特性3、数据仓库和数据库的区别OLTP系统OLAP系统注意：这里要解决一个核心的误区：数仓绝不是大型数据库。这么理解就凉凉4、

王络不稳定·2024-01-13 09:28

官窑：瓷中王者，绝代天下

狭义的官窑，指北宋和南宋时在京城汴京（汴梁，今开封）和临安（今杭州）由宫廷设窑烧造的一类青瓷，故又有“

骨玩·2024-01-12 00:59

神秘的纬度-------北纬30°

北纬30度，主要是指北纬三十度上下波动五度所覆盖的范围，北纬30°线贯穿四大文明古国，是一条神秘而又奇特的纬线。

搞笑的利卡路欧·2024-01-11 13:20

(十八)大数据学习之HA

HA专题一.保证服务器时间相同date-s2019-04-21把所有机器时间设置成00:00:00二.HadoopHA1.HDFSHA/usr/local/hadoop-2.8.4/etc/hadoop下是所有hadoop配置文件-------core-site.xml------------------------fs.defaultFShdfs://myclusterha.zookeeper.

Movle·2024-01-11 08:43

大数据学习记录hadoop(2)

四、hadoop之HDFS4.1HDFS的定义HDFS定义：分布式文件系统HDFS使用场景：一次写入，多次读写4.2HDFS的优缺点优点：1）高容错性（1）数据自动保存多个副本（2）某个副本丢失后，可以自动恢复2）适合处理大数据（1）数据规模：能够处理GB、TB甚至PB级别的数据（2）文件规模：能够处理百万规模以上的文件数量3）可构建在廉价机上，通过多副本机制，提高可靠性缺点：1）不适合低延时数据

不吃海带吃海苔·2024-01-10 16:15

Java大数据学习~Hadoop初识三Yarn模式

在上篇文章中我们简单的学习了HDFS简单架构，还有最重要的读写流程。我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的YARN。2.0以前的Hadoop在2.0以前的hadoop中是没有Yarn这个模式管理的。大部分都是独自作战。Hbase做自己的，Spark也是做自己的,等等。这样的话就会造成资源的浪费，不能充分的把资源给利用

胖琪的升级之路·2024-01-10 05:55

vite打包性能优化以及填坑

大厂技术高级前端Node进阶点击上方程序员成长指北，关注公众号回复1，加入高级Node交流群前言大家好，我是simple，我的理想是利用科技手段来解决生活中遇到的各种问题。

傲娇的koala·2024-01-10 01:56

大数据技术原理与应用笔记

参考：课程教学（林子雨老师）程序羊大数据学习路线HDFS入门Hbase入门NoSql入门文章目录一、大数据概述1.1大数据时代1.2大数据的概念和影响1.3大数据的应用1.4大数据的关键技术1.5大数据

Moliay·2024-01-09 22:16

大数据学习6-Sqoop安装与使用

sqoop搭建还是挺简单的,前提是hadoop与hive搭建完成上传解压首先下载sqoop,sqoop的版本是1.4.7,sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,提取码:jpzn上传到master主机上(随便哪台都可以)[root@master~]#tar-zxvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz解压[root@master

asXt·2024-01-09 15:57

【指北】立新年flag

2016年平安夜合肥趁早观影活动结束的时候，我拿到了唤羽师带给我的趁早手册，是厚本，选了最具少女心的芭比粉。那是我第一次用趁早手册。次日是圣诞节，刚好周末，天气不好，下雪，阴沉，我和丸子拉严窗帘，在公寓睡到天昏地暗，那是第一次睡了一天一夜。丸子醒了两次，在我第二次被饿醒的时候彻底清醒了过来的时候，丸子点的老乡鸡外卖刚好送达。很快洗漱完毕，开始喝鸡汤。晚间，我和丸子双方赴约，汗蒸洗浴中心。冬日在这种

杨琴子·2024-01-09 03:27

每个前端都值得拥有自己的组件库，就像每个夏天都拥有西瓜

点击上方程序员成长指北，关注公众号回复1，加入高级Node交流群“大家好，我是洛竹????，一只住在杭城的木系码妖????????‍♀️，如果你喜欢我的文章????，可以通过点赞帮我聚集灵力⭐️。”

傲娇的koala·2024-01-08 13:09

鬼影重重第一百八十四章

武龙云拿来一个八卦圆盘，最中间有一个指北针。只见他默念咒语，把碗里的血滴在上面一滴。“这个你拿着！”武龙云说着把手里桃木剑递给他。“我指方向，你用剑轰它！”

王室蚊子·2024-01-08 08:58

推荐频道

大数据学习指北