ML&DL-大数据学习

大数据学习｜理解和对比 Apache Hive 和 Apache Iceberg

文章目录数据模型与存储事务支持性能优化使用场景总结数据模型与存储Hive:Hive使用的是传统的关系型数据模型，数据存储在Hadoop分布式文件系统(HDFS)中，通常是以文本格式（如CSV或TSV）或者二进制格式（如Parquet或ORC）。Hive的表定义和元数据存储在一个外部的关系数据库中，如MySQL，用于跟踪表结构、分区和其他元数据信息。Iceberg:Iceberg设计为一个现代的表格
进击的小白菜·2024-09-04 16:50

Python大数据学习day01——大数据开发概论

目录大数据概念大数据特点大数据应用场景大数据分析业务步骤大数据职业规划大数据学习路线1.大数据解决问题海量数据存储——海量数据运算——海量数据迁移2.大数据特点（大、多、值、快、信）数据体量大种类和来源多源化实现低价值密度速度快数据的质量准确可信
笨小孩124·2024-08-28 12:46

大数据学习路线基础指南‌

对于想要投身这一领域的学习者来说，‌制定一份清晰、‌系统的大数据学习路线是至关重要的。‌
一马什么梅一·2024-08-27 23:24

学习大数据开发，需要满足哪些条件？学历，性别，专业有限制吗？

大数据学习是不是很难，零基础能学会吗？我是女生，可以学习大数据技术吗？下面我们针对这些问题来一一作答！
yoku酱·2024-02-19 23:22

001kafka源码项目gradle报错UnsupportedClassVersionError-kafka-报错-大数据学习

1报错提示java.lang.UnsupportedClassVersionError:org/eclipse/jgit/lib/AnyObjectIdhasbeencompiledbyamorerecentversionoftheJavaRuntime(classfileversion55.0),thisversionoftheJavaRuntimeonlyrecognizesclassfile
gaog2zh·2024-02-19 22:39

python+大数据学习打卡day1

【大数据从0-1打卡-day1】1、简单了解一些关于大数据的概念数据：数据就是对客观事件进行记录并可以鉴别的符号。他不仅仅是指数字，还可以是有一定意义的字母、文字、符号、语音、文字、图画、视频或者这些元素的结合等。企业数据分析方向：现状分析：离线分析原因分析：实时分析预测分析：机器学习数据分析基本流程：采集、处理、分析、应用大数据：大数据(bigdata)，指的是所涉及的资料量规模巨大到无法透过主
岁月不静好456·2024-02-13 11:11

大数据基础必备，大数据是什么？

大数据学习群：199427210百科对于大数据是这样解释的：麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转
大数据05·2024-02-11 08:31

自学大数据：大数据学习线路及各阶段学习书籍

大数据学习路线及各阶段学习书籍推荐！
yoku酱·2024-02-09 21:46

学习大数据需要掌握哪些知识？

1、学习大数据首先要学习Java基础怎样进行大数据学习的快速入门？学大数据课程之前要先学习一种计算机编程语言。Java是大数据学习需要的编程语言基础，因为大数据的开发基于常用的高级语言。
大数据学习01·2024-02-07 15:16

大数据学习入门级书籍推荐，零基础小伙伴们关注一下吧

《大数据分析：点“数”成金》大数据学习入门级书籍推荐你现在正坐在一座金矿之上，这些金子或被深埋于备份、存档数据之中，或正藏在你眼前的数据集里，它们是提升公司效益、拓展新的商业关系、制订更直观决策的秘诀所在
kuntoria·2024-02-06 18:45

2021-11-07大数据学习日志——MySQL进阶——报表项目

01_数据表介绍学习目标了解项目使用的数据表结构及表关系课程使用微软的Northwind数据集,零售业务，包含了客户，供应商和订单数据。原始数据集可以在微软GitHub仓库下载。为了满足课程需求，数据库数据在原始数据基础上做了微调。基于此份数据，我们将通过SQL来创建数据报表，满足业务需求。1.1数据表整体概览1.2员工表(employees)保存员工基本信息，包含如下字段：employee_id
王络不稳定·2024-02-06 03:03

大数据学习之Redis，十大数据类型的具体应用（五）

目录3.9Redis地理空间（GEO）简介原理Redis在3.2版本以后增加了地理位置的处理哦命令命令实操如何获得某个地址的经纬度3.9Redis地理空间（GEO）简介移动互联网时代LBS应用越来越多，交友软件中附近的小姐姐、外卖软件中附近的美食店铺、高德地图附近的核酸检査点等等，那这种附近各种形形色色的XXX地址位置选择是如何实现的?地球上的地理位置是使用二维的经纬度表示，经度范围(-180,1
十二点的泡面·2024-02-04 05:37

量化学习：大数据时代的学习方式

关键词：量化学习；大数据；《地平线报告》（高等教育版）在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：740041381，即可免费领取套系统的大数据学习教
weixin_44387107·2024-02-03 13:10

大数据是什么？华为云学院带你探索大数据之旅

展开我们本次的大数据学习之旅！大数据是什么，内容将包括大数据的产生，发展大数据的基本概念。首先我们来追溯一下大数据的产生与发展，大数据的产生和发展主要经历了三个阶段。第一个阶段，我们称为是萌芽期！
舒意从生·2024-02-03 08:53

大数据学习(32)hive优化方法总结

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦Hive优化主要从以下几个方面考虑：数据倾斜：对于数据倾斜问题，
viperrrrrrr·2024-02-01 12:08

大数据学习之Redis，十大数据类型的具体应用（四）

3.8Redis基数统计（HyperLogLog）需求统计某个网站的UV、统计某个文章的UV什么是UVuniqueVisitor，独立访客，一般理解为客户端IP大规模的防止作弊，需要去重复统计独立访客比如IP同样就认为是同一个客户需要去重考虑用户搜索网站的关键词的数量统计用户每天搜索不同词条个数是什么？去重复统计功能的基数估计算法-就是HyperLogLogRedisHyperLogLog是用来做
十二点的泡面·2024-02-01 11:02

大数据学习之Redis，十大数据类型的具体应用（一）

目录3.数据类型命令及落地应用3.1备注3.2Redis字符串（String）单值单value多值操作获取指定区间范围内的值数值增减获取字符串长度和内容追加分布式锁getset(先get后set)3.3Redis列表（List）简单说明单key多value3.4Redis哈希（Hash）KV模式不变，但是V是一个键值对3.数据类型命令及落地应用3.1备注命令不区分大小写，而key是区分大小写的永远
十二点的泡面·2024-01-31 11:03

大数据学习之Redis，十大数据类型的具体应用（三）

目录3.7Redis位图（bitmap）概念需求是什么说明能干嘛?基本命令3.7Redis位图（bitmap）概念由0和1状态表现的二进制位的bit数组需求用户是否登陆过？Y/N广告是否被点击过？钉钉打卡上下班，签到统计是什么说明用String类型作为底层数据结构实现的一种统计二值状态的数据类型位图本质是数组，它是基丁String数据类型的按位的操作。该数组由多个二进制位组成，每个二进制位都对应一
十二点的泡面·2024-01-31 11:01

大数据学习之Redis，十大数据类型的具体应用（二）

目录3.5Redis集合（Set）单值多value，且无重复sadd/smembers/sismember/srem/scardsrandmember/spopsmove集合运算应用场景3.6Redis有序集合Zset（sortedset）有序有重复zadd/zrange/zrevrangezrangebyscorezscore/zcard/zremzincrby/zcount/zmpopzran
十二点的泡面·2024-01-31 11:31

从术语到Spark，10篇必读大数据学习资源

本文给想进入大数据领域的朋友提供了一系列的资源，由浅入深，比如“需要了解的51条大数据术语”、“学习python的四个理由”、“十一个必须要参加的大数据会议”等有趣的话题。相信各种背景的朋友都会在这篇文章中有所收获。之前，我们已就数据可视化进行了深入探讨。这次，我们将从更基本的概念讲起，以便在涉足更复杂的数据科学和商业智能之前能够真正理解大数据。文中会引领大家阅读介绍大数据的相关文章，研究网络上流
大数据的时代·2024-01-30 20:34

大数据学习之Redis、从零基础到入门（三）

目录三、redis10大数据类型1.哪十个？1.1redis字符串（String）1.2redis列表（List）1.3redis哈希表（Hash）1.4redis集合（Set）1.5redis有序集合（ZSet）1.6redis地理空间（GEO）1.7redis基数统计（HyperLongLog）1.8redis位图（bitmap）编辑1.9redis位域（bitfiled）1.10redis流
十二点的泡面·2024-01-30 10:26

大数据学习之Redis、从零基础到入门（一）

目录一、Redis入门概述1.是什么？官方解释：2.能干嘛？2.1主流功能与应用2.1.1分布式缓存2.1.2内存存储和持久化(RDB+AOF)2.1.3高可用架构搭建2.1.4缓存穿透、击穿、雪崩2.1.5分布式锁2.1.6队列2.2总体功能概括2.3优势3.去哪下？官网地址：英文：中文：中文文档：下载安装包：其他文档资料：Redis源码地址：Redis在线测试：Redis命令参考：4.怎么玩？
十二点的泡面·2024-01-25 16:09

大数据学习之Redis、从零基础到入门（二）

二、Redis安装配置1.VMWare本地虚拟机VMWare准备的为64位查看自己的VMWare是32位还是64位getconfLONG_BIT2.Redis的安装2.1系统选择选择Linux系统2.2Linux版安装2.2.1Linux环境安装Redis必须先具备gcc编译环境①什么是gccgcc是linux下的一个编译程序，是C程序的编译工具GCC(GNUCompilerCollection)
十二点的泡面·2024-01-25 16:38

大数据运维到底是什么 又需要做些什么

疫情期间，大数据的广泛应用发挥了巨大的作用，作为新兴的IT领域技术，大数据行业受到越来越多的人关注，于是想要入行的、转行的纷纷选择大数据学习，那么大数据运维到底是什么？又需要做些什么?
科技资讯快报·2024-01-25 05:38

大数据学习之路

一、为什么要学习大数据？在我第一份实习的时候，忘记在什么场景下我leader突然说了一句：「干Java不就是增删改查嘛」，而恰好那时候知乎都是「干了3年Java，还是只会增删改查，迷茫」等问题，我听完leader那句话就心里一颤。因为这句话，我又一次的陷入迷茫，我不清楚自己是不是应该继续的Java，所以那段时间我干过爬虫，也撸了一阵子的西瓜书和统计学什么的。在知乎上所有相关的问题和答案我都看了，也
金光闪闪耶·2024-01-24 00:57

大数据学习之Flink算子、了解（Source）源算子（基础篇二）

Source源算子（基础篇二）目录Source源算子（基础篇二）二、源算子（source）1.准备工作2.从集合中读取数据可以使用代码中的fromCollection()方法直接读取列表也可以使用代码中的fromElements()方法直接列出数据获取3.从文件中读取数据说明：4.从Socket读取数据（1）编写StreamWordCount（2）在Linux环境的主机bigdata1上，执行下列
十二点的泡面·2024-01-23 14:22

大数据学习之Flink算子、了解（Transformation）转换算子（基础篇三）

Transformation转换算子（基础篇三）目录Transformation转换算子（基础篇三）三、转换算子（Transformation）1.基本转换算子1.1映射（Map）1.2过滤（filter）1.3扁平映射（flatmap）1.4基本转换算子的例子2.聚合算子（Aggregation）2.1按键分区（keyBy）2.2简单聚合2.3归约聚合（reduce）3.用户自定义函数（UDF）
十二点的泡面·2024-01-23 14:22

大数据学习之Flink算子、了解DataStream API（基础篇一）

DataStreamAPI（基础篇）注：本文只涉及DataStream原因：随着大数据和流式计算需求的增长，处理实时数据流变得越来越重要。因此，DataStream由于其处理实时数据流的特性和能力，逐渐替代了DataSet成为了主流的数据处理方式。目录DataStreamAPI（基础篇）前摘：一、执行环境1.创建执行环境2.执行模式3.触发程序执行二、源算子（source）三、转换算子（Trans
十二点的泡面·2024-01-23 14:51

大数据学习之Flink、比较不同框架的容错机制

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第五章、Flink的容错机制与其他框架的容错机制相比较Ⅰ、Flink的容错机制与其他框架的容错机制相比较相同点：1.容错机制的目的：2.持久化存储：不同点：1.适用场景：2.容错机制的细节：3.数据一致性：综上所述
十二点的泡面·2024-01-23 07:07

大数据学习之Flink、Flink容错机制的注意事项

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第四章、Flink容错机制的注意事项Ⅰ、注意事项1.Checkpoint的稳定性：2.状态一致性：3.失败的Checkpoint或Savepoint处理：4.资源管理：5.版本控制：6.监控和日志分析：第四章、Fl
十二点的泡面·2024-01-23 07:06

大数据学习之Flink、搞懂Flink的恢复策略

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第三章、Flink的恢复策略Ⅰ、恢复策略1.Checkpoint：2.Savepoint：3.重启策略：4.状态后端：第三章、Flink的恢复策略Ⅰ、恢复策略了解如何从故障中恢复数据流。根据Checkpoint和S
十二点的泡面·2024-01-23 07:36

大数据学习之 Flink

目录一：简介二：为什么选择Flink三：哪些行业需要四：Flink的特点五：与sparkStreaming的区别六：初步开发七：Flink配置说明八：环境九：运行组件一：简介Flink是一个框架和分布式得计算引擎，对于无界和有界数据流进行状态计算二：为什么选择Flink流数据更真实地反应了我们得生活方式传统得数据架构是基于有限数据集的低延迟，高吞吐，结果的准确性和良好的容错性三：哪些行业需要电商和
会编程的海贼王·2024-01-22 19:58

大数据学习之Flink，Flink部署

Flink部署一、了解它的关键组件客户端（Client）作业管理器（JobManager）任务管理器（TaskManager）我们的代码，实际上是由客户端获取并做转换，之后提交给JobManger的。所以JobManager就是Flink集群里的“领导者”，对作业进行中央调度管理；而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。这里的TaskManager，
十二点的泡面·2024-01-22 19:55

大数据学习之Flink，10分钟教你快速上手Flink

Java8和Scala2.12集成开发环境（IDE）使用IntelliJIDEA安装的插件——Maven、Git和ScalaMaven用来管理项目依赖；补：详细的Maven介绍在我的另一篇CSDN文章大数据学习之
十二点的泡面·2024-01-22 19:24

大数据学习之Flink，了解Flink的多种部署模式

目录一、部署模式1.部署模式分类：1.1会话模式（SessionMode）：优点：缺点：1.2单作业模式（Per-JobMode）：优点：缺点：1.3应用模式（ApplicationMode）：2.独立部署：2.1概念：2.2部署在会话模式下：2.3部署在单作业模式下：【Pass】2.4部署在应用模式下：2.5部署在高可用模式下：3.YARN部署：3.1概念：3.2部署在会话模式下：3.3部署在单
十二点的泡面·2024-01-22 19:24

大数据学习之Flink、快速搞懂Flink的容错机制！！！

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第一章、Flink的容错机制Ⅰ、Flink的容错机制1.概念：Ⅱ、状态的一致性：1.一致性级别：2.端到端的状态一致性Ⅲ、Flink容错机制的配置参数1.checkpoint.interval：2.checkpoi
十二点的泡面·2024-01-22 19:54

大数据学习之Flink、10分钟了解Flink的核心组件以及它们的工作原理

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第二章、Flink核心组件和工作原理Ⅰ、核心组件1.Checkpoint组件：2.Savepoint组件：3.Barrier组件4.StateBackend组件5.RecoveryStrategy组件6.‌Fail
十二点的泡面·2024-01-22 19:54

大数据学习之Flink，10分钟带你初步了解Flink

目录前摘一、认识Flink的Logo编辑二、了解Flink的起源三、了解Flink的发展四、明白Flink的定位五、Flink主要的应用场景六、流式数据处理的发展和演变1.流处理和批处理2.传统事务处理2.1传统事务处理架构编辑3.有状态的流处理4.Lambda架构5.新一代流处理器七、Flink的特性总结1.Flink的核心特性2.分层API八、FlinkVSSpark1.二者区别1.1数据处理
十二点的泡面·2024-01-22 19:23

【大数据项目学习】第十章：HBase分布式集群部署与设计

第十章：HBase分布式集群部署与设计一个初学者的大数据学习过程文章目录第十章：HBase分布式集群部署与设计1.HBase安装前须知1.1必备条件1.1.1硬件1.1.2软件1.2运行模式2.HBase
学不会K8S不改ID·2024-01-19 00:23

从术语到Spark，10篇必读大数据学习资源

大数据文摘作品编译：王一丁、王梦泽、夏雅薇本文给想进入大数据领域的朋友提供了一系列的资源，由浅入深，比如“需要了解的51条大数据术语”、“学习python的四个理由”、“十一个必须要参加的大数据会议”等有趣的话题。相信各种背景的朋友都会在这篇文章中有所收获。之前，我们已就数据可视化进行了深入探讨。这次，我们将从更基本的概念讲起，以便在涉足更复杂的数据科学和商业智能之前能够真正理解大数据。文中会引领
金光闪闪耶·2024-01-18 13:45

大数据学习计划【2019经典不断更新】

我为什么要学习大数据：因为我不喜欢现在国企的工作氛围，不看好这个行业，另外我通过多方渠道了解到，其中包括李笑来、凯文凯利、和各种新闻及文章，现在我们正处于大数据时代，我是一个不安于现状、喜欢探索顺应时代发展趋势学习新东西的人，希望通过努力来改变自己生活状态渴望成功的人，我喜欢与朝气蓬勃奋发向上的人一起活在未来。很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线
铁拳虎·2024-01-18 09:41

作为刚入职的小白，怎么才能学好大数据 ？

大数据学习方向一、大数据运维之Linux基础打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等。
铁拳虎·2024-01-18 09:40

大数据学习二：linux常用命令一

1、文件相关命令cd~回到家目录cd-回到上次的目录tail-F文件被删除或重命名也能被追踪到（AIX里没有）mv-p./a.txt/tmp/tmp0/移动文件或文件夹位置cp./a.txt/tmp/tmp0/a.txt复制文件或文件夹du-sH查看大小ls-a展示文件开头为.的隐藏文件ls-lrt文件按日期排序ls-Sl文件按从大到小排序ls-Slr文件按从小到大排序找出最大的前5个文件du-a
RacyFu·2024-01-16 20:25

大数据学习入门到实战教程，精心整理万字长文入门，老奶奶看了都说学会了

什么是大数据基本概念在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！换个角度说，大数据是：1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez
悦悦学Python·2024-01-16 18:10

2022-01-03大数据学习日志——Hadoop离线阶段——Hadoop MapReduce、YARN、HA

学习目标理解分布式计算分而治之的思想学会提交MapReduce程序掌握MapReduce执行流程掌握YARN功能与架构组件掌握程序提交YARN交互流程理解YARN调度策略掌握HadoopHA实现原理内容大纲#1、初识MapReduceMapReduce背后的思想先分再合，分而治之MapReduce设计构思官方MapReduce示例MapReducePython接口#2、MapReduce基本原理整
王络不稳定·2024-01-15 14:37

大数据实时抓取软件：Maxwell学习网站的高效框架！

对于大数据学习框架，整个体系的掌握需要投入相
知识分享小能手·2024-01-14 01:32

2022-02-01大数据学习日志——Hadoop离线阶段——数据仓库、Apache Hive

学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解ApacheHive远程模式部署安装内容大纲#数据仓库基础核心知识1、数据仓库是什么为何而来？为了分析数据而来数据分析的平台2、数据仓库的特性3、数据仓库和数据库的区别OLTP系统OLAP系统注意：这里要解决一个核心的误区：数仓绝不是大型数据库。这么理解就凉凉4、
王络不稳定·2024-01-13 09:28

(十八)大数据学习之HA

HA专题一.保证服务器时间相同date-s2019-04-21把所有机器时间设置成00:00:00二.HadoopHA1.HDFSHA/usr/local/hadoop-2.8.4/etc/hadoop下是所有hadoop配置文件-------core-site.xml------------------------fs.defaultFShdfs://myclusterha.zookeeper.
Movle·2024-01-11 08:43

大数据学习记录hadoop(2)

四、hadoop之HDFS4.1HDFS的定义HDFS定义：分布式文件系统HDFS使用场景：一次写入，多次读写4.2HDFS的优缺点优点：1）高容错性（1）数据自动保存多个副本（2）某个副本丢失后，可以自动恢复2）适合处理大数据（1）数据规模：能够处理GB、TB甚至PB级别的数据（2）文件规模：能够处理百万规模以上的文件数量3）可构建在廉价机上，通过多副本机制，提高可靠性缺点：1）不适合低延时数据
不吃海带吃海苔·2024-01-10 16:15

Java大数据学习~Hadoop初识三Yarn模式

在上篇文章中我们简单的学习了HDFS简单架构，还有最重要的读写流程。我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的YARN。2.0以前的Hadoop在2.0以前的hadoop中是没有Yarn这个模式管理的。大部分都是独自作战。Hbase做自己的，Spark也是做自己的,等等。这样的话就会造成资源的浪费，不能充分的把资源给利用
胖琪的升级之路·2024-01-10 05:55
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他