ML&DL-大数据学习

大数据学习记录hadoop(2)

四、hadoop之HDFS4.1HDFS的定义HDFS定义：分布式文件系统HDFS使用场景：一次写入，多次读写4.2HDFS的优缺点优点：1）高容错性（1）数据自动保存多个副本（2）某个副本丢失后，可以自动恢复2）适合处理大数据（1）数据规模：能够处理GB、TB甚至PB级别的数据（2）文件规模：能够处理百万规模以上的文件数量3）可构建在廉价机上，通过多副本机制，提高可靠性缺点：1）不适合低延时数据
不吃海带吃海苔·2024-01-10 16:15

Java大数据学习~Hadoop初识三Yarn模式

在上篇文章中我们简单的学习了HDFS简单架构，还有最重要的读写流程。我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的YARN。2.0以前的Hadoop在2.0以前的hadoop中是没有Yarn这个模式管理的。大部分都是独自作战。Hbase做自己的，Spark也是做自己的,等等。这样的话就会造成资源的浪费，不能充分的把资源给利用
胖琪的升级之路·2024-01-10 05:55

大数据技术原理与应用笔记

参考：课程教学（林子雨老师）程序羊大数据学习路线HDFS入门Hbase入门NoSql入门文章目录一、大数据概述1.1大数据时代1.2大数据的概念和影响1.3大数据的应用1.4大数据的关键技术1.5大数据
Moliay·2024-01-09 22:16

大数据学习6-Sqoop安装与使用

sqoop搭建还是挺简单的,前提是hadoop与hive搭建完成上传解压首先下载sqoop,sqoop的版本是1.4.7,sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,提取码:jpzn上传到master主机上(随便哪台都可以)[root@master~]#tar-zxvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz解压[root@master
asXt·2024-01-09 15:57

大数据全套学习资料 大数据学习视频 大数据电子书 大数据

大数据全套学习资料大数据学习视频大数据电子书大数据据统计，大数据人才缺口预测已超150万，行业产值2020年预测超万亿，大数据人才分布不均匀，导致制造业等产业转型升级缺乏人才，预测缺口达230万人。
刘好看静静·2024-01-07 18:57

大数据学习(31)-Spark非常用及重要特性

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦spark中引入过很多不常用的特性。但是非常重要的特性。
viperrrrrrr·2024-01-07 07:44

大数据学习方向

一、大数据运维之Linux基础打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等。因为企业中的项目基本上都是使用Linux环境下搭建或部署的。1）Linux系统概述2）系统安装及相关配置3）Linux网络基础4）OpenSSH实现网络安全连接5）vi文本编辑器6）用户和用户组管理7）磁盘管理8）Linux文件和目录管理
乐姐·2024-01-05 08:18

大数据学习的内容有哪些？

今天科多大数据就和你们一起来分享一篇关于大数据学习内容体系介绍的文章。
Java程序员YY·2024-01-03 00:19

Tiamat携手火山引擎，让创作者的想象成为现实

根据前瞻产业研究院报告观点，AI不仅在写作、作曲、绘画等多个领域达到“类人”的表现，更展示出在大数据学习基础上的非凡创意潜能。
火山引擎边缘云·2024-01-02 17:02

大数据学习入门到实战教程，精心整理万字长文入门，老奶奶看了都说学会了

什么是大数据基本概念在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！换个角度说，大数据是：1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez
悦悦学Python·2024-01-02 08:59

大数据学习(29)-Spark Shuffle

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦SparkShuffleMap和Reduce在Shuffle过程中
viperrrrrrr·2023-12-30 06:25

大数据框架介绍

大数据学习必备三个框架Hadoop，Spark，Storm大数据的主要特点为数据量大(Volume)，数据类别复杂(Variety)，数据处理速度快(Velocity)和数据真实性高(Veracity)
mikecg·2023-12-29 23:06

【大数据学习笔记】最全Python连接各种数据库及对应的CRUD操作

本文将详细探讨如何在Python中连接全种类数据库以及实现相应的CRUD（创建，读取，更新，删除）操作。我们将逐一解析连接MySQL，SQLServer，Oracle，PostgreSQL，MongoDB，SQLite，DB2，Redis，Cassandra，MicrosoftAccess，ElasticSearch，Neo4j，InfluxDB，Snowflake，AmazonDynamoDB，
伊达·2023-12-25 14:54

【大数据学习笔记】新手学习路线图

第1阶段-数据仓库基1.MysQL关系型数据库（MySQL介绍、MySQL安装、MySQL基础语法、MySQL高级语法、MySQL系统架构、MySQL存储引擎、MySQL索引、MySQL备份恢复、MySQL主从、主主复制、MySQL存储过程、MySQL分库分表、MySQL综合案例、MySQL性能优化）2.Python编程技术（Python基础语法、Python循环、Python集合、Python函
伊达·2023-12-25 14:54

大数据学习笔记——数据仓库hive重要的总结

1、外部表和内部表Hive表分为两类，即内部表和外部表。所谓内部表，即Hive管理的表，Hive内部表的管理既包含逻辑以及语法上的，也包含实际物理意义上的，即创建Hive内部表时，数据将真实存在于表所在的目录内，删除内部表时，物理数据和文件也一并删除。外部表（externaltable）则不然，其管理仅仅是在逻辑和语法意义上的，即新建表仅仅是指向一个外部目录而已。同样，删除时也并不物理删除外部目录
新宿一次狼·2023-12-24 23:27

大数据从入门到精通(超详细版)之Hive的分区表，带你理解Hive当中的高阶玩法！！！

各位小伙伴，恭喜大家学习到这里，不知道关于大数据前面的知识遗忘程度怎么样了，又或者是对大数据后面的知识是否感兴趣，本文是《大数据从入门到精通（超详细版）》的一部分，小伙伴们如果对此感谢兴趣的话，推荐大家按照大数据学习路径开始学习哦
木 木 水.·2023-12-24 23:52

hadoop大数据学习笔记

一、Hadoop的作用本质来说hadoop的作用是在多计算机集群环境中营造一个统一而稳定的存储和计算环境，并能为其他分布式应用服务提供平台支持。或者说将多台计算机组织成了一台计算机，让他们做同一件事，在这其中HDFS就相当于这台计算机的硬盘，而MapReduce就是这台计算机的CPU控制器。二、Hadoop环境部署按着正常来说我们想要部署Hadoop集群需要把相同的软件部署到众多计算机上，实际学习
驰宇爱吃鱼·2023-12-24 08:53

大数据的四大特点

业务形态则有几百种，感觉不是很好理解，所以我建议还是从字面上来理解大数据，在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的《大数据时代》提到了大数据的4个特征：在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙
金光闪闪耶·2023-12-23 20:39

最新版本——Hadoop3.3.6单机版完全部署指南

本文更强调实践，实践是大数据学习的重要环节，也能在实践中对该技术有更深的理解，所以一些理论知识建议大家多阅读相关的书籍（都在资料包中）。
大数据流动·2023-12-23 01:24

大数据学习(29)-spark on yarn底层原理

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦SparkonYarn的底层原理以下几个方面：资源申请与调度：Spark
viperrrrrrr·2023-12-21 11:04

Spring 6（一）【Spring 入门】

Flink按说应该是大数据学习的主线任务，但是长时间学一门技术还是心累的。正好之前对Java注解有了进一步的熟悉，一直想着熟悉巩固。
让线程再跑一会·2023-12-21 07:05

大数据学习(27)-Yarn总结与注意事项

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦一、概述YARN（YetAnotherResourceNegotiator
viperrrrrrr·2023-12-20 16:48

大数据生态架构：探索未来科技的无限可能。

目前大数据生态圈中的核心技术总结下来分为以下9类：数据采集技术框架数据存储技术框架数据处理技术框架数据分析技术框架数据可视化技术框架数据安全技术框架数据治理技术框架数据应用技术框架数据服务技术框架2、大数据学习路线大数据生态学习路线图可以大体划分为七个阶段
知识分享小能手·2023-12-19 22:54

大数据学习笔记-MapReduce（一） 入门基础理论

1、HadoopMapReduce介绍mapreduce的思想：分而治之，先分再和，分而治之，把复杂的问题分解，然后逐个解决，分别计算出结果。拆分求解合并拆分求解合并原问题子问题子问题的解结果子问题子问题的解模拟实现分布式计算：分布式计算和集中式计算相对，有些应用需要非常巨大的算力才能完成，如果采用集中式计算，需要耗费比较长的时间，分布式计算应该将该应用分解成许多小的部分，分配给多台计算机进行处理
天码村·2023-12-19 10:36

大数据从入门到精通(超详细版)之Yarn的使用，安装与部署

各位小伙伴，恭喜大家学习到这里，不知道关于大数据前面的知识遗忘程度怎么样了，又或者是对大数据后面的知识是否感兴趣，本文是《大数据从入门到精通（超详细版）》的一部分，小伙伴们如果对此感谢兴趣的话，推荐大家按照大数据学习路径开始学习哦
木 木 水.·2023-12-19 10:35

【DL-遇错】NVIDIA安装CUDA在安装阶段提示NVIDIA安装程序失败

问题描述：NVIDIA安装CUDA在安装阶段提示NVIDIA安装程序失败（如下图所示）问题解决：在自定义安装选项这一步只选择CUDA这一项，其他选项全部不勾选，然后继续后面步骤即可安装成功解决参考：参考一
★半岛铁盒·2023-12-16 22:42

大数据学习（一）-------- HDFS

需要精通java开发，有一定linux基础。1、简介大数据就是对海量数据进行数据挖掘。已经有了很多框架方便使用，常用的有hadoop，storm，spark，flink等，辅助框架hive，kafka，es，sqoop，flume等。常见应用推荐系统，用户画像等。2、hadoophadoop有三个核心组件：hdfs：分布式文件系统mapreduce：分布式运算编程框架yarn：分布式资源调度平台3
大数据流动·2023-12-15 21:01

适合零基础的大数据学习路线

在中国，大数据也正迅速成为行业和市场的热点。专注与亚太及中国市场的市场调查机构泛亚咨询发布的调研数据显示，目前出现在各类招聘平台上与数据分析相关的招聘需求比去年同期相比，增长率高达67%；大数据相关高级职位的薪酬与其他同类技术职位相比平均高出43%以上。无论是世界范围内还是在中国，大数据浪潮正在深刻改变着各行各业，而各行各业对大数据人才的需求，以及技术从业者希望跻身大数据高级人才的需求也变得越来越
QFdongdong·2023-12-05 04:33

大数据学习笔记

大数据技术之大数据概论第1章大数据概念大数据（BigData）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。按顺序给出数据存储单位：bit、Byte、KB、MB、GB、**TB、PB、EB、**ZB、YB、BB、NB、DB。1Byte=8bit1K=1024Byte1MB=10
Try harder100·2023-12-02 19:19

大数据学习-离线数仓项目实战笔记（上）

1.前置1.1.软件版本产品版本Hadoop2.9.2Hive2.3.7Flume1.9DataX3.0Airflow1.10Atlas1.2.0Griffin0.4.0Impalaimpala-2.3.0-cdh5.5.0MySQL5.71.2.软件安装分布情况服务器linux121linux122linux123Hadoop√namenode√√seconderynamenode,resour
ys4tnaf·2023-11-30 15:24

【大数据学习笔记-1】大数据hadoop平台基本组件

Hadoop是一个由Apache基金会所开发的分布式计算和存储架构。说人话的通俗描述：你在爱奇艺网站看过一次科幻片后，下次再登录爱奇艺，首页会把最新科幻动作片推送给你，目的是要向你多收点会员费。这背后的技术就是叫大数据的技术来自动判断你好什么口味的电影。行业描述：开源的分布式存储和计算框架，广泛用户海量数据的存储和处理，比如淘宝网的商品推送，爱奇艺视频的首页电影推送。Hadoop的主要组件：htt
工匠小能手·2023-11-30 15:19

大数据学习(24)-spark on hive和hive on spark的区别

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦1）SparkonHiveSparkonHive是Hive只作为存储角色
viperrrrrrr·2023-11-29 17:30

大数据学习(26)-spark SQL核心总结

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦SparkSQL是ApacheSpark的一个模块，它用于处理结构化数据
viperrrrrrr·2023-11-29 17:30

大数据学习(26)-数据倾斜总结

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦Hive数据倾斜问题是指在HiveSQL查询过程中，由于数据在表或列上的分布不均衡
viperrrrrrr·2023-11-29 17:30

大数据学习之HiveSQL

一.DDL(数据定义语言)1.DDL概述数据定义语言(DataDefinitionLanguage,DDL)，是SQL语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言，这些数据库对象包括database（schema）、table、view、index等。核心语法由CREATE、ALTER与DROP三个所组成。DDL并不涉及表内部数据的操作。2.DDL建表2.1完整建表语法树蓝色字体
煜筱子·2023-11-29 17:29

大数据学习路线-（值得收藏）

大数据学习路线一、大数据处理流程1.1数据收集1.2数据存储1.3数据分析1.4数据应用1.5其他框架二、学习路线2.1语言基础2.2Linux基础2.3构建工具2.4框架学习三、开发工具四、结语一、大数据处理流程上图是一个简化的大数据处理流程图
门柚·2023-11-29 17:29

大数据学习(25)-hive核心总结

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦1）用户接口：ClientCLI（command-lineinterface
viperrrrrrr·2023-11-29 17:20

为什么学习大数据，大数据专家写给大数据分析学习者的10个理由

下面我们一起来看看大数据专家写给大数据分析学习者的10个理由这里还是要推荐下小编的大数据学习QQ裙:532218147，不管你是小白还是大牛，小编我都
大数据学习01·2023-11-27 11:40

大数据学习步骤是什么？

Java和大数据如何选大数据方向有很多，目前我们经常说的大数据学习，其实指的是大数据开发！大数据开发顾名思义学习的主要技术就是编程技术，零基础学习大数据是需要从java和linux学起的。
yoku酱·2023-11-27 07:45

大数据程序员平均薪资25k?

大数据程序员岗位薪资很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：45
yoku酱·2023-11-27 06:00

前端标签和属性整理

HTML标签整理标签标签用途h1~h6标题标签p段落标签font字体标签span定义文档中的节b加粗文本i斜体文本u下划线文本del删除线文本ul->li无序列表ol->li有序列表dl->dt->li
starry_sky_ke·2023-11-25 05:12

大数据学习笔记-HDFS（一）

目录1、企业存储系统1.1认识硬盘、RAID1.2存储架构1.3文件系统1.4文件系统的分类（按照位置）1.5海量数据存储面临的问题2、场景案例：如何实现分布式文件存储2.1如何解决海量数据存的下的问题2.2如何解决海量数据文件查询边界问题2.3如何解决大文件传输效率慢的问题2.4如何解决硬件故障导致的数据丢失问题2.5如何解决用户查询视角统一规整问题3、分布式文件系统HDFS入门3.1简介3.2
天码村·2023-11-24 13:05

[大数据学习之ClickHouse]05-ClickHouse之SQL操作

传统关系型数据库支持的SQL语句,CLK基本都支持1.insert语法一致,不过多做讲解2.UpDate/DeleteCLK支持修改和删除操作,但是不支持事务,并且语法和传统数据库有区别,删除和修改用的比较少一点删除:altertablet_order_smtdeletewheresku_id='sku_001';修改:altertablet_order_smtupdatetotal_amount
阿月.·2023-11-24 01:08

大数据学习教程SD版第十三篇【Clickhouse】

Clickhouse列式数据库快，简单，yandex开源，C++编写，分析型数据库，SQL查询，列操作快，多样化引擎，高吞吐写入（LSMTree），多版本数据（Hbase），顺序Append写，数据分区，线程级并行（单条查询能利用整机所有CPU），不适合初始存储，尽量避免join操作（不快，右表加载到内存）1.Clickhouse安装准备工作关闭防火墙#statussystemctlstatusf
道-闇影·2023-11-24 01:37

大数据学习(23)-hive on mapreduce对比hive on spark

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦HiveonSpark和HiveonMapReduce是两种不同的
viperrrrrrr·2023-11-23 11:23

大神之路-起始篇 | 第16章.计算机科学导论之【网络安全】学习笔记

涉及企业运维、网络安全、应用开发、物联网、人工智能、大数据学习知识“花开堪折直须折，莫待无花空折枝。”
全栈工程师修炼指南·2023-11-22 04:19

大数据学习路线图 让你轻松掌握大数据技术学习

大数据学习QQ群：957205962阶段一、Java语言基础
金光闪闪耶·2023-11-22 02:59

清华教授：这16条完整又系统的 大数据学习路线才是未来的趋势

一份专业的大数据学习资料才是学习大数据的利刃。小编分享的这套大数据学习资料将从学习大纲、书籍、视频教程分别分享。
郭小姐520·2023-11-21 11:00

大数据学习（十五）维度建模步骤以及实例

一、维度建模概述（kimball）它将客观世界划分为度量和上下文。度量是常常是以数值形式出现，事实周围有上下文包围着，这种上下文被直观地分成独立的逻辑块，称之为维度。它与实体-关系建模有很大的区别，实体-关系建模是面向应用，遵循第三范式，以消除数据冗余为目标的设计技术。维度建模是面向分析，为了提高查询性能可以增加数据冗余，反规范化的设计技术。二、如何进行维度建模选择业务过程→声明粒度→确认维度→确
阿齐（努力打工版）·2023-11-20 20:40

大数据开发(20)-Skew join

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦skewjoin的原理是，为倾斜的大key单独启动一个mapjoin
viperrrrrrr·2023-11-20 07:06
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他