大数据学习笔记

【大数据学习笔记】最全Python连接各种数据库及对应的CRUD操作

本文将详细探讨如何在Python中连接全种类数据库以及实现相应的CRUD（创建，读取，更新，删除）操作。我们将逐一解析连接MySQL，SQLServer，Oracle，PostgreSQL，MongoDB，SQLite，DB2，Redis，Cassandra，MicrosoftAccess，ElasticSearch，Neo4j，InfluxDB，Snowflake，AmazonDynamoDB，
伊达·2023-12-25 14:54

【大数据学习笔记】新手学习路线图

第1阶段-数据仓库基1.MysQL关系型数据库（MySQL介绍、MySQL安装、MySQL基础语法、MySQL高级语法、MySQL系统架构、MySQL存储引擎、MySQL索引、MySQL备份恢复、MySQL主从、主主复制、MySQL存储过程、MySQL分库分表、MySQL综合案例、MySQL性能优化）2.Python编程技术（Python基础语法、Python循环、Python集合、Python函
伊达·2023-12-25 14:54

大数据学习笔记——数据仓库hive重要的总结

1、外部表和内部表Hive表分为两类，即内部表和外部表。所谓内部表，即Hive管理的表，Hive内部表的管理既包含逻辑以及语法上的，也包含实际物理意义上的，即创建Hive内部表时，数据将真实存在于表所在的目录内，删除内部表时，物理数据和文件也一并删除。外部表（externaltable）则不然，其管理仅仅是在逻辑和语法意义上的，即新建表仅仅是指向一个外部目录而已。同样，删除时也并不物理删除外部目录
新宿一次狼·2023-12-24 23:27

hadoop大数据学习笔记

一、Hadoop的作用本质来说hadoop的作用是在多计算机集群环境中营造一个统一而稳定的存储和计算环境，并能为其他分布式应用服务提供平台支持。或者说将多台计算机组织成了一台计算机，让他们做同一件事，在这其中HDFS就相当于这台计算机的硬盘，而MapReduce就是这台计算机的CPU控制器。二、Hadoop环境部署按着正常来说我们想要部署Hadoop集群需要把相同的软件部署到众多计算机上，实际学习
驰宇爱吃鱼·2023-12-24 08:53

大数据学习笔记-MapReduce（一） 入门基础理论

1、HadoopMapReduce介绍mapreduce的思想：分而治之，先分再和，分而治之，把复杂的问题分解，然后逐个解决，分别计算出结果。拆分求解合并拆分求解合并原问题子问题子问题的解结果子问题子问题的解模拟实现分布式计算：分布式计算和集中式计算相对，有些应用需要非常巨大的算力才能完成，如果采用集中式计算，需要耗费比较长的时间，分布式计算应该将该应用分解成许多小的部分，分配给多台计算机进行处理
天码村·2023-12-19 10:36

大数据学习笔记

大数据技术之大数据概论第1章大数据概念大数据（BigData）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。按顺序给出数据存储单位：bit、Byte、KB、MB、GB、**TB、PB、EB、**ZB、YB、BB、NB、DB。1Byte=8bit1K=1024Byte1MB=10
Try harder100·2023-12-02 19:19

【大数据学习笔记-1】大数据hadoop平台基本组件

Hadoop是一个由Apache基金会所开发的分布式计算和存储架构。说人话的通俗描述：你在爱奇艺网站看过一次科幻片后，下次再登录爱奇艺，首页会把最新科幻动作片推送给你，目的是要向你多收点会员费。这背后的技术就是叫大数据的技术来自动判断你好什么口味的电影。行业描述：开源的分布式存储和计算框架，广泛用户海量数据的存储和处理，比如淘宝网的商品推送，爱奇艺视频的首页电影推送。Hadoop的主要组件：htt
工匠小能手·2023-11-30 15:19

大数据学习笔记-HDFS（一）

目录1、企业存储系统1.1认识硬盘、RAID1.2存储架构1.3文件系统1.4文件系统的分类（按照位置）1.5海量数据存储面临的问题2、场景案例：如何实现分布式文件存储2.1如何解决海量数据存的下的问题2.2如何解决海量数据文件查询边界问题2.3如何解决大文件传输效率慢的问题2.4如何解决硬件故障导致的数据丢失问题2.5如何解决用户查询视角统一规整问题3、分布式文件系统HDFS入门3.1简介3.2
天码村·2023-11-24 13:05

【基础篇】大数据学习笔记（4）相关名词解释

RAID：RedundantArraysofIndependentDrives独立冗余磁盘阵列，独立磁盘构成的具有冗余功能的阵列。GFS：GoogleFileSystemGoogle文件系统HDFS：HadoopDsitributedFileSystemHadoop分布式文件系统Zookeeper：分布式应用程序协调服务，是Hadoop和Hbase的重要组件Hadoop：Apache基金会所开发的
风也醉·2023-11-06 02:54

2021年 全网最细大数据学习笔记（二）：Hadoop 伪分布式安装

文章目录一、Linux操作系统的安装二、在Ubuntu20.04.2.0中进行Hadoop伪分布式安装1、Ubuntu20.04.2.0安装jdk2、配置SSH无密码登录3、Hadoop的下载与安装4、Hadoop环境配置5、启动与关闭Hadoop6、查看Hadoop的基本信息6.1、查看HDFSWeb界面6.2、查看YARNWeb界面三、在Centos7中进行Hadoop伪分布式安装一、Linu
Amo Xiang·2023-10-24 16:17

华为云hadoop伪分布式安装学习笔记（一）

所属专栏：【大数据学习笔记（华为云）】作  者：我是夜阑的狗个人简介：一个正在努力学技术的码仔，专注基础和实战分享，欢迎咨询！
我是夜阑的狗·2023-10-24 16:07

大数据学习笔记-MapReduce（二） 深度

深度了解MapReduce运行流程，通过案例全面了解MR运行过程、涉及的组件、设计的思想。对MapReducePartition、MapreduceCombiner、MapReduce编程技巧掌握，对自定义对象、序列化、排序、分区、分组的实现熟练掌握，掌握MapReduce并行度机制、工作流程和shuffle的机制。1、MapreducePartition、Combiner输出结果文件只有一个。默
天码村·2023-10-20 18:11

大数据学习笔记，学习清单

大数据目前技术组件有很多，比如有hdfs,hive,spark,flink,kafka,clickhouse,cdh,nifi,streamset等等技术，主流的开发语言有Java，Scala，Python等等开发语言，大数据SQL必须要会，MySQL和hive，clickhouse等等SQL语言都要会，SQL语言必须要会而且要能随时写百行以上的SQL语言下面是我整理的学习笔记和大数据学习的基本路
平凡天下·2023-10-16 06:59

阿里云大学Apache Flink大数据学习笔记

之前有看过一些基础的大数据课程，现在又回来发现这里的课程更新还是蛮快的，讲的内容干货也很多，继续学习一下，下面是一些主要内容说明。地址:https://developer.aliyun.com/learning/course/58?spm=a2c6h.17661847.0.0.3b266fb2aXVsbc第一节Flink中文社区发起人开课寄语内容介绍：1.大数据趋势2.ApacheFlink的介绍
Jmayday·2023-10-13 20:19

大数据学习笔记之flink----流式数据处理引擎

很多人可能都是在2015年才听到Flink这个词，其实早在2008年，Flink的前身已经是柏林理工大学一个研究性项目，在2014被Apache孵化器所接受，然后迅速地成为了ASF（ApacheSoftwareFoundation）的顶级项目之一。Flink的最新版本目前已经更新到了0.10.0了，在很多人感慨Spark的快速发展的同时，或许我们也该为Flink的发展速度点个赞。Flink是一个针
WRichards·2023-10-12 05:35

大数据学习笔记1.3 Linux目录操作

Linux目录操作一、常用权限操作(一)、常用权限操作（1）chgrp命令（2）chown命令（3）chmod命令(二)、权限操作1、创建文件，设置其用户组2、修改文件的所有者3、修改文件所有者与用户组4、修改文件操作权限二、常用目录操作(一)、常用目录操作2、目录操作实战1、获取命令帮助信息2、查看当前目录3、显示目录（文件）4、创建目录创建多级目录方法一：采用参数-p直接创建方法二、逐层创建每
zl202111·2023-10-09 23:58

北风网大数据学习笔记--java语言基础--初识JAVA--JAVA历史发展(1)

1.使用文本编辑器开发JAVA程序。建议刚开始学用文本编辑器，而不用IDE，IDE有补全功能方便很多。2.使用MyEclipse开发JAVA程序,真正用于企业写编程的软件。SUN公司，目前稳定的版本是java7JAVA平台的体系结构基础核心：JAVASEJAVAEEJAVAME-移动端应用–不在有人使用，因为安卓、IOS流行。JavaSE=JavaStandardEditionJavaEE=Jav
lrwliu·2023-10-02 06:53

大数据学习笔记2：现代数据湖之Iceberg

数据湖的定义就不说了，不了解的小伙伴可以看我之前做的笔记大数据学习笔记1：数仓、数据湖、数据中台。1.数据湖发展现状从广义上来说数据湖系统主要包括数据湖村处和数据湖分析现有数据湖技术主要
泊浮目·2023-09-29 02:17

大数据学习笔记-HDFS（三）——集群管理运维

1、HDFS数据迁移解决方案1.1迁移方案——数据迁移的使用场景和考量因素场景冷热集群数据同步、分类存储使用频率较高的数据随着时间发展频率变低而迁移集群数据整体搬迁：原A机房搬迁到B机房数据的准实时同步：数据双备份使用考量因素带宽：带宽使用多了影像正常业务，带宽低了迁移慢性能：采用单机程序，还是多线程的分布式程序增量同步：TB\PB级别的数据如何只迁移增量数据数据迁移的同步性：数据迁移的过程需要保
天码村·2023-09-07 00:53

大数据学习笔记：Hadoop之HDFS（上）

HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。是根据google发表的论文翻版的。分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。[优点]支持超大文件:超大文件在这里指的是几百M，几百GB，甚至几TB大小的文
值得一看的喵·2023-08-09 08:35

黑马大数据学习笔记5-案例

目录需求分析背景介绍目标需求数据内容DBeaver连接到Hive建库建表加载数据ETL数据清洗数据问题需求实现查看结果扩展指标计算需求需求指标统计可视化展示BIFineBI的介绍及安装FineBI配置数据源及数据准备可视化展示P73~77https://www.bilibili.com/video/BV1WY4y197g7?p=73需求分析背景介绍聊天平台每天都会有大量的用户在线，会出现大量的聊天
蓝净云·2023-08-07 10:55

黑马大数据学习笔记4-Hive部署和基本操作

目录思考规划安装MySQL数据库修改root用户密码配置Hadoop下载解压Hive提供MySQLDriver包配置Hive初始化元数据库启动Hive（使用Hadoop用户）Hive体验HiveServer2HiveServer2服务启动Beelinep48、51、52https://www.bilibili.com/video/BV1WY4y197g7/?p=48思考Hive是分布式运行的框架还
蓝净云·2023-08-07 10:52

大数据学习笔记

大数据学习笔记一.概念1.传统数据处理架构2.有状态的流处理二.批处理与流处理1.批处理2.流处理三.大数据软件生态1.Hadoop2.Spark3.Flink一.概念大数据（BigData）指无法在一定时间范围内用常规软件工具进行捕捉
smilinggg·2023-08-07 04:59

大数据学习笔记（一）

一、大数据的概念无法再一定时间范围内用软件工具进行管理与处理的数据集合称之为大数据。大数据技术主要解决存储和分析计算问题.1.4V特征-A.Valume 大量 (KB->MB->GB->TB->PB->EB->ZB)-B.Velocity 高速 分布式技术(N台计算机同时运算.)-C.Variety  多样 (存储结构化数据与非结构化数据和半结构化数据)-D.Value   低价值密度2.结构化、
加油牛牛·2023-08-07 04:29

大数据学习笔记-Yarn（二）

YarnWebUI服务1.1yarnwenUI服务，http://RMHOST:8088打开页面，以列表的形式展示处于各种状态的各种程序以下参数指定UI地址UI页面的参数介绍（图片来源黑马程序员教程）1.2JobHistoryServer服务仅存储已经完成的Mapredyce应用程序的作业历史信息，当启用JHS服务时，建议开启日志聚合功能。配置mapreduce.jobhistory.addres
天码村·2023-07-31 07:35

大数据学习笔记-Yarn（一）

1、yarn产生和发展历史背景：数据、程序、运算资源三者组合在一起，才能完成数据的处理，单机不存在问题，但是分布式环境如何协调是一个问题。Hadoop早期用户使用Hadoop与众多主机上运行的桌面程序类似：在少了几个节点上建立一个集群、将数据载入HDFS、运行mapreduceHadoop演进阶段：Adhoc集群以单用户的方式建立，随着私人集群的使用实现了HDFS集群的共享，不同于HDFS，共享m
天码村·2023-07-31 07:05

黑马大数据学习笔记3-MapReduce配置和YARN部署以及基本命令

目录部署说明MapReduce配置文件YARN配置文件分发配置文件集群启动命令开始启动YARN集群查看YARN的WEBUI页面保存快照YARN集群的启停命令一键启动脚本单进程启停提交MapReduce任务到YARN执行提交wordcount示例程序查看运行日志提交求圆周率示例程序p41~43https://www.bilibili.com/video/BV1WY4y197g7/?p=41部署说明H
蓝净云·2023-07-31 07:04

黑马大数据学习笔记2-HDFS基本操作

目录进程启停管理一键启停脚本单进程启停文件系统操作命令HDFS文件系统基本信息介绍创建文件夹查看指定目录下内容上传文件到HDFS指定目录查看HDFS文件内容下载HDFS文件拷贝HDFS文件追加数据到HDFS文件HDFS数据移动HDFS数据删除其他命令HDFSWEB浏览HDFS权限修改权限https://www.bilibili.com/video/BV1WY4y197g7?p=26切换到hadoo
蓝净云·2023-07-18 09:31

黑马大数据学习笔记0-环境配置

目录设置VMware网络CentOS操作系统三台虚拟机系统配置：主机名、固定IP、SSH免密登录配置主机名映射配置SSH免密登录创建hadoop用户并配置免密登录JDK1.8环境部署防火墙、SELinux、时间同步设置快照视频p3-p5https://www.bilibili.com/video/BV1WY4y197g7?p=3设置VMware网络网段设置为192.168.88.0网关设置为192
蓝净云·2023-07-15 11:09

黑马大数据学习笔记2-HDFS环境部署

目录环境部署hadoop-3.3.4.tar.gz构建软链接配置workers文件夹配置hadoop-env.sh文件配置core-site.xml文件配置hdfs-site.xml文件准备数据目录分发Hadoop文件夹将Hadoop的一些脚本、程序配置到PATH中授权为hadoop用户格式化整个文件系统查看HDFSWEBUI保存快照https://www.bilibili.com/video/B
蓝净云·2023-07-15 11:59

大数据学习笔记之爬虫系列（3）----selenium库的用法

selenium的安装win+R输入cmd打开命令行：pipinstallseleniumselenium的简介申明浏览器的对象fromseleniumimportwebdriverbrowser=webdriver.Chrome()browser=webdriver.firefox()browser=webdriver.Android()browser=webdriver.Edge()对应的浏览
SofiyaJ·2023-06-18 04:40

大数据学习笔记1.3 Linux用户操作

Linux用户操作一、用户账号管理1、用户与用户组文件2、用户账号管理工作二、用户操作1、切换用户（1）语法格式（2）切换到普通用户（3）切换到root用户（4）查看环境变量2、查看用户（1）查看全部用户（2）系统内置用户与新增用户（4）查看指定某个用户信息3、添加用户（1）语法格式（2）选项说明（3）注意事项（4）案例演示4、修改用户（1）语法格式（2）选项说明（3）案例演示5、删除用户（1）语
zl202111·2023-04-12 20:37

此文献给正打算入门大数据的朋友：大数据学习笔记1000条（2）

501、MapReduce计算框架中的输入和输出的基本数据结构是键-值对。502、Hadoop神奇的一部分在于sort和shuffle过程。503、Hive驱动计算的“语言”是一XML形式编码的。504、Hive通过和Jobtracker通信来初始化MapReduce任务（Job）。505、Metastore（元数据存储）是一个独立的关系型数据库。很多初学者，对大数据的概念都是模糊不清的，大数据是
df_1937·2023-04-06 22:48

大数据学习笔记-HDFS（四）——HDFS架构

1、HDFS架构HadoopDistributeFileSystem，Hadoop分布式文件系统，HDFS是Hadoop核心组件之一，作为生态圈最底层的分布式服务而存在。HDFS解决的问题就是大数据如何存储。架构图：主从架构（master/slave）。通常包含一个主节点和多个从节点。主节点存储和管理namespace，即文件块、位置、权限、大小、其实地址等等，从节点存储文件数据块1.1角色职责、
天码村·2023-04-05 19:50

[大数据学习笔记]HDFS包含哪些角色？

1.Namenode：接收客户端的读写请求存储元数据信息接收datanode的心跳报告负载均衡分配数据块的存储节点2.DataNode:真正处理客户端的读写请求向namenode发送心跳向namenode发送块报告真正的数据存储副本之间的相互复制3.Client:进行数据块的物理切分向namenode发送读写请求向namenode发送读写响应
yangyi_33855·2023-03-31 01:36

大数据学习笔记-2020-09-12--MR常用组件与MR数据处理流程

MR中常用组件的介绍Mapper：map阶段核心的处理逻辑Reducer：reduce阶段核心的处理逻辑InputFormat：输入格式MR程序必须指定一个输入目录和一个输出目录InputFormat代表输入目录中的文件格式–如果是普通文件，可以用FileInputFormat–如果是SequenceFile（hadoop提供的一种序列化文件格式），可以使用SequenceFileInputFor
airleaya·2023-03-13 16:20

hadoop03-MapReduce【尚硅谷】

大数据学习笔记MapReduce一、MapReduce概述MapReduce是一个分布式运算程序的编程框架，是基于Hadoop的数据分析计算的核心框架。
Blueming_first·2023-03-09 10:55

hadoop02-HDFS【尚硅谷】

HDFS大数据学习笔记一、HDFS产出背景及定义HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件
Blueming_first·2023-03-09 10:55

hadoop-Yarn资源调度器【尚硅谷】

大数据学习笔记Yarn资源调度器Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行与操作系统之上的应用程序。
Blueming_first·2023-03-09 10:21

Java全栈大数据学习笔记NO.12（jQuery-1）

jQuery-1一、jQuery二、jq的使用三、jq的基本语法四、jq的选择器五、jq的事件六、jq的效果七、jq的动画八、jq的回调九、jq方法的链接十、jq操作内容和属性一、jQueryjQuery简介jQuery是由美国人John创建于2006年，它是目前最流行的js程序库，它对js的对象和函数进行封装，设计思想是writeless,domore。jq能干什么访问和操作DOM对象控制页面样
芒果不茫QAQ·2023-01-16 08:45

大数据学习笔记（一）：Hadoop笔记2

文章目录大数据学习笔记（1）：Hadoop笔记二一、HDFS1.简介2.优缺点2.1优点2.2缺点二、HDFS架构1.HDFS架构2.HDFS参数等3.HDFS读写数据三、HDFS实操总结大数据学习笔记
WeXn·2023-01-14 08:38

大数据学习笔记之Spark：Spark基础解析

第1章Spark概述spark的产生背景spark是如何产生的，这要先送大数据说起，大数据是如何产生的？Google就是处理大数据的，网页和网页之间有很多的关联关系，为了处理排序啊这些算法，所以Google就发明了，Google就发布了三个论文，基于这三个论文的开源，实现了Hadoop、Hdfs、MapReduce、Hbase等，但是感觉好像每次MapReduce只能处理一次数据，而且开始跑map
BAO7988·2023-01-07 14:32

大数据学习笔记01----大数据初入门

大数据初入门大数据简介Hadoop简介ApacheHadoop的重要组成总结大数据简介-大数据定义大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。-大数据特点大数据的特点可以用IBM曾经提出的“5V”来描述，如下：-大量采集、存储和计算的数据量都非常大。计算机存储单位一般用
再见孙悟空�·2022-12-10 11:39

数据集成工具的使用（五）---Kettle 从理论学习到熟练使用

本期与大家分享的是，小北精心整理的大数据学习笔记，数据采集工具Kettle的详细介绍，希望对大家能有帮助，喜欢就给点鼓励吧，记得三连哦！欢迎各位大佬评论区指教讨论！制作不易，各位大佬们给点鼓励！
北慕辰·2022-08-21 12:35

大数据学习笔记及踩坑记录2--数据库及JPA配置

在这个项目中，需要使用一个MySQL数据库来保存部分数据，因此需要使用MySQL。同时由于使用了Springboot框架，因此还得使用JPA数据中间层以简化对数据的访问。1、数据库配置文件在这个项目中，没有使用项目创建时所提供的application.properties配置文件，而是使用了一个application.yml文件。具体可参见下面这篇文章：https://blog.csdn.net/
人间四月有comqiao·2022-07-10 16:23

Spark大数据学习笔记_第2篇_CDH集群环境搭建

Spark大数据学习笔记_第2篇_CDH集群环境搭建Spark大数据学习笔记_第2篇_CDH集群环境搭建1.安装hadoop包2.修改core-site.xml3.修改hdfs-site.xml4.修改
superbeyone·2022-02-28 10:27

spark学习笔记【一】- 搭建spark开发环境【原创】

在去年写完[url="http://zhenggm.iteye.com/blog/2367614"]大数据学习笔记（七）-运行spark脚本【原创】[/url]之后，由于工作比较忙，且大数据在负责的项目中一时用不上
suifeng201·2022-02-28 10:26

大数据学习笔记（一）：Hadoop

1、Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构，也是一个开源的大数据框架，通俗点说，是一个分布式计算的解决方案。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。可以这样
我是码代码·2022-02-27 09:41

hadoop生态_大数据学习笔记6——hadoop生态圈之初识flume

前期回顾：大数据学习笔记1——hdfs架构原理大数据学习笔记2——hdfs安装及相关配置文件的设置大数据学习笔记3——hdfs文件系统shell命令(1)大数据学习笔记4——hdfs文件系统shell命令
weixin_39687814·2022-02-27 09:41

大数据系列一：Hadoop安装&配置&基本测试

一.前言趁这几天放假，把以前大数据学习笔记梳理下，复习&整合下知识点，包含hadoop系列,流计算框架，ELKStack等；大数据的笔记相对完整些，开源词法&语法分析工具ANTLR4本来想分享一个系列，
henry.zhu·2022-02-27 09:09
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他