大数据编程hadoop系列

hadoop系列之基础系列

一、Hadoop基础1、分布式概念通过爬虫-->爬到网页存储-->查找关键字一台机器存储是有限的Google采用多台机器，使用分布式的概念去存储处理【关于计算】10TB数据，一台机器无法处理，可以用10台机器处理每台机器可以处理1TBMapreduce额核心思想：分而治之分为Map和Reduce每个Map处理的数据是独立Reduce就是合10TB的数据“分”1TB，之后将结果“合”在一起存储【关于
xyzkenan·2023-04-02 19:45

Hadoop系列HDFS详解

简介HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（GoogleFileSystem）Google文件系统（中文，英文）。HDFS有很多特点：①保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。②运行在廉价的机器上。③适合大数据的处理。多大？多小？HDFS默认会将文件分割成block，6
诸葛子房_·2023-04-02 19:00

Hadoop 系列之一：HDFS简介

Hadoop系列之一：HDFS简介简介HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。是根据google发表的论文翻版的。
upHailin·2023-04-02 19:23

hadoop系列二 ——HDFS概念

hdfs简述首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色；HDFS（HadoopDistributedFileSystem），作为GoogleFileSystem（GFS）的实现，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开
heartless_killer·2023-04-02 19:00

hadoop系列：hadoop集群搭建

系列简介：前段时间看了网上一些关于hadoop的文章，其中将hadoop说的神乎其神，之前只知道hadoop使用的是google的MapReduce理论；但是它到底能够完成什么样的事情？相比我们现在使用的技术有什么样的优势？对开发者又有什么样的要求？带着这些疑问，我开始了hadoop的探索旅程...为了学习hadoop，那么我们必须要有个hadoop的环境，这篇文章就是为您解决安装hadoop环境
chengxinwen·2023-04-02 19:29

大数据与handoop的联系

典型的包括Hadoop系列、Spark、Storm、Flink等集群。既可以采用开源平台，也可以采用华为、星环等
黑洞存在着蓝天·2023-04-02 15:02

开源电子书

目录语言无关类操作系统智能系统分布式系统编译原理函数式概念计算机图形学WEB服务器版本控制编辑器NoSQLPostgreSQLMySQL管理和监控项目相关设计模式Web大数据编程艺术其它语言相关类AndroidAPPAWKC
weixin_34233421·2023-03-31 22:54

Hadoop系列（四）——Zookeeper总结

四、ZookeeperZookeeper入门看这篇就够了_java_66666的博客-CSDN博客_zookeeperZookeeper3、Zookeeper工作原理（详细）-Bodi-博客园(cnblogs.com)Zookeeper的选举机制原理（图文深度讲解）_攻城狮Kevin的博客-CSDN博客_zookeeper选举理解zookeeper选举机制-帅LOVE俊-博客园(cnblogs.c
气运联盟·2023-03-30 14:48

大数据技术之hadoop——（三）完全分布式集群搭建（多图详细步骤）

hadoop解压到/opt/module目录下【3】配置环境变量【4】hadoop目录结构3、完全分布式集群搭建3.1集群分发脚本3.2SSH免密登录3.3集群部署3.4启动集群3.5集群测试总结前言大数据之hadoop
「已注销」·2023-03-26 18:11

学习计划

rpc框架[dubbo，motan，thrift，grpc]）springframework（spring系列，shiro）postgresql（postgis模块）算法系列（数据结构，算法导论，...）hadoop
小小暮雨·2023-03-20 14:01

Hadoop系列之初始Hadoop

不过本次要准备写的Hadoop系列基本是个学习笔记了，中间会掺杂些自己的理解，以自己理解的方式展现出来。
_赵丹丹·2023-02-24 04:39

初识Hadoop，走进大数据世界

本文章属于Hadoop系列文章，分享Hadoop相关知识。
叫我二蛋·2023-02-24 03:34

Hadoop系列之HDFS初识、理论基础与读写流程

1HDFS初识考虑这样一个问题：文件切成很多小文件块散列存储在集群中时，是如何知道每个小文件块存储的位置的呢？让我们举个例子来解释一下，假设现在有100台机器，如果有10个人拿着10批数据过来存储，那么他们可能会找到不同的人把他们的数据各自存储在不同的机器上，过了10天之后，这些人想要取回他们的数据，但是他们忘了自己的数据存储在谁那里了，那么这些数据就取不回来了。那么该如何解决这个问题呢？我们可以
l1fe1·2023-02-16 23:01

常用的几种大数据架构剖析

随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统
不羁风马·2023-02-02 14:57

大数据基础之Hadoop（一）—— Hadoop概述

Hadoop系列大数据基础之Hadoop（一）——Hadoop概述大数据基础之Hadoop（二）——HDFS大数据基础之Hadoop（三）——MapReduce大数据基础之Hadoop（四）——YarnHadoop
Duktig丶·2023-02-02 14:57

Hadoop系列三之运行模式

Hadoop的运行模式包括：本地模式、伪分布式模式和完全分布式模式。具体可参考官方网站：http://hadoop.apache.org/1.本地运行模式1.1官方Grep案例（1）在hadoop-3.1.3目录下面创建一个input文件夹cd/opt/module/hadoop-3.1.3mkdirinput（2）将Hadoop的xml配置文件复制到inputcpetc/hadoop/*.xml
Luckyman_zz·2023-01-30 15:52

大数据面试通关手册｜Hadoop系列之YARN

⭐⭐欢迎关注博客主页：https://blog.csdn.net/u013411339⭐⭐欢迎点赞收藏⭐留言，欢迎留言交流！⭐⭐本文由【王知无】原创，首发于CSDN博客！⭐⭐本文首发CSDN论坛，未经过官方和本人允许，严禁转载！1、简述hadoop1与hadoop2的架构异同1）加入了yarn解决了资源调度的问题。2）加入了对zookeeper的支持实现比较可靠的高可用。2、为什么会产生yarn,
王知无(import_bigdata)·2023-01-07 15:37

大数据面试通关手册｜Hadoop系列之MapReduce

⭐⭐欢迎关注博客主页：https://blog.csdn.net/u013411339⭐⭐欢迎点赞收藏⭐留言，欢迎留言交流！⭐⭐本文由【王知无】原创，首发于CSDN博客！⭐⭐本文首发CSDN论坛，未经过官方和本人允许，严禁转载！1、谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化?1）序列化和反序列化（1）序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久
王知无(import_bigdata)·2023-01-07 15:07

高校大数据产品有哪些

一般高校大数据产品有大数据实训管理平台、大数据编程实训平台、大数据综合实训平台、云计算资源管理平台、大数据教学实训沙盘等，每个产品对应的公交需求有所不同。
泰迪智能科技·2022-12-30 11:44

大数据编程实验四：SparkStreaming编程

大数据编程实验四：SparkStreaming编程文章目录大数据编程实验四：SparkStreaming编程一、实验目的与要求二、实验内容三、实验步骤1、利用SparkStreaming对不同类型数据源的数据进行处理
-北天-·2022-12-07 07:45

2022Flink大数据比赛项目-焦点科技大数据编程大赛

文章目录0.数据获取1.需求概要2.数据标准2.1.输入数据格式2.2.输出数据格式2.3.数据主键及关系3.表详细1.order_info2.bill_info3.bill_item4.ord_pay5.ord_pay_log6.pay_method7.pay_bank_card4.开发工具、语言版本、工具版本5.赛题解答数据分流任务1任务2任务3小结附录0.数据获取链接:https://pan
看不见的罗辑·2022-11-29 07:59

大数据编程实验三：SparkSQL编程

大数据编程实验三：SparkSQL编程文章目录大数据编程实验三：SparkSQL编程一、前言二、实验目的与要求三、实验内容四、实验步骤1、SparkSQL基本操作2、编程实现将RDD转换为DataFrame3
-北天-·2022-11-15 11:40

大数据编程实验二：RDD编程

大数据编程实验二：RDD编程文章目录大数据编程实验二：RDD编程一、前言二、实验目的与要求三、实验内容四、实验步骤1、pyspark交互式编程2、编写独立应用程序实现数据去重3、编写独立应用程序实现求平均值问题五
-北天-·2022-11-02 22:02

大数据编程技术基础实验六：ZooKeeper实验——进程协作

大数据编程技术基础实验六：ZooKeeper实验——进程协作文章目录大数据编程技术基础实验六：ZooKeeper实验——进程协作一、前言二、实验目的与要求三、实验原理四、实验步骤1、启动ZooKeeper
-北天-·2022-11-02 22:32

Hadoop系列——Hadoop练手、压测day2-2

Hadoop系列——Hadoop练手、压测day2-2Hadoop练手HadoopHDFS简单使用创建文件夹（目录）命令式UI界面上传文件命令式UI界面HadoopMapReduce简单使用测试计算圆周率词频统计
简明编程·2022-10-13 12:21

大数据编程技术基础实验七：HBase实验——部署HBase

大数据编程技术基础实验七：HBase实验——部署HBase文章目录大数据编程技术基础实验七：HBase实验——部署HBase一、前言二、实验目的三、实验要求四、实验原理五、实验步骤1、点击一键搭建按钮，
-北天-·2022-10-13 07:07

大数据平台是什么？有哪些功能？如何搭建大数据平台？

典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。既可以采用开源平台，也可以采用华为、星环等商业级解决方案，既可以部署在私有云上，也可以部署在公有云上。
cuijiao7259·2022-10-12 19:15

大数据基础之Hadoop（四）——Yarn

本篇文章源码参看：https://github.com/duktig666/big-dataYarn资源调度器Hadoop系列大数据基础之Hadoop（一）——Hadoop概述大数据基础之Hadoop（
Duktig丶·2022-09-28 09:26

【转载】免费的编程中文书籍索引

free-programming-books-zh_CN#scala目录语言无关类操作系统智能系统分布式系统编译原理函数式概念计算机图形学WEB服务器版本控制编辑器NoSQLPostgreSQLMySQL管理和监控项目相关设计模式Web大数据编程艺术其它语言相关类
C-Ronaldo-Messi·2022-09-25 01:53

各语言归类整理

目录语言无关类操作系统智能系统分布式系统编译原理函数式概念计算机图形学WEB服务器版本控制编辑器NoSQLPostgreSQLMySQL管理和监控项目相关设计模式Web大数据编程艺术其它语言相关类AndroidAPPAWKC
小上·2022-09-25 01:46

Hive Explain 详解

Hive是基于Hadoop，实现了通过SQL操作MapRedue任务，简化了大数据编程的难度，使得普通用户也可以完成大数据程序开发。SQL目前是使用最为广泛的结构化数据操作语言，未来大数据框架对
Data-Developer·2022-09-08 10:44

大数据编程技术——期末复习

1、补充提纲要仔细理解，大题必考的。2、DataFrame查询大题也要考，SQL或者DataFrame算子都行。要会常用的聚合函数sum、count、distinct、avg之类的，where条件查询，还有group查询（SQL中的groupby查询，不是RDD算子中的group）（以下标注重点的项目有可能出现在主观题中）哥哥姐姐！！！我都这么用心为你的考试总结了大纲考点，点赞收藏加关注的你，稳过
水云仙君·2022-08-10 19:39

Hadoop系列（三）——MapReudce总结

三、MapReduce1、简介MapReduce是一个基于集群的高性能并行计算平台（ClusterInfrastructure）MapReduce是一个并行计算与运行软件框架（SoftwareFramework）MapReduce是一个并行程序设计模型与方法（ProgrammingModel&Methodology）MapReduce有两个含义：一般来说，在说到计算框架时，我们指的是开源社区的Ma
气运联盟·2022-07-14 15:47

Hadoop系列（二）——YARN总结

二、YARN–资源管理1、HadoopYarn简介ApacheHadoopYARN（YetAnotherResourceNegotiator）在古老的Hadoop1.0中，MapReduce的JobTracker负责了太多的工作，包括资源调度，管理众多的TaskTracker等工作。这自然是不合理的，于是Hadoop在1.0到2.0的升级过程中，便将JobTracker的资源调度工作独立了出来，而
气运联盟·2022-07-14 15:47

Hadoop系列（一）——HDFS总结

Hadoop(hdfs,yarn,mapreduce)理论详解_大宁哥的博客-CSDN博客HDFS读写流程（史上最精炼详细）_bw_233的博客-CSDN博客_hdfs读取HDFS读写数据流程-CoderZZZ-博客园(cnblogs.com)深入浅出HadoopYARN-知乎(zhihu.com)hadoop之mapreduce详解（基础篇）-一寸HUI-博客园(cnblogs.com)Hado
气运联盟·2022-07-14 15:43

Hadoop 生态系列之 HDFS

目前Hadoop系列文章的规划就是这样，持续补充完善中...同时可以访问：data.cuteximi.comHadoop生态系列之1.0和2.0架构Hadoop生态系列之HDFSHadoop生态系列之MapreduceHadoop
weixin_33896069·2022-06-20 13:08

Hadoop系列之HDFS 简介(8)

HDFS简介本节我们开始介绍Hadoop生态里面的其中一个组件——HDFS，包括HDFS架构，数据是怎么在HDFS存储的，HDFS的特性，比如分布式存储、容错性，高可用，可靠性以及块概念等。另外还会涉及到HDFS的操作，比如如何从HDFS读写数据，还有HDFS的机架感知算法介绍。HDFS（HadoopDistributeFileSystem）是大数据领域一种非常可靠的存储系统，它以分布式方式存储超
不二人生·2022-06-20 12:05

不care工具，在大数据平台中Hive能自动处理SQL

MapReduce简化了大数据编程的难度，使得大数据计算不再是高不可攀的技术圣殿，普通工程师也能使用MapReduce开发大数据程序。但是对于经常需要进行大数据计算的
华为云开发者社区·2022-04-19 15:00

大数据系列一：Hadoop安装&配置&基本测试

一.前言趁这几天放假，把以前大数据学习笔记梳理下，复习&整合下知识点，包含hadoop系列,流计算框架，ELKStack等；大数据的笔记相对完整些，开源词法&语法分析工具ANTLR4本来想分享一个系列，
henry.zhu·2022-02-27 09:09

阿里云机器学习平台PAI之理论基础

MaxComputer、大数据治理和分析平台DataWorks和可视化平台QuickBI，今天进入阿里云大数据的最后部分的学习——机器学习平台PAI，对往期内容感兴趣的小伙伴可以参考如下内容:hadoop专题:hadoop
柳小葱·2022-02-04 15:00

hive积累大全

一、熟练hive大数据编程1、hql实现累加值实际需求是我要实现一个分布趋势报表可视化，但是需求是要后一个分布组基于前一个分组再累加当前分布值，之后计算分布占比，从而最后一个分布组占比是100%的水平点
大数据阶梯之路·2021-10-21 11:36

Hadoop系列 (七)：ZooKeeper详细介绍

文章目录Hadoop系列文章ZooKeeper简介概述特点数据模型结构工作原理选主流程basicpaxosfastpaxos同步流程工作流程Leader工作流程Follower工作流程应用场景统一命名服务统一配置管理统一集群管理负载均衡
EricRae·2021-10-18 16:07

Hadoop系列

HadoopHadoop-集群安装Hadoop-集群安装（高可用）HDFSHDFS-文件越来越多怎么办HDFS-HDFS的四个角色HDFS-NameNode的高可用HDFS-安全模式是什么HDFS-NameNode如何感知到DataNode的HDFS-什么是元数据HDFS-双缓冲机制如何保证对元数据的高并发请求HDFS-CheckPoint机制是怎么实现的HDFS-写数据的那些事HDFS源码思维导
·2021-07-27 19:09

UCloud一站式智能大数据平台USDP免费版正式发布！

背景在大数据业务系统中，所有技术栈生态均是围绕着存储进行扩展的，目前开源的主流存储技术栈主要包含如下3种类型：·HDFS：Hadoop系列套件，包含Hive、HBase、Phoenix等；·ElasticSearch
·2021-07-27 19:28

hadoop系列：zookeeper（3）——zookeeper核心原理（事件）

http://www.itnose.net/detail/6445740.htmlhttp://blog.csdn.net/yinwenjie/article/details/47685077
非凡coder·2021-06-27 03:54

UCloud一站式智能大数据平台USDP免费版正式发布！

背景在大数据业务系统中，所有技术栈生态均是围绕着存储进行扩展的，目前开源的主流存储技术栈主要包含如下3种类型：·HDFS：Hadoop系列套件，包含Hive、HBase、Phoenix等；·ElasticSearch
·2021-06-18 21:33

Hadoop系列番外篇之一文搞懂Hadoop RPC框架及细节实现（深度好文，纯干货）

文章目录HadoopRPC框架解析1.HadoopRPC框架概述1.1RPC框架特点1.2HadoopRPC框架2.Java基础知识回顾2.1Java反射机制与动态代理2.1.1代理关键类&接口信息2.1.2动态代理创建对象的过程2.2Java网络编程2.3JavaNIO2.3.1简介2.3.2常用类3.HadoopRPC基本框架分析3.1RPC基本概念3.1.1RPC组成部分3.1.2RPC工作
清风画扇·2021-05-29 09:44

大数据系列课程——根据情况调整

Hadoop系列课程安排手把手带你转行大数据人工智能大数据和人工智能的发展前景大数据开发都在开发什么项目整体介绍与大数据开发训练速成开发运行测试环境的介绍与搭建通过前端代码了解大数据业务离线日志分析系统页面展示程序后台框架搭建用户信息分析结果展示用户数据的抽取转换加载
Albert陈凯·2021-05-14 23:31

Python操作MySQL数据库的简单步骤分享

前言现在Python越来越被大众所使用，特别是进入AI人工智能时代，对编程要求更加高效根据快捷，所以Python也经常成为人工智和大数据编程的重要语音。
·2021-04-17 20:47

Spark系列--安装与配置

windows其他网址Spark在Windows下的环境搭建_大气人生-CSDN博客Windows10安装spark（包括hadoop安装）_小白白的博客-CSDN博客1.安装JDK略2.安装Hadoop见：Hadoop
feiying0canglang·2021-02-23 00:50
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他