Hadoop学习篇

大数据基础设施Apache Hadoop简介

一、项目起源在数据量很大的情况下，单机的处理能力无法胜任，必须采用分布式集群的方式进行处理，而用分布式集群的方式处理数据，实现的复杂度呈级数增加。早在2003年的时候，Google就已经面对大于600亿的搜索量。但是数据的大规模处理技术还处在彷徨阶段。当时每个公司或者个人可能都有自己的一套工具处理数据。却没有提炼抽象出一个系统的方法。在海量数据处理的需求下，一个通用的分布式数据处理技术框架应运而生
chenhjia·2023-11-19 10:10

Hadoop大数据学习线路图-单篇

入门知识对于我们新手入门学习hadoop的朋友来说，首先了解一下云计算和云计算技术是有必要的。
doers123·2023-11-19 10:06

大数据基础设施搭建 - Hadoop

文章目录一、下载安装包二、上传压缩包三、解压压缩包四、配置环境变量五、测试Hadoop5.1测试hadoop命令5.2测试wordcount案例5.2.1创建wordcount输入文本信息5.2.2执行程序
m0_46218511·2023-11-19 10:33

Redis学习笔记

RDBMS、Tomcat、HTML、Linux、JDBC、SVN解决扩展性问题：Struts、Spring、SpringMVC、Hibernate、MyBatis解决性能问题：NoSQL、Java线程、Hadoop
以我牛马为核·2023-11-19 10:40

Hadoop编程——第三章：（3）Linux常用命令

概述命令属于死东西，属于多用多会，不用就忘的知识，孰能生巧；Tab键可以实现自动补全和提示，要合理使用；history命令可以显示历史执行记录，或者使用方向键来切换前后执行过的命令常用Linux命令包括:文件和目录管理命令磁盘空间命令文件压缩备份命令查看系统信息命令管理用户和权限的命令网络操作命令一、文件和目录管理命令pwd该命令的英文解释为printworkingdirectory(打印工作目录
罗伊女士·2023-11-19 09:26

工作流调度工具Airflow1.8搭建及使用

编写目的最近工作任务需要把原来使用Kettle的ETL流程迁移到Hadoop平台上，就需要找一个替代Kettle工作流部分的工具。
weixin_34195142·2023-11-19 09:44

浅析图数据库 Nebula Graph 数据导入工具——Spark Writer

SparkWriter从Hadoop说起近年来随着大数据的兴起，分布式计算引擎层出不穷。Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用。
NebulaGraph·2023-11-19 09:22

大数据开发：kafka集群搭建步骤示例

基于Hadoop的大数据技术生态当中，kafka在日志采集这个环节，提供重要的支持。今天的大数据开发学习分享，我们主要来讲讲在Hadoop集群上如何搭建和配置kafka集群。
成都加米谷大数据·2023-11-19 08:53

大数据实战平台环境搭建

大数据实战平台环境搭建一、创建Hadoop用户二、更新apt和安装Vim编辑器三、安装SSH和配置SSH无密码登录四、安装Java五、安装单机Hadoop六、Hadoop伪分布式安装七、HDFS常用命令八
ZShiJ·2023-11-19 08:13

2023.11.18 -自用hadoop高可用环境搭建命令

启动hadoop高可用环境#1.先恢复快照到高可用环境#2.三台服务器启动zookeeper服务[root@node1~]#zkServer.shstart[root@node2~]#zkServer.shstart
白白的wj·2023-11-19 08:42

2023.11.18 Hadoop之 YARN

1.简介ApacheHadoopYARN（YetAnotherResourceNegotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度
白白的wj·2023-11-19 08:41

2023.11.18 - hadoop之zookeeper分布式协调服务

1.zookeeper简介ZooKeeper概念:Zookeeper是一个分布式协调服务的开源框架。本质上是一个分布式的小文件存储系统ZooKeeper作用:主要用来解决分布式集群中应用系统的一致性问题。ZooKeeper结构:采用树形层次结构，没有目录与文件之分,ZooKeeper树中的每个节点被称为—Znode。且树中的每个节点可以拥有子节点2.启动和配置环境变量在远程工具里发送三条命令[ro
白白的wj·2023-11-19 08:41

2023.11.17 hadoop之HDFS进阶

目录HDFS的机制元数据简介元数据存储流程:namenode生成了多个edits文件和一个fsimage文件edits和fsimage文件SecondaryNameNode辅助NameNode的方式:HDFS的存储原理写入数据原理:发送写入请求,获取主节点同意,开始写入,写入完成读取数据原理:发送读取请求,获取主节点同意,开始读取,读取完成HDFS安全机制HDFS归档机制HDFS垃圾桶机制分布式存
白白的wj·2023-11-19 08:35

redis 笔记

笔记概述技术分类解决功能性的问题：Java,Jsp,Tomcat,Html,RDMS，Linux解决扩展性的问题：Spring,SpringMVC,Mybatis解决性能的问题：NoSQL,Java线程,Hadoopnosql
jie_1024·2023-11-19 07:56

基于Hadoop的绿色出行交通路线规划系统设计与实现开题报告

学院名称年级专业班级学生学号学生姓名指导教师工号指导教师姓名任务书题目最终题目基于Hadoop的绿色出行交通路线规划系统设计与实现本课题的总体设计目标：随着经济发展，交通需求不断增长，交通拥堵问题已经成为世界各国城市发展面临的重要问题
程序源码123·2023-11-19 07:46

ClickHouse的分片和副本

DataReplication|ClickHouseDocs1.1副本写入流程1.2配置步骤（1）启动zookeeper集群（2）在hadoop102的/etc/clickhouse-server/config.d
shangjg3·2023-11-19 05:27

shell脚本写法（以zookeeper启动终止脚本为例）

1.在/bin目录下建立想要的脚本文件，以zookeeper为例[qurui@hadoop102~]$cd/bin#进入目录[qurui@hadoop102~]$sudovimzk.sh#打开文件，sudo
枫锦旧曾谙·2023-11-19 05:32

《大数据时代》读书笔记

介绍了随之而来的hadoop大数据处理技术，同时通过各行业的例子说明了当今时代，数据增速超过以往任何一个时代，海量数据将会最终产生质变，改变这
Lucia夏天呀·2023-11-19 05:44

Golang学习篇——创建多级目录

创建单个文目录：err:=os.Mkdir("D:/dir1",os.ModePerm)iferr!=nil{fmt.Println(err)}创建多级目录：//调用os.MkdirAll递归创建文件夹funcCreateMutiDir(filePathstring)error{if!isExist(filePath){err:=os.MkdirAll(filePath,os.ModePerm)i
Word哥·2023-11-19 04:43

zookeeper简单应用&分布式锁实现

zookeeper的客户端原生客户端的使用Curatorzk简单的分布式锁实现Zookeeper的作用ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop
Life journey·2023-11-19 04:06

HDFS架构

目录一，HDFS简介二、HDFS架构三、HDFS的工作机制一，HDFS简介①HDFS概念：HadoopDistributedFileSystem，是Hadoop项⽬的核⼼⼦项⽬，是分布式计算中数据存储管理的基础
cx330上的猫·2023-11-19 04:29

大数据之数据迁移sqoop的安装

1、sqoop的简介Sqoop是一种用于在ApacheHadoop和结构化数据存储（如关系型数据库）之间进行快速有效数据转移的工具。
bigdata从入门到放弃·2023-11-19 03:09

linux的免密登录

Hadoop是一种分布式计算平台，由多台计算机组成的集群协同工作，实现数据存储、处理和分析等任务。在Hadoop集群中，对于不同节点之间的通信，需要进行身份验证和安全加密，以确保数据传输的安全性。
bigdata从入门到放弃·2023-11-19 03:38

linux中hadoop伪分布搭建

1、什么是hadoop？Hadoop是一个开源的分布式数据处理框架，旨在处理大规模数据集并能够在普通硬件集群上实现高性能和可靠性。
bigdata从入门到放弃·2023-11-19 03:38

Hadoop面试题

Hadoop要点1、Hadoop运行模式2、Hadoop的组成4、block份数和大小默认配置5、HDFS读写数据流程（★）6、节点距离和机架感知（副本存储节点选择）（☆）7、SecondaryNameNode8
果子哥丶·2023-11-19 02:45

3️⃣Hadoop

1.Hadoop1.1.Hadoop是什么？分布式系统基础架构。主要解决海量数据的存储和海量数据的分析计算问题。Hadoop生态圈。
WovJf·2023-11-19 02:42

Hive的安装

-3.1.2-bin.tar.gz上传到linux的/opt/software目录下2）解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面[atguigu@hadoop102software
咱家不怕酸·2023-11-19 00:46

CentOS6.5下安装Hive2.0.0详解及其报错解决办法

www.centoscn.com/image-text/install/2016/0504/7167.html本文环境如下：操作系统：CentOS6.564位Hive版本：2.0.0JDK版本：1.8.064位Hadoop
fire-ang·2023-11-19 00:45

CentOS7基于Hadoop 2.7.3安装Hive 2.1.1

1.前言说明：安装hive前提是要先安装hadoop集群，并且hive只需要再hadoop的namenode节点集群里安装即可(需要再所有namenode上安装)，可以不在datanode节点的机器上安装
李天泉·2023-11-19 00:14

Hadoop学习笔记——入门基础

Hadoop优势高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
枫落@·2023-11-19 00:40

【学习笔记】大数据技术之Hadoop（入门）

大数据技术之Hadoop1.概念1.1Hadoop是什么？
在学习的王哈哈·2023-11-18 23:38

Spark学习——1.代表性大数据技术

1.代表性的大数据技术HadoopSparkFlinkBeam主要计算模式如图1-11.1HadoopHadoop的生态系统图如图1-2开源谷歌GFS，利用MapReduce分布式并行编程，MapReduce
楓尘林间·2023-11-18 23:37

使用Jupyter Notebook调试PySpark程序错误总结

项目场景：在Ubuntu16.04hadoop2.6.0spark2.3.1环境下简单调试一个PySpark程序，中间遇到的错误总结（发现版对应和基础配置很重要）注意：在前提安装配置好hadoophiveanacondajupyternotebooksparkzookeeper
Keep Doing this·2023-11-18 23:52

hadoop学习笔记1了解流程大概

海量数据的存储hdfs海量数据的计算：mapreducehdfs概述namenode：元数据，存储在哪个节点，存储什么信息datanode：存储数据2nn：备份namenode的信息yarn概述负责集群资源的管理ResourceManger：服务器运行的老大nodemanger：单个服务器运行的老大MapReduce架构概述mapreduce将计算分为两个阶段：map阶段把任务分下去reduce阶
小美元·2023-11-18 20:06

服务搭建篇(六) 搭建基于Kafka + Zookeeper的集群

一.Zookeeper1.什么是ZookeeperZooKeeper是一个开源的分布式协调框架，是ApacheHadoop的一个子项目，主要用来解决分布式集群中应用系统的一致性问题。
lingering fear·2023-11-18 20:32

漏洞学习篇：CVE漏洞复现

漏洞原理ApacheHTTPServer是Apache基础开放的流行的HTTP服务器。在其2.4.49版本中，引入了一个路径体验，满足下面两个条件的Apache服务器将受到影响：版本等于2.4.49*Requireallgranted（默认情况下是允许被访问的）。攻击者利用这个漏洞，可以读取到Apache服务器Web目录以外的其他文件，或者读取Web中的脚本源码，或者在开启cgi或cgid的服务器
网络安全小强·2023-11-18 20:25

kafka_2.12-3.1.0集群安装配置（zookeeper-3.6.3）

2.12-3.1.0安装环境安装步骤1、下载安装包2、修改配置文件修改server.properties添加环境变量3、启动kafka安装kafka_2.12-3.1.0安装环境CentOS版本：7.9Hadoop
Sofia_yaya·2023-11-18 20:52

【Python大数据笔记_day10_Hive调优及Hadoop进阶】

hive调优hive官方配置url:ConfigurationProperties-ApacheHive-ApacheSoftwareFoundationhive命令和参数配置hive参数配置的意义:开发Hive应用/调优时，不可避免地需要设定Hive的参数。设定Hive的参数可以调优HQL代码的执行效率，或帮助定位问题。然而实践中经常遇到的一个问题是，为什么我设定的参数没有起作用？这是对hive
LKL1026·2023-11-18 19:33

Flink原理与实现：详解Flink中的状态管理

硬刚大数据系列文章链接：2021年从零到大数据专家的学习指南(全面升级版)2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇2021年从零到大数据专家面试篇之SparkSQL篇2021
王知无(import_bigdata)·2023-11-18 19:59

使用Docker快速部署hadoop测试集群

目录背景第一部分Docker镜像准备第二部分运行容器第三部分cloudera-manager管理第四部分组件使用测试第五部分总结参考文献及资料背景通常在个人笔记本上部署Hadoop测试集群（含生态圈各组件
数据科学和工程·2023-11-17 18:36

hbase的学习逻辑_Hadoop学习笔记之十六——HBase框架学习（基础知识篇）

HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。
weixin_39574140·2023-11-17 16:02

大数据开发学习笔记

前言：本文介绍了各个大数据开发框架及数据库的学习记录链接有什么问题欢迎大家留言或者私信交流~Hadoophadoop集群搭建+hive安装_hadoop集群安装hive-CSDN博客Hadoop基础入门
THE WHY·2023-11-17 16:01

运行示例sparkPi计算圆周率（1.1）

1启动spark(1)启动hadoop启动成功master节点进程：Slave节点进程：(2)启动spark（注意路径）启动成功：Slave1和slave2的进程如下：2将sparkPi.scala添加进工程
探索者tl·2023-11-17 14:04

安装关系型数据库MySQL和大数据处理框架Hadoop

1.简述Hadoop平台的起源、发展历史与应用现状。列举发展过程中重要的事件、主要版本、主要厂商；国内外Hadoop应用的典型案例。
weixin_30621919·2023-11-17 13:14

The specified database user/password combination is rejected: [ 08S01] Could not open client transpo

Thespecifieddatabaseuser/passwordcombinationisrejected:[08S01]CouldnotopenclienttransportwithJDBCUri:jdbc:hive2://hadoop102
挽风821·2023-11-17 13:33

mysql怎么迁移到hadoop_Mysql 与 hadoop 数据同步（迁移），你需要知道 Sqoop

上篇文章Mysql到Hbase数据如何实时同步，强大的Streamsets告诉你我们说到了如何使用Streamsets来进行mysql到hbase的数据实时同步(迁移)。使用Streamsets的优点是部署简单，配置灵活，无需编写代码。认真阅读上篇文章的朋友会发现，Streamsets能够实时跟踪数据的变化，将数据同步更新到hbase中。但是对于历史数据(并且数据不改动的记录)的同步，文章中并没有
铑慇獬廌·2023-11-17 11:40

Python大数据之linux学习总结——day07_hive03

hive03分区表[练习]一级分区知识点：示例：多级分区知识点:示例：分区表知识点：示例：hadoop_hive文档分桶表[练习]重要参数基础分桶表:知识点:示例:分桶表排序:知识点:示例:随堂练习注意事项
笨小孩124·2023-11-17 09:46

自定义output文件，并指定输出的文件路径以及文件名

有如下文件，需要将itstar输出到一个文件，其他的输出到另一个文件，并自定义输出文件路径与文件名1：定义FilterMap类packageOutputFormat;importorg.apache.hadoop.io.LongWritable
zhanglei_16·2023-11-17 07:51

《网易-数据中台》学习笔记

《网易-数据中台》学习笔记1.大数据发展历程1.1数据仓库1.2Hadoop-数据湖1.3大数据平台1.4数据中台1.5Next：大数据+人工智能2.数据仓库2.1数据仓库建模2.1.1E-R模型2.1.2
杰克jk船长·2023-11-17 07:15

大数据毕业设计选题推荐-机房信息大数据平台-Hadoop-Spark-Hive

✨作者主页：IT研究室✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着信息技术的飞速发展，机
IT研究室·2023-11-17 06:59
上一页 53 54 55 56 57 58 59 60 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他