Hadoop学习篇

Hadoop详解

Hadoop概念就是一个大数据解决方案。它提供了一套分布式系统基础架构。核心内容包含hdfs和mapreduce。
武昌库里写JAVA·2024-01-16 21:20

「Kafka」Broker篇

KafkaBroker总体工作流程Zookeeper存储的Kafka信息启动Zookeeper客户端：[atguigu@hadoop102zookeeper-3.5.7]$bin/zkCli.sh通过ls
小成同学_·2024-01-16 21:44

Hudi0.14.0最新编译（修订版）

1编译环境Java1.8maven3.9.3hadoop3.3.4hive3.1.3spark3.2.1flink1.16.0hudi0.14.02hudi准备2.1源码$gitclonehttps:/
跟着大数据和AI去旅行·2024-01-16 20:40

架构简介，到底什么是架构？

我们经常对新员工培训整个系统的架构，参加架构设计评审，学习业界开源系统（例如，MySQL、Hadoop）的架构，研究大公司的架构实现（例如，微信架构、淘宝架构）……虽然“架构”这个词常见，但如果深究一下
星猿杂谈·2024-01-16 18:51

大数据学习入门到实战教程，精心整理万字长文入门，老奶奶看了都说学会了

换个角度说，大数据是：1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez
悦悦学Python·2024-01-16 18:10

2021年第12周复盘：（3.15—3.21）

学习篇：√1.通过消防工程师考试：安全通过，真棒！！√2.学习写作，完成200篇：完成4篇。√3.手机摄影，图虫作品200幅：完成6幅。4.短视频制作200个：0个。视频制作需要
花花的记录·2024-01-16 17:02

hive:创建自定义python UDF

由于Hadoop框架是用Java编写的，大多数Hadoop开发人员自然更喜欢用Java编写UDF。
-柚子皮-·2024-01-16 16:35

vite4加react18加ts-hooks学习篇

vite4加react18加ts-安装篇；最近从vue3转型学习了，react相关技术架构，去有意识的去学习了相关东西，内容比较实用，没有引入太多原理和概念，就是最直接最实用的记录下来；react项目中版本"react":"^18.2.0","react-dom":"^18.2.0",useState使用指南useState接受一个参数，返回了一个数组;//直接更新useStatefunction
web前端进阶者·2024-01-16 14:54

记录学习Spark+Kafka构建实时分析Dashboard案例中遇到的问题（一）安装

目录推荐环境系统和软件安装安装Ubuntu分辨率问题虚拟机桥接模式连不上网Hadoop安装Ubuntu16.04下用aria2下载百度网盘大文件其他在安装hadoop时遇到的问题hadoop用法小结单机模式伪分布式
白令屿·2024-01-16 13:53

大数据实战——基于Hadoop的Mapreduce编程实践案例的设计与实现

基于Hadoop的Mapreduce编程实践案例的设计与实现一、数据排序案例的设计与实现1.1设计思路1.2实践过程1.3成果展示+数据可视化分析二、求数据平均值案例的设计与实现2.1设计思路2.2实践过程
ZShiJ·2024-01-16 11:27

Flume用法总结

在Hadoop生态系统中，规模最大，知名度最高的公司就是Cloudera，2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop商用解决方案。
天选之子123·2024-01-16 10:53

Kafka入门基本概念（详细）

对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoo
学会用脚编程·2024-01-16 10:17

HIve项目入门 环境部署遇到的问题及解决方案

环境布置的步骤建议是jdk,hadoophive这几个分别去下载，参考以下几个安装教程：【主要参考：傻瓜式教程】Windows下安装HiveMySQL版【附安装Hadoop教程】全网最详细的图文教程【有一些补充的内容
Manchesterr·2024-01-16 09:47

001 大数据爱好者的 Hadoop 教程-学习 Hadoop 的最佳方式

000HadoopTutorialforBigDataEnthusiasts–TheOptimalwayofLearningHadoopHadoopTutorial–Oneofthemostsearchedtermsontheinternettoday.Doyouknowthereason
胡巴Lei特·2024-01-16 09:27

大模型学习篇(一)：初识大模型

目录一、大模型的定义二、大模型的基本原理与特点三、大模型的分类四、大模型的相关落地产品五、总结一、大模型的定义大模型是指具有数千万甚至数亿参数的深度学习模型。大模型具有以下特点：参数规模庞大：大模型的一个关键特征是其包含了大量的可学习参数，这些参数是在训练过程中根据输入数据自动调整的，以便模型更好地拟合训练数据；深度结构：大模型通常是深度神经网络，具有多个层次的结构；更强的泛化能力：大模型通常能够
Abro.·2024-01-16 09:38

基于CentOS7利用docker搭建hadoop环境

一、任务目标在之前已经安装好的CentOS虚拟机上，在Docker上，安装hadoop。
Cupcake_JackY·2024-01-16 07:50

Hive 数据迁移

二、思路三、同步数据（方案）1、环境：断直连模拟环境2、操作机器：ETL机器XX.14.36.2163、工作路径：cd/usr/local/fqlhadoop/hadoop/bin4、执行命令：命令格式
bigdata-余建新·2024-01-16 07:14

Hive知识点

基本概念：由Facebook开源，构建在Hadoop之上的数据仓库，数据计算是mapreduce，数据存储是HDFS目的是构建面向分析的集成的数据环境，为企业提供决策支持（面向分析的存储系统）主要特征：
꧁༺朝花夕逝༻꧂·2024-01-16 07:25

HDFS HA 集群搭建 - 基于Quorum Journal Manager（hadoop2.7.1）

0、前置概念0.1checkpoint检查点在Hadoop分布式文件系统（HDFS）中，检查点（Checkpointing）是一个关键的过程，它涉及到将文件系统的命名空间状态持久化到磁盘。
Studying！！！·2024-01-16 06:36

flink1.14.5使用CDH6.3.2的yarn提交作业

使用CDH6.3.2安装了hadoop集群，但是CDH不支持flink的安装，网上有CDH集成flink的文章，大都比较麻烦；但其实我们只需要把flink的作业提交到yarn集群即可，接下来以CDHyarn
码道功成·2024-01-16 06:30

mac上搭建 hadoop 伪集群

1.hadoop介绍Hadoop是Apache基金会开发的一个开源的分布式计算平台，主要用于处理和分析大数据。Hadoop的核心设计理念是将计算任务分布到多个节点上，以实现高度可扩展性和容错性。
寂夜了无痕·2024-01-16 06:30

hadoop- yarn启动后用jps查看没有resourcemanager

1.问题启动hadoop的yarn时发现jps并没有resourcemanager2.排查在hadoop-xxx-resourcemanager-.log日志文件中发现了报错日志日志内容如下contextlogs2024
寂夜了无痕·2024-01-16 06:30

Hadoop分布式文件系统(三)

目录一、Hadoop1、MapReduce1.1、理解MapReduce思想1.2、分布式计算概念1.3、MapReduce介绍1.4、MapReduce特点1.5、MapReduce局限性1.6、MapReduce
杀神lwz·2024-01-16 06:57

Hadoop 3.2.4 集群搭建详细图文教程

一、集群简介Hadoop集群包括两个集群：HDFS集群、YARN集群。两个集群逻辑上分离、通常物理上在一起；两个集群都是标准的主从架构集群。
༺࿈誓言࿈༻·2024-01-16 05:10

大数据技术原理与应用 第三版 林子雨 期末复习（四） Hive

大数据技术原理与应用第三版林子雨期末复习（四）Hive概念数据仓库层次传统数据仓库面临的挑战Hive简介Hive与传统数据库对比概念Hive是一个基于Hadoop的数据仓库工具。
头发多多，肆意生长·2024-01-16 05:22

大数据技术原理与应用 第三版 林子雨 期末复习（五） 第十章 SPARK

大数据技术原理与应用第三版林子雨期末复习（五）第十章SPARK简介spark特点spark与Hadoop对比Hadoop缺点spark优点RDDRDD概念RDD间存在依赖关系分为宽依赖与窄依赖RDD的两种常用操作简介
头发多多，肆意生长·2024-01-16 05:22

大数据技术原理与应用 第三版 林子雨 期末复习（二） Hadoop HDFS HBase

大数据技术原理与应用第三版林子雨期末复习（二）HadoopHDFSHBaseHadoop生态系统HDFSHDFS结构块NameNode与SecondNameNode与DataNode数据冗余存储HDFS
头发多多，肆意生长·2024-01-16 05:21

大数据技术原理与应用期末复习（林子雨）

大数据技术原理与应用期末复习（林子雨）Hadoop的特性HBase编程实践NoSQL的四大类型键值数据库优点：缺点：列族数据库优点：缺点：文档数据库优点：缺点：图数据库优点：缺点：NoSQL的三大基石CAP
laowang357·2024-01-16 05:50

Kafka部署及使用

broker、topic启动zk下载zkzookeeper-3.4.5-cdh5.7.0.tar.gz解压：tar-zxvfzookeeper-3.4.5-cdh5.7.0.tar.gz-C/home/hadoop
Sx_Ren·2024-01-16 05:15

任务10：安装配置Java开发环境

开发工具Maven配置重点：安装配置Java开发工具IDEA为IDEA配置自定义Maven（国内源）内容：下载并配置JDK1.8下载安装IDEA为IDEA配置自定义MavenWindows环境安装配置Hadoop
Dija-bl·2024-01-15 22:21

任务12：使用Hadoop Streaming解压NCDC天气原始数据

任务描述知识点：NCDC原始的气象数据上传到HDFSMapReduce程序处理NCDC原始数据重点：熟练使用HDFS基础命令查看HDFS文件块的分布情况掌握Linux系统Shell脚本的编写熟练使用MapReduce程序解压缩文件使用MapReduce程序处理NCDC气象数据内容：NCDC气象数据上传至HDFS检查HDFS文件块的分布情况编写LinuxShell脚本生成input文件编写Shell
Dija-bl·2024-01-15 22:21

任务4：安装并配置JDK

：检查系统中是否自带OpenJDK卸载系统自带OpenJDK安装OracleJDK配置环境变量并使其生效将JDK分发至其他机器任务指导安装并配置OracleJDK过程1、安装配置OracleJDK概述Hadoop2.9.2
Dija-bl·2024-01-15 22:51

任务3：配置SSH免密码连接--自用

任务描述知识点：掌握配置SSH免密连接重点：掌握SSH免密连接熟练使用Linux命令配置机器间的免密登陆内容：配置SSH免密登陆使用命令分发文件测试SSH免密登陆任务指导Hadoop分布式集群是由多个节点组成
Dija-bl·2024-01-15 22:21

任务5：安装并配置Hadoop

任务描述知识点：掌握Hadoop集群的搭建重点：掌握Linux基础命令在Linux系统下使用命令安装Hadoop集群内容：安装配置Hadoop集群配置Hadoop环境变量修改Hadoop配置文件部署Hadoop
Dija-bl·2024-01-15 22:21

ZooKeeper 简介

1、概念介绍ZooKeeper是一个开放源码的分布式应用程序协调服务，为分布式应用提供一致性服务的软件，由雅虎创建，是GoogleChubby的开源实现，是Apache的子项目，之前是Hadoop项目的一部分
HuaLuLemon·2024-01-15 21:37

CC00023.python——|Hadoop&Python.v01|——|Arithmetic.v01|Jupyter交互程序：Jupyter库安装|

一、安装jupyter库###---查看pip版本C:\Users\Administrator>pip--versionpip21.2.4fromD:\JAVA\Python310\lib\site-packages\pip(python3.10)###---在windows.dos下安装jupyter###---win+R：dos窗口###---安装jupyter库C:\Users\Admini
yanqi_vip·2024-01-15 19:36

flink02-安装

1standalone模式1.1安装解压缩flink-1.7.0-bin-hadoop27-scala_2.11.tgz修改flink/conf/flink-conf.yaml文件image.png修改
chen_666·2024-01-15 18:25

【Linux】基础学习篇四：实用操作（持续更新）

个人主页：godspeed_lucip系列专栏：Linux学习目录Linux实用操作1.各类小技巧1.1ctrl+c强制停止1.2ctrl+d退出或登出1.3历史命令搜索1.3.1history查看历史输入的命令1.3.2!+命令前缀，执行匹配的命令1.3.3ctrl+r，匹配命令1.4光标移动快捷键1.5清屏2.软件安装2.1首先确认自己的linux可以联网2.2yum命令2.2.1CentOS
godspeed_lucip·2024-01-15 15:54

【Linux】基础学习篇三：用户与权限（持续更新）

个人主页：godspeed_lucip系列专栏：Linux学习目录Linux用户和权限1.了解root用户2.su和exit命令3.sudo命令3.1授权普通用户使用sudo4.用户和用户组4.1用户组的管理4.2用户的管理4.2.1创建用户4.2.2删除用户4.2.3查看用户所在组4.2.4修改用户所在组4.2.5getent命令5.查看权限控制5.1了解权限信息5.2了解rwx6.修改权限控制
godspeed_lucip·2024-01-15 15:23

基于JavaWeb+BS架构+SpringBoot+Vue+Hadoop短视频流量数据分析与可视化系统的设计和实现

基于JavaWeb+BS架构+SpringBoot+Vue+Hadoop短视频流量数据分析与可视化系统的设计和实现文末获取源码Lun文目录前言主要技术系统设计功能截图订阅经典源码专栏Java项目精品实战案例
FREE技术·2024-01-15 14:51

初识Hadoop

Hadoop作为一个能够对大量数据进行分布式处理的软件框架，用户可以利用Hadoop生态体系开发和处理海量数据。由于Hadoop有可靠及高
一米八多的瑞兹·2024-01-15 14:08

Hadoop基础之初识大数据与Hadoop

学习Hadoop有一个8020原则，80%都是在不断的配置配置搭建集群，只有20%写程序！
林尧彬·2024-01-15 14:37

2022-01-03大数据学习日志——Hadoop离线阶段——Hadoop MapReduce、YARN、HA

学习目标理解分布式计算分而治之的思想学会提交MapReduce程序掌握MapReduce执行流程掌握YARN功能与架构组件掌握程序提交YARN交互流程理解YARN调度策略掌握HadoopHA实现原理内容大纲
王络不稳定·2024-01-15 14:37

Hadoop（一）之初识大数据与Hadoop

Hadoop（一）之初识大数据与Hadoop阅读目录(Content)一、引言（大数据时代）1.1、从数据中得到信息1.2、大数据表象概念二、大数据基础2.1、什么是大数据？
筱若水qq·2024-01-15 14:04

Hadoop高手之路1—Hadoop简介

文章目录初识Hadoop1.大数据概述1.1什么是大数据1.2大数据的特征1.3研究大数据的意义2.大数据的应用场景2.1医疗行业的应用2.2金融行业的应用2.3零售行业的应用3.Hadoop的概述3.1Hadoop
W_chuanqi·2024-01-15 14:31

初识Hadoop-概述与关键技术

一.大数据概述1.什么是大数据高速发展的信息时代，新一轮科技革命和变革正在加速推进，技术创新日益成为重塑经济发展模式和促进经济增长的重要驱动力量，而“大数据”无疑是核心推动力。那么，什么是“大数据”呢？如果从字面意思来看，大数据指的是巨量数据。那么可能有人会问，多大量级的数据才叫大数据？不同的机构或学者有不同的理解，难以有一个非常定量的定义，只能说，大数据的计量单位已经越过TB级别发展到PB、EB
僖僖cc·2024-01-15 14:58

Hive导入数据的五种方法

不管路径在哪里，只有把数据文件移动到对应的表文件夹下面，Hive才能映射解析成功;最原始暴力的方式就是使用hadoopfs
冬瓜的编程笔记·2024-01-15 12:04

大数据开发之Hive（压缩和存储）

利用Hadoop的InputFormatAPI可以从不同数据源读取数据，使用OutputFormatAPI可以将数据写成不同的格式输出。
Key-Key·2024-01-15 12:34

大数据开发之HA

第1章：HadoopHA高可用1.1HA概述所谓HA（HighAvailablity），即高可用（7*24小时不间断服务）。实现高可用最关键的策略是消除单点故障。
Key-Key·2024-01-15 12:03

Zookeeper教程1

ZookeeperZookeeper概念Zookeeper是ApacheHadoop项目下的一个子项目，是一个树形目录服务。
暗雪之格·2024-01-15 09:56
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他