hadoop学习积累

Hive 知识点八股文记录 ——（一）特性

Hive通俗的特性结构化数据文件变为数据库表sql查询功能sql语句转化为MR运行建立在hadoop的数据仓库基础架构使用hadoop的HDFS存储文件实时性较差（应用于海量数据）存储、计算能力容易拓展
JamSlade·2023-11-11 06:37

大数据毕业设计选题推荐-智慧消防大数据平台-Hadoop-Spark-Hive

✨作者主页：IT毕设梦工厂✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语一、前言随着城市化进程的加
IT毕设梦工厂·2023-11-11 03:01

hadoop-mapred-site.xml配置文件详解

hadoop-mapred-site.xml配置文件详解mapred-site.xml配置文件简介MapReduce配置相关mapred-site.xml配置namevaluedescriptionmapreduce.jobtracker.jobhistory.locationIfjobtrackerisstaticthehistoryfilesarestoredinthissinglewellk
许喜朝·2023-11-11 03:31

Hadoop配置文件_mapred-default.xml

mapreduce.jobtracker.jobhistory.locationIfjobtrackerisstaticthehistoryfilesarestoredinthissinglewellknownplace.IfNovalueissethere,bydefault,itisinthelocalfilesystemat${hadoop.log.dir
达达呀·2023-11-11 03:30

hadoop介绍部署文档

hadoop部署文档hadoop简介hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。
王亭_666·2023-11-11 01:41

数据仓库-业务数据采集（基于物流数仓）

数据采集用到的组件：MySQL+DataX+Hadoop+Flink+Kafka+Zookeeper+Flume1、业务数据同步概述1
小鱼干换酒钱·2023-11-11 01:40

2023.11.10 hadoop,hive框架概念,基础组件

目录分布式和集群的概念:hadoop架构的三大组件:Hdfs,MapReduce,Yarn1.hdfs分布式文件存储系统HadoopDistributedFileSystem2.MapReduce分布式计算框架
白白的wj·2023-11-11 01:08

Hive-入门学习之 hive 简介和安装 (1)

1Hive简介1.1hive是什么是由Facebook开源用于解决海量结构化日志的数据统计(海量的结构化数据的运算分析).是基于hadoop的一个数据仓库工具(服务性的软件),可以将结构化的数据文件映射为一张表
算啦粉·2023-11-11 01:37

2023.11-9 hive数据仓库,概念,架构

Hive和数据库比较1）查询语言2）数据更新3）执行延迟4）数据规模五.hive架构流程六.MetaStore元数据管理三种模式一.HDFS、HBase、Hive的区别1、HDFS（分布式文件系统）：是Hadoop
白白的wj·2023-11-11 01:36

大数据毕业设计选题推荐-污水处理大数据平台-Hadoop-Spark-Hive

✨作者主页：IT研究室✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着工业化和城市化的快速发
IT研究室·2023-11-11 01:17

CentOS部署单机Presto

前置条件安装到hadoop客户端1、配置基础环境（presto需要java环境）java软件包链接：https://pan.baidu.com/s/1Utcsz56jnWfGDLxTvdQPTw?
人生匆匆·2023-11-10 22:29

CentOS部署集群版Presto

前置条件安装到hadoop客户端1.集群规划ip地址服务172.24.12.30coordinator,workor172.24.12.30workor172.24.12.30workor2、配置基础环境
人生匆匆·2023-11-10 22:29

HBase导出建表语句

HBase导出建表语句HBase是一个面向大数据的分布式列存数据库，它以Hadoop作为底层存储和计算平台。在HBase中，数据以表的形式存储，每个表由行和列组成。
人生匆匆·2023-11-10 22:54

Clickhouse数据库七：配置高可用（复本）

7.1复本写入流程7.2配置规划7.3在hadoop103安装clickho
大数据面壁者·2023-11-10 21:03

MongoDB中的explain和hint提的使用

一、简介这里简单介绍一下各个工具的使用场景，一般用mysql，redis，mongodb做存储层，hadoop,spark做大数据分析。
weixin_30666401·2023-11-10 20:41

Hadoop学习笔记

文章目录前言这是关于Hadoop的学习笔记，仅供个人使用-----2022.8.12当前企业数据分析方向：1.现状分析（分析当下的数据）：现阶段的整体情况，各个部分的构成占比，发展，变动2.原因分析（分析过去的数据
泥地小白菜·2023-11-10 20:26

Hadoop入门指南之分组实战

Hadoop系列文章索引Hadoop入门指南之HDFS介绍Hadoop入门指南之Linux环境搭建Hadoop入门指南之Linux软件安装Hadoop入门指南之Hadoop安装Hadoop入门指南之hdfs
我辈岂是蓬蒿人225·2023-11-10 20:24

Hadoop入门指南之统计库存实战

Hadoop系列文章索引：Hadoop入门指南之HDFS介绍Hadoop入门指南之Linux环境搭建Hadoop入门指南之Linux软件安装Hadoop入门指南之Hadoop安装Hadoop入门指南之hdfs
我辈岂是蓬蒿人225·2023-11-10 20:54

Hadoop入门指南之分区、规约实战

Hadoop系列文章索引Hadoop入门指南之HDFS介绍Hadoop入门指南之Linux环境搭建Hadoop入门指南之Linux软件安装Hadoop入门指南之Hadoop安装Hadoop入门指南之hdfs
我辈岂是蓬蒿人225·2023-11-10 20:54

Hadoop入门指南之排序实战

Hadoop系列文章索引Hadoop入门指南之HDFS介绍Hadoop入门指南之Linux环境搭建Hadoop入门指南之Linux软件安装Hadoop入门指南之Hadoop安装Hadoop入门指南之hdfs
我辈岂是蓬蒿人225·2023-11-10 20:54

Hadoop之实战WordCount

大致流程如下：第一步：开发Map阶段代码第二步：开发Reduce阶段代码第三步：组装Job在idea中创建WordCountJob类添加注释，梳理一下需求：需求：读取hdfs上的hello.txt文件，计算文件中每个单词出现的总次数hello.txt文件内容如下：helloyouhellome最终需要的结果形式如下：hello2me1you1先创建map阶段的代码，在这里需要自定义一个mapper
hhhecker·2023-11-10 20:23

Hadoop实战（6）_搭建Apache Hadoop的Eclipse开发环境

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战
padluo·2023-11-10 20:22

Hadoop项目实战---日志分析

1、项目描述通过对apachecommon日志进行分析2、数据情况每行记录有5部分组成：1.访问ip2.访问时间3.访问资源【跟着两个访问的Url】4.访问状态5.本次流量截取部分数据如下：27.19.74.143--[30/May/2013:17:38:21+0800]"GET/static/image/smiley/default/shy.gifHTTP/1.1"20026638.35.201
梦里断魂·2023-11-10 20:21

hadoop MapReduce 实战（java）：单词计数

hadoopMapReduce实战（java）：单词计数点击【File】—>【Project】，选择【Map/ReduceProject】，输入项目名称test，一直回车。
柯努力·2023-11-10 20:51

Hadoop实战 一 WordCount

Hadoop实战一WordCount准备工作启动虚拟机HadoopWindowsHadoop环境配置准备数据文本修改Mavenpom文件Hadoop配置文件编码环节Mapper文件Reduce文件Mian
Tzyy皮皮·2023-11-10 20:18

Hadoop实战 一 Shuffle 阶段

Shuffle阶段分区排序规约分组主类代码分区将数据分成若干个块，每个块可以按照约定形成文件步骤：1继承Partitioner类并重写getPartition方法2在主类中设置启用分区job.setPartitionerClass(OrderParition.class);注意：1在继承Partitioner时的两个类型分别对应了K2V2也就是Mapper的输出类型2getPartition中的参
Tzyy皮皮·2023-11-10 20:18

Hadoop实战学习（2）-日志清洗

转载自：Hadoop日志清洗1.1数据情况回顾该论坛数据有两部分：（1）历史数据约56GB，统计到2012-05-29。
兵工厂三剑客·2023-11-10 20:18

【Hadoop实战】Hadoop指标系统V2分析

Hadoop指标系统V2分析文章目录Hadoop指标系统V2分析架构主要组成部分根据图表解释数据流向指标过滤JMX的应用开启指标系统的组件指标项说明使用HTTP（JMXJsonServlet）获取指标接口调用方式
顧棟·2023-11-10 20:17

大数据学习入门必备规划

一、大数据工程师的技能要求二、大数据学习路径三、学习资源推荐（书籍、博客、网站）一、大数据工程师的技能要求总结如下:必须技能10条:01.Java高级编程(虚拟机、并发)02.Linux基本操作03.Hadoop
金罗老师·2023-11-10 18:54

hadoop 写入mysql_hadoop读写mysql数据库

hadoop技术推出一度曾遭到关系数据库研究者的挑衅和批评，认为MapReduce不具有关系数据库中的结构化数据存储和处理能力。
weixin_39827315·2023-11-10 16:54

MapReduce读写mysql

2019独角兽企业重金招聘Python工程师标准>>>hadoop的API提供了DBOutputFormat和DBInputFormat这两个类，来进行与数据库交互，除此之外，我们还需要定义一个类似JAVABean
weixin_34318272·2023-11-10 16:23

Hadoop 中利用 mapreduce 读写 mysql 数据

好了言归正传，简单的说说背景、原理以及需要注意的地方：1、为了方便MapReduce直接访问关系型数据库（Mysql,Oracle），Hadoop提供了DBIn
coco_ethan·2023-11-10 16:12

18、MapReduce的计数器与通过MapReduce读取/写入数据库示例

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作-shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件
一瓢一瓢的饮 alanchan·2023-11-10 16:11

20、MapReduce 工作流介绍

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作-shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件
一瓢一瓢的饮 alanchan·2023-11-10 16:41

CentOS7 hadoop集群搭建

搭建Hadoop集群配置名字hadoop1、hadoop2、hadoop3hostnamectlset-hostnamehadoop1hostnamectlset-hostnamehadoop2hostnamectlset-hostnamehadoop3
AGMY·2023-11-10 16:34

hadoop集群搭建

准备三台虚拟机hadoop1hadoop2hadoop3ip分别为：192.168.56.211，192.168.56.212，192.168.56.213配置三台虚拟机的主机名和映射vi/etc/hosts
昱宸星光·2023-11-10 16:28

Hadoop-伪分布式单节点搭建hive

1.在搭建hadoop完成一台电脑后，hive是利用的MySQL数据库进行操作（推荐与Java技术不好MySQL学的好的学生使用）话不多说操作如下：2.先把hive数据包和MySQL连接jar包放到Linux
A.一十五·2023-11-10 15:27

hadoop完全分布式+hive+spark

Hadoop修改host文件三台机器都要设置IP1MasterIP2Slave1IP3Slave2请修改自己对应的IPSSH免密登录1、在Master上生成秘钥ssh-keygen-trsa一路回车，都设置为默认值
oneMonthOneBook·2023-11-10 15:56

Linux伪分布式安装Hadoop2.7.7

1、上传并解压压缩包使用Finalshell或idea等链接工具上传安装包至安装目录解压压缩包#进入安装目录cd/soft#/soft改为你的安装目录#解压安装包tar-zxvfhadoop-2.7.7
一位不愿透露姓名的肥宅·2023-11-10 15:23

Hadoop3.1.2伪分布式搭建-虚拟机搭建

Hadoop3.1.2伪分布式搭建-虚拟机搭建1.更改网路设置，设置为静态ipvi/etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO=staticIPADDR
猫吃小鱼·2023-11-10 15:22

大数据Hadoop之——Spark on Hive 和 Hive on Spark的区别与实现

文章目录一、SparkonHive和HiveonSpark的区别1）SparkonHive2）HiveonSpark（本章实现）二、HiveonSpark实现1）先下载hive源码包查看spark版本2）下载spark3）解压编译4）解压5）把sparkjar包上传到HDFS6）打包sparkjar包并上传到HDFS7）配置1、配置spark-defaults.conf2、配置spark-env.
大数据老司机·2023-11-10 15:22

Zookeeper篇---第一篇

直译：从名字上直译就是动物管理员，动物指的是Hadoop一类的分布式软件，管理员三个字体现了ZooKeeper的特点：维护、协调、管理、监控。
数据大魔王·2023-11-10 15:52

Hadoop YARN的伪分布式安装

//core-site.xmlfs.defaultFShdfs://localhost:9000//hdfs-site.xmldfs.replication1//mapred-site.xmlmapreduce.framework.nameyarn//yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shufflesbin/start-yarn
zmx2029·2023-11-10 15:19

Linux Hadoop平台伪分布式安装(Hive on Spark)

LinuxHadoop伪分布式安装(HiveonSpark)安装目录1.JDK2.Hadoop3.Mysql+Hive3.1Mysql8安装3.2Hive安装4.Spark4.1Maven安装4.2Scala
NightFall丶·2023-11-10 15:17

大数据毕业设计选题推荐-河长制大数据监测平台-Hadoop-Spark-Hive

✨作者主页：IT研究室✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着工业化和城市化的快速发
IT研究室·2023-11-10 15:06

Hive3 on Spark3配置

1、软件环境1.1大数据组件环境大数据组件版本Hive3.1.2Sparkspark-3.0.0-bin-hadoop3.21.2操作系统环境OS版本MacOSMonterey12.1Linux-CentOS7.62
江畔独步·2023-11-10 13:37

大数据毕业设计选题推荐-农作物观测站综合监控平台-Hadoop-Spark-Hive

✨作者主页：IT毕设梦工厂✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语一、前言随着科技的发展和全
IT毕设梦工厂·2023-11-10 13:35

Spark 读取ES采坑系列

目录一、使用的插件二、ES集群和Elasticsearch-hadoop版本问题三、Elasticsearch-hadoop和Scala版本以及Spark版本（版本不匹配会有各种异常信息一、使用的插件org.elasticsearchelasticsearch-hadoopxxx
小湘西·2023-11-10 13:05

2023.11.8 hadoop学习-概述,hdfs dfs的shell命令

目录1.分布式和集群2.Hadoop框架3.版本更新4.hadoop架构详解5.页面访问端口6.Hadoop-HDFSHDFS架构HDFS副本7.SHELL命令8.启动hive服务1.分布式和集群分布式
白白的wj·2023-11-10 12:54

Hadoop 视频分析系统

视频分析系统业务流程原始数据vedio.json{"rank":1,"title":"《逃出大英博物馆》第二集","dzl":"77.8","bfl":"523.9","zfl":"39000","type":"影视","time":"3-5"}{"rank":2,"title":"兄弟们这一期真的要看到最后！","dzl":"89.6","bfl":"636.1","zfl":"4246","t
李昊哲小课·2023-11-10 11:53
上一页 55 56 57 58 59 60 61 62 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他