Hadoop大数据学习

07-Hive优化---高级部分3

学习工具及其原理（50%~70%）2、学习重要的（java、scala、python、sql[mysql\hivesql\sparksql\flinksql]）(30%~40%)1、开启本地模式大多数的HadoopJob
YuPangZa·2023-11-20 12:24

大数据流处理框架：Spark Streaming与Storm

大数据计算的第一代框架Hadoop，是致力于解决离线计算的问题而产生的，在离线批处理上性能优异，但是在实时流处理上，一直被诟病。Hadoop之后，Spark和Storm在流处理上成为对手。
成都加米谷大数据·2023-11-20 12:20

Hbase:namespace异常处理，hbase异常处理

Hbase集群部署启动后几秒自动退出异常处理，1.hadoop与hbase版本不兼容，会导致此异常。
Richard-Lui·2023-11-20 11:14

hbase启动错误org.apache.hadoop.hbase.TableExistsException: hbase:namespace

org.apache.hadoop.hbase.TableExistsException:hbase:namespace这个错误只会出现在安装独立zookeeper的方案中，当以前安装了一个版本，后来又换了一个新版本的时候会包这个错误
weipanp·2023-11-20 11:09

hbase:namespace is not online

由于机器重启导致想去建表，结果一直报Masterisinitializing这个时候去查看master后台日志，发现了一个比较重要的信息org.apache.hadoop.hbase.master.HMaster
lvwenyuan_1·2023-11-20 11:29

大数据开发(20)-Skew join

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦skewjoin的原理是，为倾斜的大key单独启动一个mapjoin
viperrrrrrr·2023-11-20 07:06

大数据开发(19)-hash table详解

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦在Map-side聚合中，每个Map任务（mapper）都会维护一个独立的哈希表
viperrrrrrr·2023-11-20 07:36

大数据学习（22）-spark

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦Spark是一个基于内存计算的大数据并行计算框架，具有快速、易用
viperrrrrrr·2023-11-20 07:23

Zookeeper

一、介绍ZooKeeper是一个开源的分布式应用程序协调服务，是Hadoop和Hbase的重要组件，提供配置维护、域名服务、分布式同步、分布式锁等功能。
qingsongxyz·2023-11-20 07:01

HDFS、MapReduce原理--学习笔记

1.Hadoop框架1.1框架与Hadoop架构简介（1）广义解释从广义上来说，随着大数据开发技术的快速发展与逐步成熟，在行业里，Hadoop可以泛指为：Hadoop生态圈。
祈愿lucky·2023-11-20 06:33

YARN，ZOOKEERPER--学习笔记

YARN是Hadoop核心组件之一，用于提供分布式资源调度服务。而在Hadoop1.x时，这个过程主要是通过MapReduce中的TaskTracker、JobTracker通信来完成。
祈愿lucky·2023-11-20 06:19

Hadoop 3.0.0 （单机版）安装与配置与基础使用

还好最后老师放水了，不用伪分布式，只要求学生把单机版hadoop随便玩玩就行了，不然我直
罗不丢·2023-11-20 04:28

【大数据定制项目】基于大数据可视化的智慧小区通行分析平台

SpringBoot项目案例推荐天码编程-SSM项目案例推荐天码编程-Python项目案例推荐天码编程-小程序项目案例推荐天码编程-大数据项目案例推荐文末获取源码项目名基于大数据可视化的智慧小区通行分析平台技术栈Hadoop
天码编程·2023-11-20 04:42

hadoop关于hdfs详细解答

HDFS内容大数据的概念及其特征Hadoop简介及其生态圈HDFS的内部组件介绍HDFS的安装模式介绍独立模式伪分布式模式完全分布式的搭建HDFS的常用命令HDFS的设计思想HDFS的体系结构HDFS的工作机制
一个人的小样·2023-11-20 04:58

Zookeeper

一、初识ZookeeperZookeeper是ApacheHadoop项目下的一个子项目，是一个树形目录服务。
h同学的学习空间·2023-11-20 03:11

Zookeeper-3.4.10安装教程

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
阮哈哈哈哈哈·2023-11-20 03:09

读书笔记-《无人驾驶》7-20200929

相机、激光雷达、无线电测距雷达、超声波传感器、GPS提供稳定的数据流，线控技术，取代人类的手和脚，深度学习将大数据学习，提升检测能力。SLAM即时定位于地图构建技术，提高机器人自主地图定位的
关七666·2023-11-20 02:04

大数据流式处理框架Flink介绍

1、Flink的介绍随着数据的飞速发展，出现了很多热门的开源社区，比如：hadoop、spark、storm社区，他们都有各自专注的适用场景，比如hadoop主要是做数据的存储及批处理计算，spark既可以做批处理也可以做准实时计算
大数据动物园·2023-11-20 01:57

Flink吐血总结，学习与面试收藏这一篇就够了！！！

可靠的容错能力集群级容错集群管理器集成（HadoopYARN、Mesos或Kubernetes）高可用性设置
大数据左右手·2023-11-20 01:55

大数据研发工程师面试

10.hadoop对put一个文件
ChlinRei·2023-11-20 01:43

大数据组件spark hadoop hive简单介绍

spark单机启动spark-shell集群启动/usr/local/spark-2.4.5-bin-hadoop2.7/sbin/start-all.sh提交任务1.打包python环境:whereispython
转身之后才不会·2023-11-19 23:29

大数据安全 测试

测试1、用户hive/1.common2.hadoop[email protected]和nn/1.common2.hadoop.fql.com分别对Hive进行查询（1）HDFS配置vim/usr/
bigdata-余建新·2023-11-19 22:50

2011-2022年高职大数据竞赛-赛题任务剖析

第一部分赛题内容第二部分任务剖析第三部分赛题模拟实现-离线数据抽取第四部分赛题模拟实现-离线数据统计第五部分赛题模拟实现-数据采集与实时计算第六部分赛题模拟实现-数据可视化（一）任务一：大数据平台环境搭建具体内容按照大数据分析平台需求，需要完成Hadoop
xlw2003·2023-11-19 21:54

电商大数据分析案例(Hadoop+Hive+Spark+Azkaban+Spring MVC+ECharts)

项目描述某著名电商平台双十一美妆销售数据分析。由于是真实的商业数据，所以做了脱敏处理，数据集中对店名的引用被处理为产品的品牌名以保护店家隐私。。通过对该平台双十一美妆销售数据的品牌、销量、热度等特征的分析(平台视角和用户视角)，尝试探索以下问题：双十一期间，最受消费者青睐的产品或品牌是哪些？双十一期间，美妆行业各品类的销售情况？双十一期间，消费高峰何时出现?双十一期间，客户的评论数对销量的影响?.
xlw2003·2023-11-19 21:53

Python大数据之linux学习总结——day10_hadoop原理

Hadoop原理Hadoop基础分布式和集群Hadoop框架概述生态圈版本更新hadoop架构[重点]官方示例圆周率练习词频统计[重点]需求:步骤:Hadoop-HDFS特点hdfs架构块和副本shell
笨小孩124·2023-11-19 20:38

clickhouse基础介绍

clickhouse可以做用户行为分析，流批一体，clickhouse没有走hadoop生态，采用L
大大大大肉包·2023-11-19 18:56

2️⃣Zookeeper（动物管理员）

容错率低）的服务的软件，封装了大量复杂关键的技术（服务），将简单的接口（API）暴露，高效的使用Zookeeper，稳定性非常高在大数据生态圈，Zookeeper（动物管理员）是一个非常重要的基础技术，Hadoop
WovJf·2023-11-19 17:40

4️⃣Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
WovJf·2023-11-19 17:39

Spark数据倾斜

1.什么是数据倾斜对HadoopSparkFlink这
WovJf·2023-11-19 17:04

大数据课程结构

1、第一阶段javaSE基础阶段-张一峰2、第二阶段-JavaWeb+数据库阶段-张3、第三阶段-大数据分布式架构-张一峰4、第四阶段-大数据Hadoop实战-张一峰5、第五阶段-大数据spark实战-
张一峰·2023-11-19 16:31

云计算课程设计基于hadoop的词频统计设计

云计算课程设计基于hadoop的词频统计设计实验报告http://链接：https://pan.baidu.com/s/1ujUAg4q1sZZwmyeeKrNirg提取码：maq7
安啦yy·2023-11-19 16:59

Hadoop集群进行map词频统计

一、首先新建虚拟机二、配置静态IP1、首先查看虚拟网络编辑器查看起始IP2.1、修改静态IP输入指令：vi/etc/sysconfig/network-scripts/ifcfg-ens33修改BOOTPROTO=static增加IPADDR、NETWASK、GATEWAY、DNS12.2、输入指令：vi/etc/sysconfig/network增加以下两条2.3、输入指令：vi/etc/hos
陈信宇是大聪明·2023-11-19 16:29

Hadoop词频统计

这里写自定义目录标题前提制作JAR包启动Hadoop将wordfile1.txt上传到HDFS重新上传文件进行词频统计和注意事项HDFS常用命令前提1.安装了Linux系统，并且安装了Hadoop下的两个组件
weixin_49670340·2023-11-19 16:29

Hadoop第五章：词频统计

系列文章目录Hadoop第一章：环境搭建Hadoop第二章：集群搭建（上）Hadoop第二章：集群搭建（中）Hadoop第二章：集群搭建（下）Hadoop第三章：Shell命令Hadoop第四章：Client
超哥--·2023-11-19 16:29

HDFS 使用Hadoop 中自带的词频统计程序，对数据集进行词频统计

实验题目：词频统计假设HDFS上有两个文件wordfile1.txt和wordfile2.txt(其他文件也行），运行Hadoop中自带的词频统计程序，对数据集进行词频统计。
码猿小菜鸡·2023-11-19 16:28

Hadoop自带WordCount进行词频统计（mapreduce）

Hadoop自带WordCount进行词频统计准备：安装好的Hadoop需要统计词频txt文件（用jieba分过词的链接:pycharm分词jieba结巴分词输出txt.step1启动Hadoopcd/
摸仙小蓝是人机·2023-11-19 16:57

Hadoop 经典案例：词频统计

环境搭建参考：http://www.ityouknow.com/hadoop/2017/07/24/hadoop-cluster-setup.html词频代码参考：https://blog.csdn.net
AnotherBUPT·2023-11-19 16:55

eclipse连接Hadoop并实现词频统计（大数据分析）

1、简介Eclipse是一个集成开发环境（IDE），包含一个基工作区和定制环境的可扩展插件系统。大部分使用Java编写，Eclipse可以用来开发应用程序。通过各种插件，Eclipse也可以用于其他编程语言开发应用程序：Ada、ABAP、C、C++、COBOL、Fortran、Haskell、JavaScript、Lasso、Natural、Perl、PHP、Prolog、Python、Ruby、
小坏蛋儿&·2023-11-19 16:20

在Hadoop中进行简单的词频统计

在Hadoop中进行简单的词频统计1.建立WCMapper代码如下：importjava.io.IOException;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text
CB_creayblack·2023-11-19 16:20

Hadoop调用MapReduce进行词频统计

Hadoop调用MapReduce进行词频统计博客目录一.案例1.实验目的2.分析步骤二.前置准备1.传输文本文件2.环境搭建(1)使用VirtualBox虚拟机软件安装Ubuntu(2)在Ubuntu
MidnightFancy·2023-11-19 16:17

Hadoop学习总结（MapRdeuce的词频统计）

词频统计一、MapRdeuce的词频统计的过程二、编程过程1、Mapper组件WordcountMapper.javapackagecom.itcast.mrdemo;importorg.apache.hadoop.io.IntWritable
Qinqin.J·2023-11-19 16:12

【hadoop】windows上hadoop测试环境的搭建步骤

一、下载hadoop安装包：点击下载解压。
七镜·2023-11-19 15:44

Hive插入数据警告：Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions

Hive插入表数据持续等待警告问题解决1、问题描述2、原因分析3、问题解决1、问题描述启动Hadoop，使用hiveserver2启动Hive的JDBC服务并使用IDE连接到Hive，创建表成功，但是INSERT
对许·2023-11-19 14:42

3.Apache Hive 查询报错 FAILED: org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

版本CDH6.2.0Hive2.1.1-cdh6.2.0一、问题执行查询视图的sql报错:FAILED:ExecutionError,returncode3fromorg.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
终回首·2023-11-19 14:18

2023-Hive调优最全指南

本文基本涵盖以下内容：一、基于Hadoop的数据仓库Hive基础知识二、HiveSQL语法三、Hive性能优化四、Hive性能优化之数据倾斜专题五、HiveSQL优化十二板斧六、Hive面试题(一)七、
000X000·2023-11-19 13:43

Hive 调优指南

Hive调优指南ApacheHive是一个基于Hadoop的数据仓库解决方案，用于查询和分析大量的结构化数据。为了提高Hive查询性能和效率，本文将介绍一些Hive调优的策略和方法。
小泽长不胖·2023-11-19 13:41

数仓开发面试题之Hadoop相关

提纲MapReduce原理，map数、reduce数的参数说一下mapjoin与reducejoinhivesql怎么优spark和hive的区别数据倾斜几种解决方式数据如何清洗说一下udf、udtf、udaf，集成的类、接口，怎么写hive文件存储格式，对比内外表区别hive执行的job数是怎么确定的cube、groupingsets、grouping__idorderby、sortby、dis
话数Science·2023-11-19 13:39

Hive 学习历程

Hive学习历程使用Hive时需要打开Hadoop集群以及hiveserver这里可以使用脚本来打开[hadoop@node02~]$all.shstart[hadoop@node02~]$hvservice.shstart
jasondde·2023-11-19 12:06

【大数据项目】基于大数据可视化的互联网设备可视化平台

SpringBoot项目案例推荐天码编程-SSM项目案例推荐天码编程-Python项目案例推荐天码编程-小程序项目案例推荐天码编程-大数据项目案例推荐文末获取源码项目名基于大数据可视化的互联网设备可视化平台技术栈Hadoop
天码编程·2023-11-19 12:32

大数据之hadoop-hdfs知识通俗详解

NameNodeDataNode元数据持久化安全模式HDFS中的SNNSecondaryNameNode（SNN）Block的副本放置策略HDFS写流程HDFS读流程总结疑问分布式文件系统那么多，为什么hadoop
shw12357·2023-11-19 10:27
上一页 50 51 52 53 54 55 56 57 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他