研磨hadoop 第51页

ARTS-第八周第九周

Tips/Technology一、Kerberos与hadoop生态相关配置与操作HDFS使用kerberosYARN、Spark、Hive使用kerberoskerberos+LDA

梧上擎天·2023-11-24 17:02

Spark核心机制总结

(4)与HadoopMa

Icedzzz·2023-11-24 16:33

大数据集群报错集锦及解决方案

文章目录前言1Hadoop1.1Yarn上执行MR计算报错空指针1.2NameNode启动失败2Hive2.1Hive数据量过大3Kafka3.1Kafka集群部分机器起不来4Azkaban4.1Azkaban

陈舟的舟·2023-11-24 16:22

Apache Doris物化视图介绍

本身不依赖任何其他系统，相比hadoop生态产品更

hf200012·2023-11-24 16:19

实时分析海量新数据的难点和解决方案

解决方案：使用分布式计算和存储技术，如Hadoop、Spark、Kafka等，将数据分散存储在多个节点上，同时进行分布式计算和处理，以实现数据的实时处理和分析。2.数据质量的保障：海量新

29597739c454·2023-11-24 15:56

Hadoop集群环境下HBase集群slave节点总是掉问题

HBase表格设计：create'DATA',{NAME=>'0',VERSIONS=>3,BLOCKSIZE=>'65535',BLOCKCACHE=>'false',IN_MEMORY=>'true',MIN_VERSIONS=>'1',TTL=>'18000'},{NAME=>'1',VERSIONS=>3,BLOCKSIZE=>'65535',BLOCKCACHE=>'false',IN_

拉普达男孩·2023-11-24 15:50

linux过滤指定目录下指定日期的文件

-newermt2023-11-13-execls-l{}\;-rw-r--r--1hivehadoop3297Nov1011:08.

雷神乐乐·2023-11-24 15:09

Zookeeper集群的选举机制

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。

攀登者-刘小懒·2023-11-24 14:36

flink 问题总结（5）如何读取Kerberos认证的hadoop数据

org.apache.hadoop.security.AccessControlException:SIMPLEauthenticationisnotenabled.Available:[TOKEN,KERBEROS

ZYvette·2023-11-24 14:39

使用yum安装jdk，并配置环境变量

写在前面:yum安装的jdk，默认不用配置环境变量就可以java-version显示结果，但是却不能在系统环境变量中查看到JAVA_HOME，由于其他应用需要这个环境变量，比如hadoop，所以这里说明如何进行

码上无bug·2023-11-24 13:36

hive 修复元数据命令 & 如何快速复制一张hive的分区表

1.复制建表语句2.从线上下载分区表数据hadoopfs-get/user/hive/warehouse/public.db/table_partition/.3.把分区数据put到线下表中hadoopfs-puttable_partitio

姜小嫌·2023-11-24 13:30

计算机毕业设计基于Hadoop的物品租赁系统的设计与实现 Java实战项目附源码+文档+视频讲解

博主介绍：✌从事软件开发10年之余，专注于Java技术领域、Python人工智能及数据挖掘、小程序项目开发和Android项目开发等。CSDN、掘金、华为云、InfoQ、阿里云等平台优质作者✌文末获取源码联系精彩专栏推荐订阅不然下次找不到哟————————————————计算机毕业设计《1000套》✌目录1、项目介绍及开发技术1.1项目介绍1.2开发技术2、系统功能设计结构图3、功能截图3.1前台

IT学长编程·2023-11-24 12:38

[1145]Hive导入csv文件

zs,231002,lis,24首先创建表createtableifnotexistscsv2(uidint,unamestring,ageint)rowformatserde'org.apache.hadoop.hive.serde2

周小董·2023-11-24 11:54

Hive系统配置及数据导入--【导入csv文件】

1、安装Hadoop环境、并安装Hive。

outside-R·2023-11-24 11:51

hive中导入csv_hadoop hive中怎么导入带引号的csv文件?

这边有个项目开始用hadoop来做数据分析,我们拿到一个csv文件,每一列都是双引号.格式如下“cola1″,”colb1″,”colc1”“cola2″,”colb2″,”colc2”现在想问下,在load

weixin_39531780·2023-11-24 11:49

【log4j漏洞】log4j 1.x漏洞依赖包解决方案

于是继续检查本地程序，在pom中一个个的排查依赖包，发现是hadoop相关的包引用到了log4j1.x，

秦拿希·2023-11-24 11:18

安装Hive并导入csv文件

并导入csv文件下载安装包下载hive：https://mirrors.aliyun.com/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz下载hadoop

quick5g·2023-11-24 11:47

Hive导入csv文件

zs,231002,lis,24首先创建表createtableifnotexistscsv2(uidint,unamestring,ageint)rowformatserde'org.apache.hadoop.hive.serde2

鸭梨山大哎·2023-11-24 11:46

【大数据】Docker部署HMS(Hive Metastore Service)并使用Trino访问Minio

Presto使用Docker独立运行HiveStandaloneMetastore管理MinIO（S3）_hiveminio_BigDataToAI的博客-CSDN博客一.背景团队要升级大数据架构，需要摒弃hadoop

秦拿希·2023-11-24 11:35

螺钿漆器

用经过研磨、裁切的贝壳薄片作为镶嵌纹饰的漆器。这种工艺最盛时，最好的艺人和作品出自扬州。清

紫月缥缈·2023-11-24 10:43

【大数据实训】基于赶集网租房信息的数据分析与可视化(七)

温馨提示：文末有CSDN平台官方提供的博主的联系方式，有偿帮忙部署基于赶集网租房信息的数据分析与可视化一、实验环境（1）Linux：Ubuntu16.04（2）Python:3.6（3）Hadoop：3.1.3

AI_Maynor·2023-11-24 10:54

ubuntu操作系统中docker下Hadoop分布式前置环境配置实验

版本：centos7hadoop3.1.3javaJDK:1.8集群规划：masterslave1slave2HDFSNameNodeDataNodeDataNodeSecondryNameNodeDataNodeYARNNodeManagerResourceManageNodeManagerNodeManager1

芝士小熊饼干·2023-11-24 09:05

HBase本地安装Snappy

它直接关系到需要使用的Snappy以及Hadoop的版本。如果版本对不上，很可能出现链接本地动态链接库时的错误。操作操作其

AlstonWilliams·2023-11-24 09:08

Spark 数据倾斜及其解决方案

一、什么是数据倾斜对Spark/Hadoop这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。对于分布式系统而言，理想情况下，随着系统规模（节点数量）的增加，应用整体耗时线性下降。

沐白的微笑·2023-11-24 09:17

Hadoop原生态版安装

最近在学厦门大学的《大数据技术原理与应用》公开课，参考学习内容自己部署了一个Hadoop平台，整个分布式集群分一个Master服务器和两个Slave服务器，方便后面学习。

SMILE_NO_09·2023-11-24 09:27

Centos 7下分布式Hadoop2.7.7+Hive2.3.7安装教程

一、基本配置集群包括角色名称简称masterinspur5212m4.it.163.org以下简称m4slaveinspur5212m5.it.163.org以下简称m4slavelenovosr630.it.163.org以下简称sr二、JDK和SSH的配置修改三台机器的/etc/hostssudovim/etc/hosts添加内容：10.220.16.161inspur5212m5.it.16

XH_zhao·2023-11-24 08:45

Note31：Apache Atlas-0.8.4 安装配置

apache-atlas-0.8.4-sources.tar.gz把源码包上传到/opt/software目录编译环境：Maven-3.6.3编译（编译时间主要看下载相关jar包的速度）[kevin@hadoop112software

K__3f8b·2023-11-24 07:05

Spark算子综合应用案例

一.WordCount数据hadoopmapreduceyarnhdfshadoopmapreducemapreduceyarnlagoulagoulagou案例:Scala版defmain(args:

谷应泰·2023-11-24 07:24

重新使用hbase前

启动关闭Hadoop和HBase的顺序一定是：启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop1.挂载共享文件夹到挂载点sudomount-tvboxsfvirtualmachineShare

北辰Charih·2023-11-24 06:19

大数据面试经验分享：探索大规模数据处理的技巧与实践

常见的大数据处理框架包括ApacheHadoop和Apache

星光璀璨下的梦幻舞台·2023-11-24 06:38

大数据技术，Spark任务调度原理四种集群部署模式介绍

一、spark-submit任务提交机制spark-submit\--classorg.apache.spark.examples.SparkPi\--masterspark://ns1.hadoop:

喵感数据·2023-11-24 06:01

Hadoop之mapreduce数据去重和求平均分（案例）

阅读目录一、数据去重使用idea创建Maven项目在pom.xml文件添加Hadoop的依赖库，内容如下：编写Dedup.class运行程序二、求平均分关于部分详细说明一、数据去重使相同的数据在最终的输出结果中只保留一份

忌颓废·2023-11-24 05:13

hadoop启动java.lang.nullpointerexception_hadoop下载文件出现的问题java.lang.NullPointerException...

hadoop下载文件代码如下：packageweek01;importjava.io.FileInputStream;importjava.io.IOException;importjava.net.URI

weixin_39790528·2023-11-24 05:41

hadoop mapreduce mysql_hadoop mapreduce数据去重

hadoopmapreduce数据去重假设我们有下面两个文件，需要把重复的数据去除。

反正我不慌哈·2023-11-24 05:11

【Hadoop学习项目】2. 数据去重

0.项目结构数据处理过程图1.DupDriverpackagehadoop_test.data_duplicate_demo_02;importorg.apache.hadoop.conf.Configuration

辰阳星宇·2023-11-24 05:05

大数据MapReduce学习案例：数据去重

文章目录一，案例分析（一）数据去重介绍（二）案例需求二，案例实施（一）准备数据文件（1）启动hadoop服务（2）在虚拟机上创建文本文件（3）上传文件到HDFS指定目录（二）Map阶段实现（1）创建Maven

梁辰兴·2023-11-24 05:32

Hadoop MapReduce数据去重程序

packagecom.hadoop.sample;importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration

GarfieldEr007·2023-11-24 05:28

Hadoop学习总结（MapReduce的数据去重）

现在假设有两个数据文件file1.txtfile2.txt2018-3-1a2018-3-2b2018-3-3c2018-3-4d2018-3-5a2018-3-6b2018-3-7c2018-3-3c2018-3-1b2018-3-2a2018-3-3b2018-3-4d2018-3-5a2018-3-6c2018-3-7d2018-3-3c上述文件file1.txt本身包含重复数据，并且与fi

Qinqin.J·2023-11-24 05:23

出现：WARNING :POSSIBLE DNS SPOOFING DETECTED!问题解决方法

image.png出现这个问题解决方式：ssh-keygen-Rhadoop03ssh-copy-idhadoop03

printf200·2023-11-24 03:22

HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。

数仓大山哥·2023-11-24 02:00

Impala-大数据时代快速SQL引擎

Impala介绍ApacheImpala是由Cloudera开发并开源的一款基于HDFS/Hbase的MPPSQL引擎，它拥有和Hadoop一样的可扩展性、它提供了类SQL（类Hsql）语法，在多用户场景下也能拥有较高的响应速度和吞吐量

盛装吾步·2023-11-24 02:30

教育界的一处“桃花源”

本周双休日，我有幸跟随项城市高莉名师工作室团队，到丁集镇张庄小学，参与国培计划数学组送教下乡的“研磨课”活动。我被该校神

李凤伶·2023-11-24 02:17

Spark设计理念与基本架构

HadoopMapReduce的缺陷：对HDFS的频繁操作导致磁盘IO称为系统性能的瓶颈，因此只适用于离线数据处理。

whynotybb·2023-11-24 02:29

HDFS小结01

首先我们来认识一下HDFS，HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。

liuzx32·2023-11-24 01:30

代码思路分享计算机毕业设计Python+Hadoop+Spark+Hive旅游可视化旅游数据分析数据仓库旅游推荐系统旅游大数据大数据毕业设计大数据毕设

涉及技术hadoophiveazkabanpython爬虫huesqoopmysql运行截图

haochengxu2022·2023-11-24 00:09

大数据毕设-基于hadoop+spark+大数据+机器学习+大屏的电商商品数据分析可视化系统设计实现电商平台数据可视化实时监控系统评论数据情感分析

作者：雨晨源码简介：java、微信小程序、安卓；定制开发，远程调试代码讲解，文档指导，ppt制作精彩专栏推荐订阅：在下方专栏Java精彩实战毕设项目案例小程序精彩项目案例Python实战项目案例文末获取源码文章目录电商商品数据分析可视化系统-系统前言简介spark电商商品数据分析可视化系统-开发技术与环境spark电商商品数据分析可视化系统-研究内容spark电商商品数据分析可视化系统-演示图片s

雨晨源码·2023-11-24 00:37

大数据毕设-基于hadoop+spark+echarts+机器学习的豆瓣图书数据可视化分析系统设计实现(附开发文档+部署)

定制开发，远程调试代码讲解，文档指导，ppt制作精彩专栏推荐订阅：在下方专栏Java精彩实战毕设项目案例小程序精彩项目案例Python实战项目案例文末获取源码文章目录豆瓣图书数据可视化分析系统-系统前言简介Hadoop