Hadoop相关

基于分布式计算的电商系统设计与实现【系统设计、模型预测、大屏设计、海量数据、Hadoop集群】

=有需要本项目的代码或文档以及全部资源，或者部署调试可以私信博主==项目展示项目介绍目录摘要Abstract1引言1.1研究背景1.2国内外研究现状1.3研究目的1.4研究意义2关键技术理论介绍2.1Hadoop
王小王-123·2024-09-03 04:54

[Hadoop]万字长文Hadoop相关优化和问题排查总结

目录写文章的背景namenode频繁切换的原因namenodeHA如何实现，关键技术难题是什么？namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的cpu占用高hdfs查询慢的原因怎样判断是否是数据倾斜集群重启任务自动重启hadoop宕机
王一1995·2024-02-05 10:55

搭建hadoop单机环境

hadoop笔记sbin:一些启动脚本【服务端的serverbin】logs:存放hadoop相关日志bin:客户端的脚本etc:hadoop相关的配置文件格式化文件系统配置免密码登录ssh-keygen-trsa-P
.Passion·2024-02-02 23:12

MPP架构与Hadoop架构是一回事吗？

它的“谬误”之处在于，明明叫做“MassivelyParallelProcessing（大规模并行处理）”，却让非常多的人拿它与大规模并行处理领域最著名的开源框架Hadoop相关框架做对比，这实在是让人困惑
ThoughtWorks·2024-01-11 17:47

hadoop主要文件及目录简介

1.hadoop目录概述hadoop的解压目录下的主要文件如下图所示：其中：/bin目录存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本；/etc目录存放Hadoop的配置文件/lib目录存放
我很ruo·2024-01-10 08:19

Flume实时读取本地/目录文件到HDFS

准备工作二、实时读取本地文件到HDFS（一）案例需求（二）需求分析（三）实现步骤三、实时读取目录文件到HDFS（一）案例需求（二）需求分析（三）实现步骤一、准备工作Flume要想将数据输出到HDFS，必须持有Hadoop
Francek Chen·2024-01-09 18:38

Hadoop、Pig、Hive、Storm、NOSQL 学习资源收集【Updating】 (转)

目录[-]（一）hadoop相关安装部署（二）hive（三）pig（四）hadoop原理与编码（五）数据仓库与挖掘（六）Oozie工作流（七）HBase（八）flume（九）sqoop（十）ZooKeeper
我爱大海V5·2024-01-08 08:15

Flume基础知识（四）：Flume实战之实时监控单个追加文件

1）案例需求：实时监控Hive日志，并上传到HDFS中2）需求分析：3）实现步骤：（1）Flume要想将数据输出到HDFS，依赖Hadoop相关jar包检查/etc/profile.d/my_env.sh
依晴无旧·2024-01-04 10:08

Hadoop相关安装包上传到目录并完成安装

1.指定一个安装的目录/usr/local/自己的名字(mkdircdhong、rm-rf*)[root@cdhong01~]#cd/usr/local/[root@cdhong01local]#rm-rf*[root@cdhong01local]#mkdircdhong[root@cdhong01local]#cdcdhong/[root@cdhong01cdhong]#pwd/usr/loca
余生跟他走·2023-12-19 00:59

hive-3.1.2环境安装实验

1.修改hadoop相关参数1-修改core-site.xml[bigdata@masterhive]$vim/opt/module/hadoop/etc/hadoop/core-site.xmlhadoop.proxyuser.bigdata.hosts
芝士小熊饼干·2023-12-14 22:09

Flume监控Hive日志并上传到HDFS

一、实时监控单个追加文件1.需求：实时监控Hive日志，并上传到HDFS2.实现步骤：（1）上传Hadoop相关jar包到flume/lib目录下flume相关jar包https://blog.csdn.net
无发可脱丶·2023-12-06 12:37

实时监控 Hive 日志，并上传到 HDFS 中

Flume要想将数据输出到HDFS，依赖Hadoop相关jar包检查/etc/profile.d/my_env.sh文件，确认Hadoop和Java环境变量配置正确创建flume-file-hdfs.conf
夏殿灬青葛石·2023-12-06 12:07

【log4j漏洞】log4j 1.x漏洞依赖包解决方案

于是继续检查本地程序，在pom中一个个的排查依赖包，发现是hadoop相关的包引用到了log4j1.x，
秦拿希·2023-11-24 11:18

【Hadoop】安装部署-完全分布式搭建

部署需要的软件二、Hadoop配置环境1.配置网络环境关闭防火墙2.安装jdk和hadoop2.1配置jdk环境变量2.2配置Hadoop环境变量三、准备三台虚拟机1.修改主机名与IP映射2.修改主机上的hadoop
db_lmr_2071·2023-11-23 22:05

数仓开发面试题之Hadoop相关

提纲MapReduce原理，map数、reduce数的参数说一下mapjoin与reducejoinhivesql怎么优spark和hive的区别数据倾斜几种解决方式数据如何清洗说一下udf、udtf、udaf，集成的类、接口，怎么写hive文件存储格式，对比内外表区别hive执行的job数是怎么确定的cube、groupingsets、grouping__idorderby、sortby、dis
话数Science·2023-11-19 13:39

Hadoop相关

hdfsgetconf-confKeydfs.namenode.http-address查看Hadoop工作端口的信息hdfsgetconf-confKeydfs.datanode.http.address查看HDFS的NameNode组件的HTTP端口。
小美美大白蛋·2023-11-09 23:56

60款顶级大数据开源工具

一、Hadoop相关工具1.HadoopApache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。
weixin_34006965·2023-11-09 16:21

Flink on yarn模式部署

目录1.基于docker部署cdh2.遇到的异常2.1flink下缺少hadoop相关依赖2.2jdk7造成的错误3.启动flinkonyarn模式<
fragrans·2023-11-09 10:03

HADOOP集群大数据词频统计及设计比较（完整教程）

通过百度网盘分享的文件：Hadoop相关需要的软件链接:https://pan.baidu.com/s/1XzDvyhP4_LQzAM1auQCSrg?
鸷鸟之不群·2023-11-05 23:22

Hadoop环境搭建

1Hadoop集群环境搭建概述所谓集群，就是一组通过网络互联的计算机，集群中的每一台计算机称作一个节点，Hadoop集群搭建就是在这个物理集群之上安装部署Hadoop相关的软件，然后对外提供大数据存储和分析等相关服务
星星失眠️·2023-11-05 03:00

Hadoop相关知识点

文章目录一、主要命令二、配置虚拟机2.1设置静态ip2.2修改主机名及映射2.3修改映射2.4单机模式2.5伪分布式2.6完全分布式三、初识Hadoop四、三种模式的区别4.1、单机模式与伪分布式模式的区别4.2、特点4.3、配置文件的差异4.3.1、单机模式4.3.2、伪分布式模式4.3.3、完全分布式模式五、问答题六、shell访问hdfs(通过HDFS*Shell命令)6.1、问答题6.2、
浪漫的诗人·2023-11-02 07:15

本地报 HADOOP_HOME and hadoop.home.dir are unset 错误处理

在本地idea上运行Hadoop相关服务，控制台打印出此错误“HADOOP_HOMEandhadoop.home.dirareunset”，这是由于在本地Windows系统配置hadoop环境就会报此错误
HoneyYHQ9988·2023-10-15 20:23

HBase（hbase-0.96.2） 安装

一、检查hadoop是否已安装且能正常运行方法一：检查hadoop相关进程是否都存在方法二：能否通过浏览器访问hdfs与mapred对应的端口二、安装HBase1、下载安装包：http://mirror.esocc.com
数大招疯·2023-09-19 04:16

Flink on yarn 不废话集群部署

yarn集群，在我们这个环境中使用的是CDH6.3，也就是基于hadoop3.0的大数据生态环境flink部署1.包下载2.将所下载的包放置/opt/flink下进行解压安装3.切换到相关目录4.配置hadoop
病妖·2023-08-30 00:42

从零开始的Hadoop学习（三）| 集群分发脚本xsync

1.Hadoop目录结构bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件lib目录：存放Hadoop
庭前云落·2023-08-29 10:31

2 hadoop的目录

1.目录结构：其中比较的重要的路径有：hdfs,mapred,yarn（1）bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本（2）etc目录：Hadoop的配置文件目录
水无痕simon·2023-08-28 09:24

mac 下编译hadoop源码

一、获取hadoop源码可以通过hadoop的官网获取hadoop相关源码包:https://hadoop.apache.org/releases.html。
疯狂的哈丘·2023-08-27 13:28

MPP架构与Hadoop架构是一回事吗？

它的“谬误”之处在于，明明叫做“MassivelyParallelProcessing（大规模并行处理）”，却让非常多的人拿它与大规模并行处理领域最著名的开源框架Hadoop相关框架做对比，这实在是让人困惑
Thoughtworks思特沃克中国·2023-08-19 03:10

Kerberos＋HDP客户端部署与配置

像这种情况，就不能在Linux上进行操作.需要在Windows上安装Kerberos客户端，再进行浏览器配置才可以访问Hadoop相关服务的WebUI界面。安装配置主要分为以下几步
那年夏天110·2023-08-08 13:24

flink提交作业到yarn

在flink1.13以前，lib下是有hadoop相关的jar包的，但是1.13以后被独立出去了，所以需要加上环境变量exportHADO
sf_www·2023-07-28 03:53

彻底卸载CM

#删除Hadoop相关文件[root@fan102~]#xcall.shrm-rf/data/dfs/data/yarn[root@fan102~]#xcall.shrm-rf/dfs/#删除kafka
fanbuer·2023-07-22 15:45

安装 CDH执行scm_prepare_database.sh报错，java.sql.SQLException: Access denied for user ‘scm‘@‘localhost‘

CDH整合了各种Hadoop相关的开源项目和工具，并提供了集中管理和操作这些组件的功能。
申子辰林·2023-07-19 02:40

flume快速上手

Flume定义Flume最初是Cloudera公司推出的一个高可用、高可靠的，分布式的海量日志采集、聚合和传输的系统，于2009年被捐赠给了Apche基金会，成为Hadoop相关组件之一Flume支持在日志系统中定制各类数据发送方
书香恋仁心·2023-06-23 20:03

Hadoop3的高可用搭建

1.准备工作前期准备工作包括了CenOS7虚拟化安装与配置，Java虚拟机的安装，Hadoop相关部署包的下载，Hadoop集群所需基础环境的配置。
'煎饼侠·2023-06-22 17:36

Hadoop相关组成介绍

Hadoop只是一套工具的总称，它包含三部分：HDFS，Yarn，MapReduce，功能分别是分布式文件存储、资源调度和计算。仓库管理中心（namenode）每次入库，需要管理中心安排自我复制多份放到不同的仓库，每次有人来取，需要去管理中心查询在哪些仓库并就近获取。（namenode管理元数据，负责HDFS上数据的读写）HDFS（分布式文件系统）：分布式文件系统，将不同服务器的硬盘连接起来，在外
傅安安·2023-04-04 12:15

大数据技术高频面试题汇总

一、Hadoop1、Hadoop相关问题汇总Hadoop默认不支持LZO压缩，如果需要支持LZO压缩，需要添加jar包，并在hadoop的cores-site.xml文件中添加相关压缩配置；Hadoop
wespten·2023-04-03 23:50

Hadoop 启动 HDFS DataNode 时报错Error: JAVA_HOME is not set and could not be found.

loginshellnon-interactive+loginshellinteractive+non-loginshellnon-interactive+non-loginshell解决方案总结我创建了一个《Hadoop成神之路》的星球，大家有Hadoop
DataChat.Club·2023-04-03 10:47

安装Hadoop HA集群

$mkdir~/hadoop#创建用于存放Hadoop相关文件的目录$cd~/hadoop#进入该目录$tar-xzf~/
深巷的猫~·2023-04-03 04:15

分布式集群中的硬件选择

一、背景最近2个月时间一直在一个阴暗的地下室的角落里工作，主要内容就是hadoop相关的应用。
dajuezhao·2023-03-28 21:30

Hadoop伪分布模式搭建（基于Linux-centos7）

工具：finalshell、Vmware-Linux-centos虚拟机伪分布模式环境必备：jdk1.8.0-8u311、hadoop2.6.5进行伪分布搭建之前需要配置jdk环境和下载Hadoop相关文件
稻草人想看远方·2023-03-28 20:54

虚拟机（CentOS）下安装配置Hadoop（伪分布式）

一、hadoop相关介绍hadoop是由Apache开发的分布式系统基础架构，是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。
酒香醉佳人·2023-03-28 20:14

java软件工程师就业招聘信息_【中级java软件工程师招聘|中级java软件工程师最新招聘信息】-看准网...

4、有基础Hadoop相关知识，熟悉HDFS、HIVE优先5、计算机及相关专业，2-3年工作经验，有相关经验优先。6、有责任心。立即投递职位薪资：7000-1
好想不取名·2023-03-19 13:22

spring cloud 分布式Hadoop三部曲之HDFS

准备：之前我们已经部署好hadoop相关，对应的hdfs服务启动背景：引入HDFS为后续的HBase以及Hive做准备，3部曲就绪，整体作为Hadoop核心架构体系，千万数据也是秒级！！！
哈哈哈哈蜜瓜·2023-03-09 07:04

大数据核心技术是什么 怎么掌握Hadoop知识

很多人听说过大数据，但对于大数据所包含的核心技术却并不了解，下面就给大家介绍一下大数据工程师必须要掌握的技术——Hadoop相关知识。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
千锋郑州·2023-02-24 18:28

初识Hadoop，走进大数据世界

本文章属于Hadoop系列文章，分享Hadoop相关知识。
叫我二蛋·2023-02-24 03:34

大数据高频面试题--Hadoop相关知识点

第二章Hadoop相关总结1.1Hadoop常用端口号-dfs.namenode.http-address:50070-dfs.datanode.http-address:50075-SecondaryNameNode
xinlinliu·2023-01-25 08:06

【hadoop】eclipse中运行hadoop相关程序出现Unable to load native-hadoop library for your platform解决方法

运行环境hadoop2.6.0ubuntu18.04.6eclipse2020.6问题在eclipse中执行如下代码向hadoop中写入test文件时出现错误：packagetest;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.
花无凋零之时·2022-12-27 09:07

大数据电商数仓分析项目

大数据电商数仓分析项目项目描述：第一部分：模拟常规电商数仓分析流程，利用hadoop相关生态mapreduce、spark等进行数据清洗，再通过hive、spark统计对用户行为日志及区域热门商
GoAI·2022-12-24 12:30

Hadoop集群搭建

文章目录前言一、Hadoop概述二、Hadoop特性优点三、Hadoop集群搭建（一）集群简介（二）集群规划（三）解压Hadoop安装包（四）编辑配置文件总结前言#博学谷IT学习技术支持#想要了解Hadoop
敲键盘的杰克·2022-12-23 03:54

Flume监听上传Hive日志文件到HDFS-02

拷贝Hadoop相关jar到Flume的lib目录下share/hadoop/common/lib/hadoop-auth-2.5.0-cdh5.3.6.jarshare/hadoop/common/lib
kxj19980524·2022-12-11 11:20
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他