hadoop学习积累

在Windows 10上安装单机版的hadoop-3.3.5

1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以不需要了解分布式底层细节的情况下，开发分布式程序。充分利用集群进行高速运算和存储。
爱上雪茄·2023-11-09 08:38

最新的Hadoop与HBase版本兼容性

HBase的版本一定要和Hadoop的版本保持兼容，不能随意选择如HBase2.2.2和Hadoop3.1.3兼容最新的Hadoop与HBase版本兼容性如下表截图来自http://hbase.apache.org
iijik55·2023-11-09 08:07

window10单机部署hbase-2.5.5-hadoop3

一、介绍hbase是什么，Hbase是一个分布式，可扩展，支持海量数据存储的noSQL数据库二、下载hbasehttps://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.5.6/三、配置hbase环境变量三、修改hbase配置文件在hbase-env.cmd添加如下配置@remJDK6onWindowshasaknownbugforIPv6,usepre
爱上雪茄·2023-11-09 08:00

flink per-job模式启动命令参数详解

//提示：有的集群会报类似HADOOP_CLASSPATHnotfind的异常，此时需要在Linux上提前执行此命令exportHADOOP_CLASSPATH=`hadoopclasspath`.
沧海还一笑·2023-11-09 05:31

java.lang.IllegalArgumentException: Wrong FS://expected: file:///

使用hadoop-2.6.0（因为我用的是apache-hadoop-2.6.0版本）的core-site.xml（/HADOOP_HOME/etc/hadoop/）的fs.defa
ZL小屁孩·2023-11-09 05:16

数仓面经大框架

1.计算机及编程基础：操作系统：进程、线程等数据结构：算法题计算机网络：分层等Linux：常用的指令MySQL（重点）Java/Python基础排序算法（快排、归并等）2.大数据组件Hadoop:HDFS
Young_IT·2023-11-09 02:03

Flink集群的搭建

1、Flink独立集群模式1、首先Flink的独立集群模式是不依赖于Hadoop集群。
新手小农·2023-11-09 01:48

启动hive时报: Call From hadoop /192.168.1.128 to hadoop :9000 failed on connection

修改后，重启hadoop后，执行命令报错。
M_y_y·2023-11-08 23:58

hive报错File does not exist: /tmp/hadoop-yarn/staging/root/.staging/job_1699234747075_0001/job_.jhist

一、报错信息Causedby:org.apache.hadoop.ipc.RemoteException(java.io.FileNotFoundException):Filedoesnotexist:
胖胖学编程·2023-11-08 20:15

[yarn]yarn异常

一、运行一下算圆周率的测试代码，看下报错cd/home/data_warehouse/module/hadoop-3.1.3/share/hadoop/mapreducehadoopjarhadoop-mapreduce-examples
胖胖学编程·2023-11-08 19:41

大数据毕业设计选题推荐-超级英雄运营数据监控平台-Hadoop-Spark-Hive

✨作者主页：IT研究室✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着信息技术的快速发展，尤
IT研究室·2023-11-08 19:23

华为大数据战略_华为大数据开源战略部部长陈亮 - Apache CarbonData，实现大数据即席查询秒级响应...

陈亮华为大数据开源开发部LeaderApacheCarbonDataPMC&CommitterEmail:[email protected]多年大数据和BI项目开发和实践经验，对大数据开源技术(Hadoop
weixin_39954674·2023-11-08 16:47

华为的Carbondata

Carbondata的目标是创建一种新的Hadoop文件格式，只用一份数据，满足多样化的数据查询需求，包括顺序读，OLAP查询，随机读。
空中飞鸟lanse·2023-11-08 16:16

CarbonData 华为开源项目

CarbonData是一个为了更快的交互查询而生的新的Hadoop原生文件格式，用于大数据的快速分析和多维度查询hadoop本地数据存储设计。
tangkuo9·2023-11-08 16:46

深度访谈：华为开源数据格式CarbonData项目，实现大数据即席查询秒级响应

那么相比SQLonHadoop方案、传统NoSQL或相对ElasticSearch等搜索系统，CarbonData具有什么样的优势呢？CarbonData的技术架构是什么样子的？未来有什么样的规划？
chouya3495·2023-11-08 16:42

分布式数据库·Hive和MySQL的安装与配置

一、版本要求：Hadoop:hadoop-2.10.1、MySQL：mysql-8.0.35、HIVE：apache-hive-3.1.2、MySQL驱动：mysql-connector-java-5.1.49
马龙强_·2023-11-08 16:40

Hadoop安装遇到的各种异常及解决办法

/blog.csdn.net/lifuxiangcaohui/article/details/39269479###;异常一:2014-03-1311:10:23,665INFOorg.apache.Hadoop.ipc.Client
风是外衣衣衣·2023-11-08 13:54

hadoop常见错误及解决办法！

1：ShuffleError:ExceededMAX_FAILED_UNIQUE_FETCHES;bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit-a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。/etc/security/limits.confvi/etc/security/limits.co
零下代码·2023-11-08 13:52

Spark启动报错问题

今天准备把Spark和Hive进行集成一下，当启动Spark的时候，报了如下错误：[rzf@hadoop100spark]$bin/spark-shell21/06/0411:52:20WARNNativeCodeLoader
理科男同学·2023-11-08 13:21

Hive安装到配置-2021年11月23日

HadoopHive篇Hive安装到配置前言（一）Hive集群规划（二）安装MySql官网下载需要的包把他们下载到CentOS的`/usr/local/src`目录下安装包，注意依赖，需要联网开启服务器并初始化密码
JiaJunRun·2023-11-08 09:02

hadoop 安装到配置-2021-11-4

文章目录本次需要用到软件：1.安装虚拟机2.安装centos73.安装hadoop静态IP的配置更改主机名配置本地域名解析（host）设置linux防火墙关闭防火墙：防火墙配置文件：配置ssh（免密连接
JiaJunRun·2023-11-08 09:32

sqoop笔记（安装、配置及使用）

sqoop简介----sqoop是一个用来在hadoop体系和关系型数据库之间进行数据互导的工具----实质就是将导入导出命令转换成mapreduce程序来实现sqoop安装：安装在一台节点上就可以了。
小小哭包·2023-11-08 09:00

Spark中常见的错误以及修改方案

1、在Windows中运行，缺少模拟Hadoop的运行环境，报这样的错是因为你windows下的hadoop中没有hadoopzaiwindows下执行所需要的插件：winutils.exe解决方式：配置一下就可以解决
新手小农·2023-11-08 09:23

hadoop yarn调度平台

前言YARN是Hadoop资源管理器。负责协调任务作业的服务器资源。使任务有序对资源进行利用。除了支持原生MapReduce任务，他还提供了Spark等任务接入的入口。
懒猫gg·2023-11-08 06:12

Hadoop Yarn 三种资源调度器详解使用

参考链接：https://blog.csdn.net/ddxygq/article/details/113869619?spm=1001.2014.3001.55011、调度器的选择在Yarn中有三种调度器可以选择：FIFOScheduler，CapacityScheduler，FairScheduler。FIFOScheduler把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分
这个操蛋的人生！！！·2023-11-08 06:40

hadoop之 Yarn 调度器Scheduler详解

概述集群资源是非常有限的，在多用户、多任务环境下，需要有一个协调者，来保证在有限资源或业务约束下有序调度任务，YARN资源调度器就是这个协调者。YARN调度器有多种实现，自带的调度器为CapacityScheduler和FairScheduler。YARN资源调度器均实现ResourceScheduler接口，是一个插拔式组件，用户可以通过配置参数来使用不同的调度器，也可以自己按照接口规范编写新的
weixin_33847182·2023-11-08 06:10

hadoop yarn资源调度

yarn概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x版本中的一个新特性
习丿枫叶菊·2023-11-08 06:09

【大数据】HADOOP-YARN容量调度器配置详解

目录简介资源分配应用程序数目限制队列权限管理基于用户或组的队列映射应用程序的生存期(lifetime)简介Capacity调度器具有以下的几个特性：层次化的队列设计，这种层次化的队列设计保证了子队列可以使用父队列设置的全部资源。这样通过层次化的管理，更容易合理分配和限制资源的使用。容量保证，队列上都会设置一个资源的占比，这样可以保证每个队列都不会占用整个集群的资源。安全，每个队列有严格的访问控制。
笑起来贼好看·2023-11-08 06:39

hadoop job yarn 命令

hadoop命令行与job相关的：命令行工具•1.查看Job信息：hadoopjob-list2.杀掉Job：hadoopjob–killjob_id3.指定路径下查看历史日志汇总：hadoopjob-historyoutput-dir4
wankunde·2023-11-08 06:39

【大数据】【Spark】Spark概述

可参照博主以下Scala入门文章链接：https://blog.csdn.net/treesorshining/article/details/124697102文章目录1.Spark概念2.Spark与Hadoop
Silver Star·2023-11-08 06:08

大数据学习之一文学会Spark【Spark知识点总结】

文章目录什么是SparkSpark的特点SparkvsHadoopSpark+HadoopSpark集群安装部署Spark集群安装部署StandaloneONYARNSpark的工作原理什么是RDDRDD
小崔的技术博客·2023-11-08 06:37

Apache Hadoop YARN详解

官方文档ApacheHadoopYARN：https://hadoop.apache.org/docs/r3.3.5/hadoop-yarn/hadoop-yarn-site/YARN.html一、什么是
liuhanyuu·2023-11-08 05:35

Hadoop hadoop yarn 指令相关参数详解

原文地址：Hadoop之YARN命令http://www.aboutyun.com/thread-14930-1-1.html问题导读1.对于Hadoop集群用户有哪些有用的命令？
m0_67403073·2023-11-08 05:35

Hadoop中Yarn资源调度器、Yarn工作机制、作业提交全过程、Yarn调度器和调度算法、先进先出调度器（FIFO）、容量调度器（Capacity Scheduler）、公平调度器（Fair Sc

文章目录16.Yarn资源调度器16.1Yarn基础架构16.2Yarn工作机制16.3作业提交全过程16.3.1HDFS、YARN、MapReduce三者关系16.3.2作业提交过程值YARN16.3.3作业提交过程之HDFS&MapReduce16.4Yarn调度器和调度算法16.4.1先进先出调度器（FIFO）16.4.2容量调度器（CapacityScheduler）16.4.2.1容器调
Redamancy_06·2023-11-08 05:03

【Hadoop】YARN容量调度器详解

目录一、CapacityScheduler简介二、CapacityScheduler特性三、CapacityScheduler配置四、YARNWEBUI参数详解一、CapacityScheduler简介HadoopYARN
开着拖拉机回家·2023-11-08 05:02

搭建DMETL与使用

DMETL创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持，大幅度降低了用户使用各种hadoop
abiubiu~·2023-11-08 03:14

DMETL部署测试记录

DMETL创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持，大幅度降低了用户使用各种hadoop
xufei_9527·2023-11-08 03:14

DMETL5工具安装部署（图形化安装）

DMETL创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持，大幅度降低了用户使用各种hadoop
Dfnygs·2023-11-08 03:43

hadoop安装与配置

安装和配置Hadoop涉及以下步骤：下载Hadoop：访问Hadoop官方网站（https://hadoop.apache.org/）或其他可信来源，下载适合您操作系统的Hadoop版本。
玥沐春风·2023-11-08 01:06

Hadoop不主动退出安全模式

hdfsdfsadmin-safemodeget查看安全模式的状态hdfsdfsadmin-safemodeleave主动关闭安全模式或者hdfsfsck/查看损坏的数据块hdfsfsck/-delete删除损坏的数据块
南城守护·2023-11-07 22:26

Hadoop从入门到入土（第三天）

（今天学习的时候把hadoop的环境变量配置错了，然后所有命令就运行不了，被迫重开）目录一、安装hadoop二、本地运行模式一、安装hadoop打开Xshell7连接hadoop102>cd/opt/software
南城守护·2023-11-07 22:56

Hadoop从入门到入土（第四天）

编写集群分发脚本xsync二、ssh无密登陆配置1.配置ssh2.无密钥设置一、完全分布式运行模式（开发重点）1）分析1.准备3台客户机（关闭防火墙、静态IP、主机名称）2.安装JDK3.配置环境变量4.安装Hadoop5
南城守护·2023-11-07 22:56

Hadoop从入门到入土（第五天）

cd/opt/module/hadoop文件名>ll>cdetc/hadoop/>复制(fs.defaultFShdfs://hadoop102:8020hadoo
南城守护·2023-11-07 22:56

Hadoop从入门到入土（第二天）

目录一、今日学习所遇到的命令二、模板虚拟机准备三、虚拟机克隆四、安装jdk一、今日所遇到的命令：reboot重启，相当于shutdown-rnowsu变更其它使用者的身份cd返回上一级目录pwd查看当前目录ping用来检测网络联通性yuminstall-yepel-release关闭防火墙systemctldisablefivewall.service关闭防火墙开机自启systemctldisab
南城守护·2023-11-07 22:56

云服务器安装Hive

服务运行模式6.编写脚本来管理hive的metastore/hiveserver2服务的启动和停止1.7Hive常用命令7.Hive参数配置方式7.1Hive常见的几个属性配置安装Hive的前提是先安装Hadoop
几窗花鸢·2023-11-07 22:19

【flink集群+高可用搭建】

-1.10.1flink配置环境变量：exportFLINK_HOME=/usr/local/software/flinkexportPATH=$FLINK_HOME/bin:$PATH#exportHADOOP_CONF_DIR
长安不问·2023-11-07 22:49

大数据毕业设计选题推荐-营业厅营业效能监控平台-Hadoop-Spark-Hive

✨作者主页：IT毕设梦工厂✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语一、前言随着通信行业的快速
IT毕设梦工厂·2023-11-07 17:59

基于Hadoop与Electron的京东商品评论词云统计系统

项目采用Electron+Hadoop技术栈实现，前后端使用Socket进行通讯。二、背景随着电子商务的快速发展，京东和淘宝成为中国最大的在线购物平台之一
没头发的米糊·2023-11-07 15:06

渗透测试思路

渗透测试思路端口扫描注意未授权访问漏洞：mongoDB/redis/hadoop/推荐工具：nmap—时间较长小米范—可快速发现很多页面的未授权访问常规测试点明文传输（中危）：抓包，是不是HTTPS，是
行者_Seven·2023-11-07 11:06

Centos7系统下搭建Hadoop 3.3.6

本次使用3台服务器进行安装Hadoop。其中服务器系统均为Centos7.6、Hadoop版本为3.3.6、jdk版本为1.8.0_371。
mr-element·2023-11-07 11:41
上一页 57 58 59 60 61 62 63 64 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他