hadoop启动报错

大数据分布式集群搭建（5）

下面我们来操作大数据中的重头戏Hadoop1.HADOOP背景介绍1.1什么是HADOOP1.HADOOP是apache旗下的一套开源软件平台2.HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑
KongX_B·2023-11-17 03:25

大数据-hadoop入门与部署

大数据-hadoop入门与部署大数据-hadoop入门与部署启蒙分治思想单机处理大数据问题集群分布式处理大数据的辩证HadoopHadoop项目/生态hadoop-hdfs存储模型架构设计角色功能元数据持久化安全模式
Ybb_studyRecord·2023-11-17 03:25

大数据原生环境搭建笔记

搭建Hadoop分布式环境：1、安装jdk1.82、上传Hadoop环境包3、配置环境变量在/etc/profile配置文件中JAVA_HOME和HADOOP_HOME，代码如下：exportJAVA_HOME
qianzhina·2023-11-17 03:55

离线集群平台搭建-HDP

一.背景大数据相关的所有建设依托于大数据的基础设施.基础设施一定包含了集群平台的搭建.目前市场上常用的有三种方式做集群平台的搭建;第一种为使用原生的apache(hadoop,hive,spark)等相关大数据软件构建集群平台
会飞的boy·2023-11-17 03:53

大数据hadoop hdfs 基础环境搭建

1.需要5个软件，virtualBox，centos，hadoop()，jdk(linux)，xshell(远程登录)2.virtualBox新建虚拟机LinuxRedHat64位3.安装centos，
gauyeah309·2023-11-17 03:53

大数据基础设施搭建 - JDK

一、创建目录需要在root账号下操作，因为/目录下只能用root账号创建目录1.1创建目录[root@hadoop102~]#mkdir/opt/software/[root@hadoop102~]#mkdir
m0_46218511·2023-11-17 03:21

Centos的Filesystem中/dev/mapper/centos-root内存已满的解决办法

.卸载/home文件2.删除逻辑卷3.vgdisplay查看内存空间4.安装psmisc5.将剩余的空间分配到根目录的逻辑卷上6.创建文件系统7.查看是否成功今天在写hive的时候，发现跑不动了，检查hadoop
datalover·2023-11-17 01:00

flume与kafka应用场景解析

它对HDFS有特殊的优化，并且集成了hadoop的安全特性。如果有多个dataconsumer，选择kafka，如果数据设计
wuyue_fighting·2023-11-16 22:39

阿里云服务器搭建hadoop（单机）

前期准备（centOS7的安装环境）一、下载jdk1.8和hadoop（在windows下载）1、下载jdk1.8下载地址：JavaArchiveDownloads-JavaSE82、下载hadoop2.10.2
@小胖~·2023-11-16 21:45

npm init vue@latest 创建项目启动报错记录

问题描述：解决方案：1.在终端中输入sudovim/etc/hosts,回车然后输入密码2.若出现如下图所示（若没有则直接输入i,然后进行后续操作)，请输入E然后输入i，移动到最后一行输入127.0.0.1localhost3.按esc退出编辑，然后输入:wq保存并推出4.然后重启项目就可以了。
Kratial·2023-11-16 21:36

关系型数据库与非关系型数据库的详细对比和说明

OracleSQLServerSybaseInformixAccessDB2mysqlvfpIngersFoxPro非关系型数据库：MongoDBCassandraCouchDBHypertableRedisRiakNeo4jHadoopHBaseCouchbaseMemcacheDBREVENDBVoldemort
CharsonYang·2023-11-16 20:48

hadoop的java实现

1、新建maven项目注意修改maven下载位置2、再建一个子maven项目3、设置依赖父maven（官网—搜索hadoop—前三个依赖—版本2.7.6）org.apache.hadoophadoop-common2.7.6org.apache.hadoophadoop-client2.7.6org.apache.hadoophadoop-hdfs2.7.6
weixin_44864919·2023-11-16 20:42

学习大数据过程中遇到的奇葩问题

hadoop主节点开启的集群居然把DataNode和NodeManager都开启了错误：62099Jps61284ResourceManager61127SecondaryNameNode56570NodeManager60927NameNode63421DataNode
weixin_44864919·2023-11-16 20:12

hadoop源码中关于元数据“分段加锁+双缓冲方案”源码demo

FSEditLog.javapackagecom.nx.hadoop.lesson02;importjava.util.LinkedList;/****HDFS：有个别地方源码写得不错的。
weixin_44864919·2023-11-16 20:12

1. hadoop环境准备

环境准备准备三台虚拟机，配置最好是2C4G以上本文准备三台机器的内网ip分别为172.17.0.10172.17.0.11172.17.0.12本机配置/etc/hostscat>>/etc/hosts>/etc/hosts/etc/timezone"使用阿里服务器进行时间更新#使用阿里服务器进行时间更新ntpdatentp1.aliyun.com查看当前时间dateThuNov1610:08:4
shura1014·2023-11-16 20:11

2. zk集群部署

简介上一篇文章我们已经把环境准备好了，jdk也配置好了，下面我们开始把zk部署起来hadoop环境准备创建zk用户useraddzk-d/home/zkecho"1q1w1e1r"|passwd--stdinzk
shura1014·2023-11-16 20:11

4. hdfs高可用集群搭建

简介前面把hadoop机器已经准备好了，zk集群搭建好了，本本就是开始搭建hdfs环境hadoop环境准备创建hadoop用户三台机器都创建hadoop用户useraddhadoop-d/home/hadoopecho
shura1014·2023-11-16 20:11

3. hdfs概述与高可用原理

简述HDFS（HadoopDistributedFileSystem）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本
shura1014·2023-11-16 20:35

探究Presto SQL引擎(1)-巧用Antlr

从Hadoop生态的Hive,Spark,Presto,Kylin,Druid到非Hadoop生态的Clic
vivo互联网技术·2023-11-16 20:27

Tomcat启动报错org.apache.catalina.core.ContainerBase.addChildInternal ContainerBase.addChild: start:

早上我还没上班呢，甲方直接给我甩了一个日志文件，说他们的服务端出问题了，我心想这我哪会搞啊！随手百度了一下没想到还真解决了（＞人＜；）具体报错如下：13-Apr-202308:25:45.523警告[localhost-startStop-1]org.apache.tomcat.util.descriptor.web.WebXml.setVersionUnknownversionstring[4.
傻元宝宝·2023-11-16 19:15

大数据应用开发线上班（学徒班）课程大纲

泰迪智能科技大数据应用开发线上班课程使用当下流行的Hadoop+Spark大数据框架，全面、深入地探讨了大数据开发、大数据分析、数据仓库等技术。
泰迪智能科技·2023-11-16 19:23

《Flink原理、实战与性能优化》（Flink知识梳理一）

Flink原名StratosphereFlink是基于事件驱动的，而SparkStreaming微批模型，生成微小的数据批次Spark的弱点：Spark基于批处理原理，对流式计算相对较弱（本质上是对Hadoop
无影风Victorz·2023-11-16 18:40

hadoop概述

原文地址：http://blog.csdn.net/kkdelta/article/details/7696025hadoop是什么:Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach
m0_67390379·2023-11-16 08:52

Hadoop概述

第1章大数据概论1.1大数据概念大数据（BigData）：指无法在一定时间范围内用常规软件工具进行处理的数据集合，需要新处理模式才具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决海量数据存储和海量数据的分析计算问题。按顺序给出数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB1.2大数据特点（4V）1.2.1Volum
留不住斜阳·2023-11-16 08:50

Hadoop的概述

1、Hadoop的发展史：Google首先发布三篇文章：GFS(GoogleFileSystem)、Mapreduce（计算引擎）、Bigtable，随着时间的推移：hadoop1.0与2.0的区别是在
新手小农·2023-11-16 08:46

Flink on YARN 常见问题与排查思路

杨弢（搏远），阿里巴巴计算平台事业部技术专家，ApacheHadoopCommitter，目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。
zhisheng_blog·2023-11-16 08:48

Flink on yarn任务日志怎么看

这是jobmanager的地址hadoop02:19888/jobhistory/logs/hadoop02:45454/container_e03_1684463979345_0028_01_000001
qzWsong·2023-11-16 08:47

ubuntu22.04下hadoop3.3.6+hbase2.5.6+phoenix5.1.3开发环境搭建

一、涉及软件包资源清单1、java这里使用的是openjdk2、hadoop-3.3.6.tar.gz3、hbase-2.5.6-hadoop3-bin.tar.gz4、phoenix-hbase-2.5
ls_elect·2023-11-16 07:31

大数据Hadoop之——部署hadoop+hive+Mysql环境（Linux）

目录一、JDK的安装1、安装jdk2、配置Java环境变量3、加载环境变量4、进行校验二、hadoop的集群搭建1、hadoop的下载安装2、配置文件设置2.1.配置hadoop-env.sh2.2.配置
爱吃面的猫·2023-11-16 06:51

Hadoop-HDFS架构与设计

HDFS架构与设计一、背景和起源二、HDFS概述1.设计原则1.1硬件错误1.2流水访问1.3海量数据1.4简单一致性模型1.5移动计算而不是移动数据1.6平台兼容性2.HDFS适用场景3.HDFS不适用场景三、HDFS架构图1.架构图2.Namenode3.Datanode四、HDFS数据存储1.数据块存储2.副本机制五、元数据持久化1.Namenode元数据2.元数据过程3.元数据checkp
临江蓑笠翁·2023-11-16 06:15

SparkSQL项目实战

1）将city_info.txt、product_info.txt、user_visit_action.txt上传到/opt/module/data[atguigu@hadoop102module]$mkdirdata2
shangjg3·2023-11-16 06:47

【论文】基于Hadoop的铁路货运大数据平台设计与应用

点我完整下载：基于Hadoop的铁路货运大数据平台设计与应用.docx基于Hadoop的铁路货运大数据平台设计与应用DesignandApplicationofRailwayFreightBigDataPlatformbasedonHadoop
wusp1994·2023-11-16 06:45

基于Hadoop的学习行为数据云存储平台的设计与实现

点我完整下载：基于Hadoop的学习行为数据云存储平台的设计与实现.docx基于Hadoop的学习行为数据云存储平台的设计与实现DesignandImplementationofaHadoop-BasedLearningBehavioralDataCloudStoragePlatform
wusp1994·2023-11-16 06:13

ubuntu小技巧30--23.10桌面版安装钉钉启动报错undefined symbol: FT_Get_Color_Glyph_Layer

ubuntu小技巧30--23.10桌面版安装钉钉启动报错undefinedsymbol:FT_Get_Color_Glyph_Layer介绍解決方法说明介绍近期在电脑上安装了ubuntu23.10桌面版本
昕光xg·2023-11-16 03:19

MySQL、HiveSQL、SparkSQL的区别

1、用途角度1）MySQL是一种关系型数据库，主要用于存储和管理结构化数据2）HiveSQL是用于Hadoop平台上的一种SQL-like语言，主要用于对大数据进行查询和分析3）SparkSQL是一种基于
BaoZi969·2023-11-16 03:13

oracle并行详解,深入剖析：oracle 的并行机制

leonarding，thefirstACEAinchina，OracleOCM10g&11gRHCE，ACOUGCoreMemberBlogger，DATAGURUOracle数据库版主，ITPUBHADOOP
冒志鸿·2023-11-16 01:35

hadoop 大数据环境配置 配置jdk, hadoop环境变量 配置centos环境变量 hadoop（五）

1.遗漏一步配置系统环境变量，下面是步骤，别忘输入更新系统环境命令2.将下载好得压缩包上传至服务器：/opt/module解压缩文件存放地址/opt/software压缩包地址3.配置环境变量：在/etc/profile.d文件夹下创建shell文件#java_homeexportJAVA_HOME=/opt/module/jdk1.8.0_361exportPATH=$PATH:$JAVA_HO
不努力就种地~·2023-11-15 22:49

IDEA SpringBoot多环境切换启动报错解决方案

错误信息Causedby:org.yaml.snakeyaml.scanner.ScannerException:whilescanningforthenexttokenfoundcharacter‘@’thatcannotstartanytoken.(Donotuse@forindentation)in‘reader’,line7,column13:active:@profiles.active
稳健的一休哥·2023-11-15 22:51

SpringBoot 启动报错解决方案汇总

一、error1:TheJavaVirtualMachinehasnotbeenconfiguredtousethedesireddefaultcharacterencoding(UTF-8)【如下图】参考文章：https://www.cnblogs.com/jiangyaxiong1990/p/9342578.htmleclipse配置VM:idea配置VM:Windows电脑环境变量配置VM：
TokyoCatZ·2023-11-15 22:45

hadoop学习10

Hadoop学习（十）1.HDFS核心参数1.NameNode内存生产配置(1)NameNode内存计算每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？
StopM·2023-11-15 20:12

ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException: Output d

同步到Hadoop时报错ERRORtool.ImportTool:Importfailed:org.apache.hadoop.mapred.FileAlreadyExistsException:Outputdirectoryhdfs
人生在勤，不索何获-白大侠·2023-11-15 20:13

Hadoop hdfs常用命令

1、查看文件大小用命令：hdfsdfs-du-s-hhdfsdfs-du-s-h/user/hive/warehouse/wxwy.db/nr_mro_lzo/partitionday=202109092、查看目录下是否有文件：hdfsdfs-lshdfsdfs-ls/user/hive/warehouse/wxwy.db/gongcan_qingming3、删除目录下文件：hdfsdfs-rm-
人生在勤，不索何获-白大侠·2023-11-15 20:43

rpc源码解析

rpc源码解析1rpc设计和实现逻辑说明1.1设计1.2实现2调试3总结4后续安排  如前所述,rpc是hadoop节藕各个功能模块的重要工具,相当于神经系统,串联各部分,使用频次最高,因此可以预见,rpc
码农包工头·2023-11-15 19:02

常见数据集成工具的对比: Apache SeaTunnel VS Flume VS DataX VS Sqoop

对比项ApacheSeaTunnelDataXApacheSqoopApacheFlume部署难度容易容易十分复杂，严重依赖Hadoop体系容易运行模式分布式，也支持单机单机本身不是分布式框架，依赖HadoopMR
追求进步的阶梯·2023-11-15 16:53

从0开始学大数据14-BigTable的开源实现：HBase

我们前面已经讲过了GFS对应的Hadoop分布式文件系统HDFS，以及MapReduce对应的Hadoop分布式计算框架MapReduce，今天我们就来领略一下BigTable对应的NoSQL系统
源码头·2023-11-15 15:48

【go】报错整理与解决

文章目录依赖下载失败checksummismatch启动报错missinggo.sum依赖下载失败checksummismatch>gogetgithub.com/hibiken/asynqmongo:
微雨停了·2023-11-15 15:02

Switchhosts启动报错：operation not permitted,open‘C:\Windows\system32\drivers\etc\hosts

Switchhosts启动报错：operationnotpermitted,open’C:\Windows\system32\drivers\etc\hostsSwitchhosts启动报错：operationnotpermittedswitchhostsEPERM
吃桃子·2023-11-15 13:13

关于IDEA启动 报错Port 8088 was already in use.

关于IDEA启动报错Port8088wasalreadyinuse.直接在windows+Ｒ打开终端输入一下命令杀掉端口进程就ok了.见下图直接在windows+Ｒ打开终端输入一下命令杀掉端口进程netstat-ano
ぃ青春不愿虚度丶·2023-11-15 12:52

Jetty9 启动报错 java.lang.ClassNotFoundException: org.eclipse.jetty.util.component.Dumpable

java.lang.NoClassDefFoundError:org/eclipse/jetty/util/component/Dumpableatjava.lang.ClassLoader.defineClass1(NativeMethod)atjava.lang.ClassLoader.defineClass(ClassLoader.java:800)atjava.security.Secur
IT小白-北极冰雪·2023-11-15 12:27

hive更改表结构的时候报错

48cannotrecognizeinputnear'ADD''COLUMN''compete_company_id'inaltertablestatement23/11/1417:59:27ERRORorg.apache.hadoop.hive.ql.Driver
五月天的小迷弟·2023-11-15 11:26
上一页 57 58 59 60 61 62 63 64 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他