E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop;hdfs
Hadoop
精选18道面试题(附回答思路)
1.简述
Hadoop
1和
Hadoop
2的架构异同
HDFS
HA(HighAvailablity)一旦Active节点出现故障,就可以立即切换到Standby节点,避免了单点故障问题。
Byyyi耀
·
2024-01-08 06:00
hadoop
大数据
分布式
Unrecognized option: -v Error: Could not create the Java Virtual Mac
yarn报错Unrecognizedoption:-vError:CouldnotcreatetheJavaVirtualMac这是因为jdk和
hadoop
或者是其他的在环境变量path中,因为yarn.cmd
꧁“杂货店”꧂
·
2024-01-08 04:39
笔记
java
javascript
yarn
F. linux:帮助命令help、man、info
[root@
hadoop
01udisk]#ls--help[root@
hadoop
01udisk]#manls[root@
hadoop
01udisk]#infols
小猪Harry
·
2024-01-08 00:40
25、Spark核心编程之RDD持久化详解
不使用RDD持久化的问题首先看一段代码JavaRDDlinesRDD=javaSparkContext.textFile("
hdfs
://
hadoop
-100:9000/testdate/1.txt")
ZFH__ZJ
·
2024-01-07 23:21
Hive元数据迁移及升级方案
Hive的架构和工作原理简介Hive是基于
Hadoop
之上的数仓,便于用户可以基于SQL(HiveQL)进行数据分析,其架构图如下:从上图可知,Hive主要用来将建立结构化数据库和后端分布式结构化文件的映射
云原生大数据
·
2024-01-07 22:49
大数据技术
hive
hadoop
数据仓库
hadoop
调优
hadoop
调优1
HDFS
核心参数1.1NameNode内存生产配置1.1.1NameNode内存计算每个文件块大概占用150byte,如果一台服务器128G,能存储的文件块如下128(G)*1024(
健鑫.
·
2024-01-07 18:25
Hadoop
hadoop
hdfs
大数据
hadoop
调优(二)
hadoop
调优(二)1
HDFS
故障排除1.1NameNode故障处理NameNode进程挂了并且存储数据丢失了,如何恢复NameNode?
健鑫.
·
2024-01-07 18:25
Hadoop
hadoop
大数据
hdfs
熟悉
HDFS
常用操作
1.利用
Hadoop
提供的Shell命令完成下列任务(1)向
HDFS
中上传任意文本文件,如果指定的文件在
HDFS
中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件。#检查文件是否存在.
cwn_
·
2024-01-07 17:11
大数据
hdfs
hadoop
大数据
linux
虚拟机
熟悉HBase常用操作
1.用
Hadoop
提供的HBaseShell命令完成以下任务(1)列出HBase所有表的相关信息,如表名、创建时间等。
cwn_
·
2024-01-07 17:11
大数据
hbase
数据库
大数据
惊心动魄的
Hadoop
-6小时350T数据恢复
Hadoop
在调整前,将
Hadoop
进行关闭.stop-all.sh进行关闭我们在第一步进行关闭的时候这里就出现问题。
胖琪的升级之路
·
2024-01-07 17:17
Hive入门
一、Hive概述1.1Hive简介Hive是基于
Hadoop
的一个数据仓库工具,它可以将结构化或半结构化的数据文件转化为一张数据库表,并提供简单的sql查询功能。
爱过java
·
2024-01-07 17:04
hive
HIve技术详解(一)
第1章Hive基本概念1.1Hive1.1.1Hive的产生背景在那一年的大数据开源社区,我们有了
HDFS
来存储海量数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度
molecule_jp
·
2024-01-07 17:34
hive
hadoop
大数据
后端
Hive实战:网址去重
文章目录一、实战概述二、提出任务三、完成任务(一)准备数据1、在虚拟机上创建文本文件2、上传文件到
HDFS
指定目录(二)实现步骤1、启动HiveMetastore服务2、启动Hive客户端3、基于
HDFS
howard2005
·
2024-01-07 17:03
数仓技术Hive入门
hive
去重
数仓工具—Hive进阶之常见的StorageHandler(24)
以下是一些常见的存储处理程序:
HDFS
StorageHa
不二人生
·
2024-01-07 15:07
#
Hive
hive
hadoop
数据仓库
学习笔记-日志采集和实时分析简单实例
一个出口直接写到ElasticSearch,提供Kibana进行日志分析可视化处理;一个出口直接写到
HDFS
,提供后期离线统计分析处理;一个出口写入Kafka中,提供SparkStreaming进行近实时日志统计分析处理
人生偌只如初见
·
2024-01-07 13:27
Spark
Kafka
ElasticSearch
Filebeat
Logstash
Kafka
Spark
linux下spark的python编辑_如何在Linux下构建Spark Python编程环境
火花编程环境Spark可以独立安装或与
Hadoop
一起使用.在安装Spark之前linux的python编程环境,首先请确保您的计算机上已安装Java8或更高版本.火花安装访问Spark下载页面,然后选择最新版本的
weixin_39543478
·
2024-01-07 13:10
linux下spark的python编辑_Linux下搭建Spark 的 Python 编程环境的方法
Spark编程环境Spark可以独立安装使用,也可以和
Hadoop
一起安装使用。在安装Spark之前,首先确保你的电脑上已经安装了Java8或者更高的版本。
weixin_39752800
·
2024-01-07 13:10
virtualbox的下载,打开.vdi文件并启动
Hadoop
系统
目录一、virtualbox的下载二、新建Ubuntu系统1、确定好镜像系统的位置2、新建虚拟系统三、
Hadoop
系统的启动1、启动
Hadoop
2、启动hbase3、启动spark4、启动hive5、
hadoop
汤汤upup
·
2024-01-07 13:08
hadoop
linux
大数据
Linux系统下Spark的下载与安装(pyspark运行示例)
最近需要完成数据课程的作业,因此实践了一下如何安装并配置好spark1、版本要求由于我想要将
hadoop
和spark一起使用,因此必须确定好spark的版本Spark和
Hadoop
版本对应关系如下:Spark
汤汤upup
·
2024-01-07 13:06
spark
大数据
分布式
【Java处理百万级数据的高效方法了解】
1.2分布式存储考虑使用分布式数据库(如HBase、Cassandra)或存储系统(如
Hadoop
Distri
無飞
·
2024-01-07 12:21
java
开发语言
Hadoop
分布式文件系统(二)
目录一、
Hadoop
1、文件系统1.1、文件系统定义1.2、传统常见的文件系统1.3、文件系统中的重要概念1.4、海量数据存储遇到的问题1.5、分布式存储系统的核心属性及功能含义2、
HDFS
2.1、
HDFS
杀神lwz
·
2024-01-07 11:19
大数据
hadoop
大数据
分布式
【大数据进阶第三阶段之Hive学习笔记】Hive基础入门
Hive的优缺点2.1、优点2.2、缺点2.2.1、Hive的HQL表达能力有限2.2.2、Hive的效率比较低3、Hive架构原理3.1、用户接口:Client3.2、元数据:Metastore3.3、
Hadoop
3.4
伊达
·
2024-01-07 08:20
大数据
Hive
大数据
hive
学习
数仓工具—Hive内部表和外部表(5)
managedtable),被external修饰的为外部表(externaltable);因为默认情况下我们不加external关键字修饰,所以默认情况下是内部表区别:内部表数据由Hive自身管理,外部表数据由
HDFS
不二人生
·
2024-01-07 07:42
#
Hive
大数据
hive
面试
数据仓库
Hadoop
集群三节点搭建(二)
一、克隆三台主机(
hadoop
102
hadoop
103
hadoop
104)以master为样板机克隆三台出来,克隆前先把master关机按照上面的步骤克隆其他两个就可以了,记得修改ip和hostname
DIY……
·
2024-01-07 07:35
hadoop
网络
服务器
个人笔记:分布式大数据技术原理(二)构建在
Hadoop
框架之上的 Hive 与 Impala
有了MapReduce,Tez和Spark之后,程序员发现,MapReduce的程序写起来真麻烦。他们希望简化这个过程。这就好比你有了汇编语言,虽然你几乎什么都能干了,但是你还是觉得繁琐。你希望有个更高层更抽象的语言层来描述算法和数据处理流程。于是就有了Pig和Hive。Pig是接近脚本方式去描述MapReduce,Hive则用的是SQL。它们把脚本和SQL语言翻译成MapReduce程序,丢给计
garagong
·
2024-01-07 07:16
大数据
大数据
hadoop
hive
impala
mapreduce
【DataX】windows下本地DataX同步hive到mysql,hive带Kerberos认证
直接同步会报错:java.lang.RuntimeException:java.io.FileNotFoundException:java.io.FileNotFoundException:
HADOOP
_HOMEand
hadoop
.home.dirareunset
airyv
·
2024-01-07 06:44
大数据
hive
mysql
hadoop
datax
离线同步
Spark大数据分析与实战笔记(第二章 Spark基础-05)
文章目录每日一句正能量前言2.5启动Spark-Shell2.5.1运行Spark-Shell命令2.5.2运行Spark-Shell读取
HDFS
文件后记每日一句正能量成长是一条必走的路路上我们伤痛在所难免
想你依然心痛
·
2024-01-07 06:33
spark
数据分析
笔记
基于
Hadoop
的豆瓣电影数据分析
Hadoop
是一个开源的分布式计算框架,它提供了处理大规模数据集的能力。在本文中,我们将利用
Hadoop
框架对豆瓣电影数据进行分析。
数据科学探险导航
·
2024-01-07 05:07
hadoop
数据分析
eclipse
大数据编程期末大作业
大数据编程期末大作业文章目录大数据编程期末大作业一、
Hadoop
基础操作二、RDD编程三、SparkSQL编程四、SparkStreaming编程一、
Hadoop
基础操作在
HDFS
中创建目录/user/
-北天-
·
2024-01-07 05:20
大数据学习
大数据
课程设计
hadoop
Hive的基本的概述即使用参考
1.Hive的概述√意义:在于大幅度降低工程师学习MapReduce的学习成本,让好用(计算速度快)的MapReduce更方便的使用(使用简单)√基本概念:Hive是基于
Hadoop
的一个数据仓库工具,
C8H11O2N_4cd4
·
2024-01-07 02:29
《PySpark大数据分析实战》-23.Pandas介绍DataFrame介绍
对大数据技术栈
Hadoop
、Hive、Spark、Kafka等有深入研究,对Data
wux_labs
·
2024-01-07 00:26
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《PySpark大数据分析实战》-22.Pandas介绍Series介绍
对大数据技术栈
Hadoop
、Hive、Spark、Kafka等有深入研究,对Data
wux_labs
·
2024-01-07 00:25
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《PySpark大数据分析实战》-25.数据可视化图表Matplotlib介绍
对大数据技术栈
Hadoop
、Hive、Spark、Kafka等有深入研究,对Data
wux_labs
·
2024-01-07 00:24
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
2024.1.5
Hadoop
各组件工作原理,面试题
目录1.简述下分布式和集群的区别2.
Hadoop
的三大组件是什么?3.请简述hive元数据服务配置的三种模式?4.数据库与数据仓库的区别?5.简述下数据仓库经典三层架构?
白白的wj
·
2024-01-06 23:34
hadoop
hive
zookeeper
spark
数据仓库
mapreduce
hdfs
Flink常见核心概念
分布式缓存有时一些数据是通用的,就需要进行共享,可以放在文件、缓存、db中,可以放在文件中,先缓存到
hadoop
集群中,然后使用cachepublicclassCacheStream{publicstaticvoidmain
一生逍遥一生
·
2024-01-06 21:56
记Flume-NG一些注意事项
记Flume-NG一些注意事项(不定时更新,欢迎提供信息)这里只考虑flume本身的一些东西,对于JVM、
HDFS
、HBase等得暂不涉及。。。。
达微
·
2024-01-06 19:46
Hive 源码解析一:Driver
这是hive的架构图从架构图来看,黄颜色属于Hive范畴,蓝颜色属于
Hadoop
范畴,其中MetaStore可以说是独立Hive核心
小王是个弟弟
·
2024-01-06 17:25
hive
hadoop
big
data
《Hive系列》Hive详细入门教程
目录1Hive基本概念1.1什么是HiveHive简介Hive:由FaceBook开源用于解决海量结构化日志的数据统计工具Hive:基于
Hadoop
的一个数据仓库工具,可以将结构化的数据文件映射为一张表
DATA数据猿
·
2024-01-06 17:55
Hive
hive
Hive(一)概述
文件格式5.Hive压缩6.Hive配置7.关于小文件问题二.安装Hive三.Hive基本使用一.简介1.概述什么是HiveHive:由Facebook开源用于解决海量结构化日志的数据统计工具Hive是基于
Hadoop
Jumanji_
·
2024-01-06 17:54
大数据框架
hive
hadoop
big
data
YARN(一)-- 产生原因及概述
本文内容如下:介绍为什么会产生YARN(同时介绍原MapReduce框架的不足)YARN的基本原理首先说一下YARN是什么吧:Apache
Hadoop
YARN(YetAnotherResourceNegotiator
小北觅
·
2024-01-06 17:54
Flume基础知识(九):Flume 企业开发案例之复制和多路复用
1)案例需求使用Flume-1监控文件变动,Flume-1将变动内容传递给Flume-2,Flume-2负责存储到
HDFS
。
依晴无旧
·
2024-01-06 17:58
大数据
flume
大数据
Flume基础知识(六):Flume实战之实时监控目录下的多个追加文件
1)案例需求:使用Flume监听整个目录的实时追加文件,并上传至
HDFS
2)需求分析:3)实现步骤:(1)创建配置文件flume-taildir-
hdfs
.c
依晴无旧
·
2024-01-06 17:28
大数据
flume
大数据
教你如何将本地虚拟机变成服务器,供其它电脑访问
在虚拟机上安装
hadoop
和hive,然后同学机子上安装kettle进行连接。最后发现是可以的。本文介绍如何将本地虚拟机变成服务器,供其它电脑访问。
吾浴西风
·
2024-01-06 16:01
服务器
运维
高可用分布式部署Spark、完整详细部署教程
Spark基于mapreduce算法实现的分布式计算,拥有
Hadoop
MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写
HDFS
,因此Spark
一座野山
·
2024-01-06 16:15
spark
bigdata
hadoop
分布式
spark
大数据
linux
SuperMap分布式数据库实操
分布式数据库实操分布式数据库一、MongoDB1.特点2.使用原理3.数据结构4.单节点部署1.下载2.解压安装3.配置开机自启动5.集群部署5.1主从复制集群5.2副本集集群安装部署配置开机自启动5.3分片集群二、DSF(
HDFS
会灭火的程序员
·
2024-01-06 15:42
SuperMap
数据库
数据库
分布式
mongodb
hdfs
hbase
《数据采集与预处理环境》实验环境安装
文章目录1.安装Python及第三方库2.jupyternotebook安装3.jdk安装4.MySQL安装1.在根目录下创建文件my.ini2.初始化3.安装服务4.启动服务5.登录6.配置环境变量5.
hadoop
活下去.
·
2024-01-06 14:10
python
mysql
hadoop
熟悉常用的Linux操作和
Hadoop
操作
1.安装虚拟机(1)VMwareworkstationpro安装包下载登录VMware官网:VMware中国-交付面向企业的数字化基础|CN,点击登录->云服务控制台,进入欢迎使用VMware页面,点击创建您的VMWARE账户,进入注册界面填写信息并注册。注册完成后,返回登录页面进行登录,进入VMwareworkstationpro下载地址(https://customerconnect.vmwa
cwn_
·
2024-01-06 11:47
大数据
linux
hadoop
运维
大数据
HDFS
的高可用性
HDFS
的高可用性联邦
hdfs
由于namenode在内存中维护系统中的文件和数据块的映射信息,所以对于一个海量文件的集群来说,内存将成为系统横向扩展瓶颈。
zh_harry
·
2024-01-06 10:25
FAILED: SemanticException org.apache.
hadoop
.hive.ql.metadata.HiveException:
FAILED:SemanticExceptionorg.apache.
hadoop
.hive.ql.metadata.HiveException:java.lang.RuntimeException:Unabletoinstantiateorg.apache.
hadoop
.hive.ql.metadata.SessionHiveMetaStoreClient
深度检测
·
2024-01-06 10:25
hive
hadoop
apache
Hive实战:分科汇总求月考平均分
文章目录一、实战概述二、提出任务三、完成任务(一)准备数据1、在虚拟机上创建文本文件2、上传文件到
HDFS
指定目录(二)实现步骤1、启动HiveMetastore服务2、启动Hive客户端3、创建分区的学生成绩表
howard2005
·
2024-01-06 10:48
数仓技术Hive入门
hive
hadoop
分科汇总
上一页
25
26
27
28
29
30
31
32
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他