E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
研磨hadoop
2022字节跳动【数据仓库工程师】日常实习面经-----一面
都还没学扎实)一,自我介绍二,问答阶段shuffle阶段详细介绍回答环形缓冲区,分区排序,溢写磁盘,reduce再抽取归并等等计算单元和实际block存储单元不在一个机器节点上,这样会带来大量的IO操作,
Hadoop
dyson不只是吹风机
·
2024-01-13 03:34
面试
数据仓库
大数据
Flink
GoogleFileSystemBigTableMapReduceHDFSHBase
Hadoop
Hadoop
基于硬盘,可以处理海量数据;Spark基于内存,性能提高百倍,微批(500ms);Flink基于
三半俊秀
·
2024-01-13 01:53
设置5台SSH互免的虚拟机服务器配置
步骤如下——1、准备五台机器服务器名字服务器IP
hadoop
1192.168.31.130
hadoop
2192.168.31.131
hadoop
3192.168.31.132
hadoop
4192.168.31.133
hadoop
5192.168.31.134
朱季谦
·
2024-01-12 23:24
Linux
ssh
服务器
eclipse
hadoop
(4)--NameNode元数据管理
这是分享的第四篇文章了,可能有些小伙伴看到标题后,很纳闷,完全是跳跃式的,NameNode是什么呢?NameNode是管理元数据的,这个和大数据有什么关系呢?对了,就爱带着问题去探索,NameNode是HDFS的一个组件,可以说一个进程,HDFS中共有三个组件NameNode,DataNode,SecondNameNode。这三个都是做什么的呢?NameNode:管理元数据的DataNode:保存
ROCK_杰哥
·
2024-01-12 22:41
如何进行大数据系统测试
大数据系统常见的架构形式有如下几种:
Hadoop
架构:
Hadoop
DistributedFileSystem(HDFS):这是一种分布式文件系统,设计用于存储海量数据并允许跨多台机器进行高效访问。
Feng.Lee
·
2024-01-12 21:41
系统测试
项目管理
测试工具
大数据
咖啡,我爱卡布奇诺,你呐?
浓缩咖啡(espresso)浓缩咖啡是意大利人发明的,是用高压热水或水蒸气快速萃取的方式,把深度烘焙的,仔细
研磨
的,压成粉饼的咖啡粉制成一种非常浓郁和醇厚口味的咖啡饮品的过程。烹制完美的浓缩咖啡
艾小温
·
2024-01-12 21:16
ZooKeeper 安装与部署
1.1认识Zookeeper介绍Zookeeper前,看下面这个图:在这张图片里,我们可以看到
Hadoop
是一只大象,HIVE是一只蜜蜂,Bigtop是马戏团,Pig是一只猪,HAMA是一只河马…只有Zookeeper
Destiny_-Sky
·
2024-01-12 18:48
ZooKeeper
zookeeper
分布式
java
Linux学习笔记——ZooKeeper集群安装部署
5.8、ZooKeeper集群安装部署5.8.1、简介Zookeeper是一个分布式的、开放源码的分布式应用程序协调服务,是
Hadoop
和HBase的重要组件。
kxttmx
·
2024-01-12 18:16
linux
学习
zookeeper
Zookeeper安装与部署
由于ZooKeeper便捷的使用方式、卓越的性能和良好的稳定性,被广泛地应用于诸如
Hadoop
、HBase、Kafka和Dubbo等大型分布式系统中。一个分布式系统最多只能同时满足一致性
HRX98
·
2024-01-12 18:12
经验贴
zookeeper
分布式
zookeeper下载安装部署
zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的
Hadoop
项目的一个子项目,并根据google发表的一篇论文来实现的。
倚-天-照-海
·
2024-01-12 18:38
kafka
zookeeper
linux
分布式
Hadoop
常用命令
启动
Hadoop
所有进程:start-all.sh关闭
Hadoop
所有进程:stop-all.sh单进程启动:start-dfs.sh和start-yarn.sh分别启动HDFS和YARNhdfsdfs-xxx
在努力的Jie
·
2024-01-12 16:16
Hadoop
的核心 —— HDFS(1)
首先来看看
Hadoop
是什么?
土冥王
·
2024-01-12 16:13
kafka下载安装部署
它现在是Apache旗下的一个开源系统,作为
hadoop
生态系统的一部分,被各种商业公司广泛应用。
倚-天-照-海
·
2024-01-12 15:25
kafka
kafka
分布式
Hbase2.1 集群搭建
Hbase在大数据的体系中扮演着DB角色,不得不说是重要的一员,在上一篇,大猪已经给大家演示了
Hadoop
3.2集群搭建了,本次我们将继续紧接着搭建Hbase集群。
kikiki2
·
2024-01-12 15:31
Hadoop
框架下MapReduce中的map个数如何控制
一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为:一、将待处理的文件进行逻辑切片(根据处理数据文件的大小,划分多个split),然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下:1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode
数据萌新
·
2024-01-12 14:31
解决java连接Hbase程序卡住执行也不报错的问题
程序运行不知多久,就报错了(截取一行有用的):java.net.UnknownHostException:cannotresolve
hadoop
01,1
向他一样rap
·
2024-01-12 14:37
hbase
java
big
data
查询速度提升15倍!银联商务基于 Apache Doris 的数据平台升级实践
为更好提供数据服务,银联商务实现了从
Hadoop
到ApacheDoris的架构升级,使数据导入性能提升2-5倍、ETL场景性能提升3-12倍、查询分析响应速度提升10-15倍,满足大规模数据导入和实时极速查询的业务需求
SelectDB技术团队
·
2024-01-12 13:28
apache
数据库
大数据
数据分析
数据仓库
GBASE南大通用 GBase 8a 产品构建数仓系统架构
架构技术实现特点适用场景独立数据仓库(集市)系统架构一套GBase8a物理集群适用于数据规模较小的业务场景适用于各业务之间数据互访较频繁的业务场景适用于单一独立的业务场景企业级数仓系统架构多套GBase8a物理集群,根据需要搭配
Hadoop
GBASE数据库
·
2024-01-12 12:04
数据库
GBASE南大通用
GBASE
Hive安装与配置
注意:Hive的安装与配置建立在
Hadoop
已安装配置好的情况下。hadopp安装与配置Hive的基本安装从官网下载Hive二进制包,下载好放在/opt目录下。
qq_58647543
·
2024-01-12 11:50
hive
hive
关于hive在运行insert时失败原因刨析
yarn容器最大内存、容器最小内存等Theclasstouseastheresourcescheduler.yarn.resourcemanager.scheduler.classorg.apache.
hadoop
.yarn.server.resourcemanager.scheduler
Alonzo de blog
·
2024-01-12 08:57
hadoop
hadoop
大数据
hive
mapreduce
hadoop
分布式文件系统
Hadoop
分布式文件系统分布式文件系统:管理网络中跨多台计算机存储的文件系统称为分布式文件系统。
Alonzo de blog
·
2024-01-12 08:27
hadoop
hadoop
大数据
hdfs
【数据库学习】hive
1,HIVE
Hadoop
的数据仓库处理工具,数据存储在
Hadoop
兼容的文件系统(例如,AmazonS3、HDFS)中。
兔兔西
·
2024-01-12 08:50
数据库
学习
hive
基于JavaWeb+BS架构+SpringBoot+Vue基于hive旅游数据的分析与应用系统的设计和实现
文目录前言主要技术系统设计功能截图订阅经典源码专栏Java项目精品实战案例《500套》源码获取文末获取源码Lun文目录1概述51.1研究背景51.2研究意义51.3研究内容52关键技术介绍72.1Java介绍72.2MySql数据库72.3
Hadoop
FREE技术
·
2024-01-12 07:01
架构
spring
boot
vue.js
计算机专业毕业设计
Spark基础
pipinstall-ihttps://pypi.tuna.tsinghua.edu.cn/simplepandas更新最新版本pippython-mpipinstall--upgradepip1、启动服务
Hadoop
中长跑路上crush
·
2024-01-12 07:33
Spark阶段
spark
大数据
分布式
Zookeeper+
Hadoop
+Spark+Flink+Kafka+Hbase+Hive
说明Zookeeper+
Hadoop
+Spark+Flink+Kafka+Hbase+Hive完全分布式高可用集群搭建下载https://archive.apache.org/dist/我最终选择Zookeeper3.7.1
nsa65223
·
2024-01-12 06:08
hadoop
zookeeper
spark
黑猴子的家:Redis 客户端访问
1、一个端口[root@
hadoop
102redis-3.2.5]#redis-cli2、多个端口客户端访问有多个端口的情况下[root@
hadoop
102redis-3.2.5]#redis-cli-p63793
黑猴子的家
·
2024-01-12 03:21
Linux操作系统下,彻底删除MySQL
背景:部署Hive时,遇到了无法访问数据库的问题;此时Linux中的环境是,已安装MySQL-8.0.35的版本,JDK8和
Hadoop
-3.3.4版本;然后开始上传Hive-3.1.3版本的的安装包和
zhiweizhang_zzw
·
2024-01-12 02:59
大数据
linux
mysql
hive
Spark完全分布式集群搭建
环境准备服务器集群我用的CentOS-6.6版本的4个虚拟机,主机名为
hadoop
01、
hadoop
02、
hadoop
03、
hadoop
04,另外我会使用
hadoop
用户搭建集群(生产环境中root用户不是可以任意使用的
小猪Harry
·
2024-01-12 00:41
Hadoop
伪集群模式搭建MAC版[Linux依旧适用]
[TOC]
Hadoop
1环境搭建1.1ssh免密登录需要生产sshkey[可以忽略,但是启动的时候,每次都需要输入密码]首先在用户根目录下ls-a查看包括隐藏的文件夹,应该能发现.ssh,如果没有就安装
zZeroZz
·
2024-01-12 00:45
pyspark config设置、增加配置、限制_success文件生成;spark-submit 集群提交参数
1、pyspark增加config设置javaheap错误增加内存spark=(SparkSession.builder.config("spark.
hadoop
.hive.exec.dynamic.partition
loong_XL
·
2024-01-11 18:00
机器学习
python
数据挖掘
linux
运维
服务器
MPP架构与
Hadoop
架构是一回事吗?
它的“谬误”之处在于,明明叫做“MassivelyParallelProcessing(大规模并行处理)”,却让非常多的人拿它与大规模并行处理领域最著名的开源框架
Hadoop
相关框架做对比,这实在是让人困惑
ThoughtWorks
·
2024-01-11 17:47
《PySpark大数据分析实战》-27.数据可视化图表Pyecharts介绍
对大数据技术栈
Hadoop
、Hive、Spark、Kafka等有深入研究,对Data
wux_labs
·
2024-01-11 16:21
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
【2019-05-06】map reduce工作机制
mapreduce作业运行机制
Hadoop
运行mapreduce作业的工作原理(1)作业提交Job的submit()方法创建一个内部的JobSubmitter实例,并且调用其submitJobInternal
BigBigFlower
·
2024-01-11 15:31
Hadoop
高可靠集群搭建步骤(手把手教学)【超级详细】
Hadoop
高可靠集群搭建步骤(手把手教学)【超级详细】文章目录1HA集群基础配置1.1创建系统为Centos7(Linux)的虚拟机1.2基本网络配置1.3连接FinalShell2NTP时间同步和免密登录
小伍_Five
·
2024-01-11 11:50
hadoop
大数据
分布式
NameNode: Permission denied&无法启动
Hadoop
解决方法
NameNode:Permissiondenied(publickey,gssapi-keyex,gssapi-with-mic,password).就是这个原因这个问题的出现主要是因为没有给authorized_keys授权,解决方法如下:把产生的公钥文件放置到authorized_keys文件中,命令如下:[root@node1etc]#cat~/.ssh/id_rsa.pub>>~/.ssh
eyexin2018
·
2024-01-11 09:46
Hadoop学习之路
hadoop
linux
大数据
(十八)大数据学习之HA
HA专题一.保证服务器时间相同date-s2019-04-21把所有机器时间设置成00:00:00二.
Hadoop
HA1.HDFSHA/usr/local/
hadoop
-2.8.4/etc/
hadoop
Movle
·
2024-01-11 08:43
搭建时间服务器并配置集群自动时钟同步
搭建时间服务器并配置集群自动时钟同步一、搭建时间服务器(一)为什么要搭建时间服务器因为
Hadoop
对集群中各个机器的时间同步要求比较高,要求各个机器的系统时间不能相差太多,不然会造成很多问题。
Y先生的领地
·
2024-01-11 08:58
spark基础--学习笔记
1spark介绍1.1spark概念ApacheSpark是专为大规模数据处理而设计的快速通用的分布式计算引擎,是开源的类
Hadoop
MapReduce的通用分布式计算框架。
祈愿lucky
·
2024-01-11 07:58
大数据
spark
学习
笔记
Hadoop
安装遇到的一些问题
image.pngimage.png解决选择CentOs.vmx无反应问题:image.png打开之后,选择Poweron之后,选择Imovedit:第一次点mved,以后点copiedroot登陆,密码:
hadoop
博弈史密斯
·
2024-01-11 07:30
Hadoop
之mapreduce参数大全-5
101.指定任务启动过程中允许的最大跳过尝试次数mapreduce.task.skip.start.attempts是
Hadoop
MapReduce框架中的一个配置属性,用于指定任务启动过程中允许的最大跳过尝试次数
OnePandas
·
2024-01-11 07:45
Hadoop
hadoop
mapreduce
hive sql 和 spark sql的区别
HiveSQL和SparkSQL都是用于在大数据环境中处理结构化数据的工具,但它们有一些关键的区别:底层计算引擎:HiveSQL:Hive是建立在
Hadoop
生态系统之上的,使用MapReduce作为底层计算引擎
深度学习研究员
·
2024-01-11 07:08
hive
sql
spark
数据库
HDFS相关API操作
文章目录API文档环境配置API操作准备工作创建文件夹文件上传文件下载文件删除文件的更名和移动获取文件详细信息API文档HDFSAPI官方文档:https://
hadoop
.apache.org/docs
欲无缘
·
2024-01-11 06:56
大数据
hdfs
hadoop
大数据
Flink复习3-2-4-6-1(v1.17.0): 应用开发 - DataStream API - 状态和容错 - 数据类型&序列化 - 概述
SerializationSupportedDataTypes(支持的数据类型)TuplesandCaseClassesPOJOsPrimitiveTypes(基本数据类型)GeneralClassTypes(一般类型)Values
Hadoop
WritablesSpecialTypes
ε(´ο`*)))
·
2024-01-11 05:30
flink复习
flink
大数据
【大数据架构】日志采集方案对比
整体架构日志采集端FlumeFlume的设计宗旨是向
Hadoop
集群批量导入基于事件的海量数据。系统中最核心的角色是agent,Flume采集系统就是由一个个agent所连接起来形成。
话数Science
·
2024-01-11 04:03
大数据
面试
大数据
面试
架构
大数据独角兽 Cloudera 股价腰斩,
Hadoop
将何去何从?
围绕
Hadoop
进行商业化有著名的三巨头,分别是Cloudera、Hortonworks和MapR,如今都不约而同地陨落了。
烽火程序猿
·
2024-01-11 04:15
记一次Maxwell出现Communications link failure
原报错信息:connectingtojdbc:mysql://
hadoop
01:3306/maxwell?
玖玖1704
·
2024-01-11 03:34
maxwell
hadoop
大数据
etl
数据库
10、采集通道启动、停止脚本
1)在/home/shuidi/bin目录下创建脚本cluster.sh[shuidi@
hadoop
102bin]$vimcluster.sh在脚本中填写如下内容#!
施小赞
·
2024-01-11 02:16
数仓架构搭建
linux
运维
服务器
从零到一:
Hadoop
开发者的成长之路
从零到一:
Hadoop
开发者的成长之路随着大数据时代的来临,
Hadoop
作为处理大规模数据的开源框架,已成为企业和开发者关注的焦点。那么,如何从零开始,逐步成长为一名优秀的
Hadoop
开发者呢?
乌龙饼干
·
2024-01-11 01:45
hadoop
大数据
分布式
Hadoop
的未来发展趋势与挑战分析
Hadoop
的未来发展趋势与挑战分析
Hadoop
,作为大数据领域的老牌开源框架,已经历了十多年的风风雨雨。
乌龙饼干
·
2024-01-11 01:45
hadoop
大数据
分布式
Hadoop
中的数据治理策略与实践
Hadoop
中的数据治理策略与实践随着大数据技术的快速发展,
Hadoop
已成为企业存储和处理大规模数据集的首选平台。然而,随着数据量的不断增长,数据治理问题也日益凸显。
乌龙饼干
·
2024-01-11 01:15
hadoop
大数据
分布式
上一页
18
19
20
21
22
23
24
25
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他