E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop伪分布式运行模式
git 从一个源导入分支到另一个源
新增一个remote源gitremoteaddgithubhttps://github.com/apache/
hadoop
.git显示现在的remotegitremote-v获取gitfetchgithub
houzhizhen
·
2023-12-27 02:53
git
git
github
分布式系统面试连环炮
他们有共同的一个问题,就是都没怎么搞过分布式系统,现在互联网公司,一般都是做分布式的系统,大家都不是做底层的分布式系统、分布式存储系统
hadoop
hdfs、分布式计算系统
hadoop
mapreduce/
Java机械师
·
2023-12-26 23:13
YARN知识点总结
如果把大数据
Hadoop
集群当作一台计算机,那么HDFS=磁盘YARN=任务调度器+资源管理器所有任务都是运行在Yarn上Yarn分为两个大的模块:ResourceManagerNodeManagerResourceManager
飞有飞言
·
2023-12-26 23:16
灵蜂BeeDI ETL
大数据时代的集成利器ETL工具https://blog.csdn.net/little_bee_2004/article/details/80006047在信息时代大数据环境下,基于分布式的开源
Hadoop
weixin_49476464
·
2023-12-26 23:38
学习
hadoop
big
data
数据库
为什么Spark比MapReduce快?
一般而言,DAG相比
Hadoop
的MapReduce在大多数情况下可以减少shuffle次数(怎么体现?)。Spark的DAGScheduler相当于一个改进版的MapReduce,如果计算不涉及与
tracy_668
·
2023-12-26 23:00
ARM 汇编语言知识积累
博文参考:arm中SP,LR,PC寄存器以及其它所有寄存器以及处理器
运行模式
介绍arm平台根据栈进行backtrace的方法-腾讯云开发者社区-腾讯云(tencent.com)特殊功能寄存器:SP:即R13
JoYER_cc
·
2023-12-26 21:33
arm开发
Hadoop
大数据实战系列文章之HDFS文件系统
Hadoop
附带了一个名为HDFS(
Hadoop
分布式文件系统)的分布式文件系统,专门存储超大数据文件,为整个
Hadoop
生态圈提供了基础的存储服务。
测试帮日记
·
2023-12-26 21:39
从零开始学大数据框架Hudi,这些学习网站,助你一臂之力!
Hudi的设计使得您可以在
Hadoop
兼容的存储之上存储大量数据,并且它提供了两种原语,除了经典的批处理之外,还可以在数据湖上进行流处理。
知识分享小能手
·
2023-12-26 20:39
学习心得体会
大数据
大数据
学习
10.
hadoop
安装(全分布式安装)
全分布式首先必须有jdk安装,这里不再概述,参考4首先如果有不同就修改注意要改为disabled关闭防火墙iptable首先要免秘钥主节点要分发秘钥51020303540
文茶君
·
2023-12-26 20:43
hive下库里有表数据,删不了库的解决办法
hive下库里有表数据,删不了库的解决办法报错:FAILED:ExecutionError,returncode1fromorg.apache.
hadoop
.hive.ql.exec.DDLTask.InvalidOperationException
北凉-徐凤年
·
2023-12-26 20:07
日常工作遇到的问题
hive
借助 KMS (
Hadoop
Key Management Server) 实现 HDFS 数据加密
原生KMS模型概览适用场景将DataNode上的数据block加密存放,这样即使恶意用户通过某种方式绕过了权限控制,或直接访问了DataNode,获取了其它用户的数据block,也看不到这些block的真实内容。对HDFS的读写性能会有一定的降低,但应该不会太严重(未测试),HDFS优先使用native的libcrypto.so完成加解密(默认算法AES-CTR,支持128位AES加密),新版本的
xudong1991
·
2023-12-26 18:55
Grafana二进制部署并配置prometheus数据源
pg=graf&plcmt=deploy-box-1grafana官网下载地址[root@ambari-
hadoop
1~]#cd/opt/module/grafana/[root@ambari-
hadoop
1grafana
万里长江横渡
·
2023-12-26 13:04
grafana
prometheus
Hive01_安装部署
Hive的安装上传安装包解压tarzxvfapache-hive-3.1.2-bin.tar.gzmvapache-hive-3.1.2-binhive解决Hive与
Hadoop
之间guava版本差异cd
程序喵猴
·
2023-12-26 12:47
hive
hive
Hadoop
集群部署
目录1模板虚拟机环境准备1.1修改网卡配置文件扩展1.2修改主机名1.3在虚拟机中需要的基础文件包1.4关闭防火墙1.5创建
Hadoop
的账户及文件2模板虚拟机安装JDK3模板虚拟机安装
Hadoop
4克隆虚拟机
程序员储物箱
·
2023-12-26 12:23
安装教程
hadoop
linux
Windows搭建HDFS 2.6.0(附加搭建
Hadoop
)
1.环境操作系统:Windows7JDK版本:1.8.0_221
Hadoop
版本:2.6.02.下载
Hadoop
官网下载image.pngimage.png3.前期准备3.1.配置JAVA环境变量image.pngimage.png4
夹胡碰
·
2023-12-26 11:20
Hadoop
基础操作(学习笔记二)
本笔记按照以下四步进行:1、查看
hadoop
集群的基本信息http://master:50070/HDFS监控服务http://master:8088/cluster/nodes集群的计算资源信息http
Mecury_
·
2023-12-26 10:32
学习笔记
hadoop
大数据
六:Spark集群安装和部署
我的系统配置:(1)安装一个虚拟机:三个ubuntu16.04系统;(2)Master节点:内存分配2g;Slave1节点:内存分配512MB;Slave2节点:内存分配512MB;2.安装路径:(1)
Hadoop
2.6.5
玉成226
·
2023-12-26 10:21
spark
大数据Spark实战高手之路职业学习路线图
从零起步,分阶段无任何障碍逐步掌握大数据统一计算平台Spark,从Spark框架编写和开发语言Scala开始,到Spark企业级开发,再到Spark框架源码解析、Spark与
Hadoop
的融合、商业案例和企业面试
smileyboy2009
·
2023-12-26 10:56
hadoop
spark
spark
hadoop
hadoop
3.0x 后要比spark快10倍!
Apache
hadoop
项目组最新消息,
hadoop
3.x以后将会调整方案架构,将Mapreduce基于内存+io+磁盘,共同处理数据其实最大改变的是hdfs,hdfs通过最近black块计算,根据最近计算原则
smileyboy2009
·
2023-12-26 10:56
hadoop
spark
内存
mapreduce
spark
hdfs
hadoop
Iceberg1.4.2 java 表管理(DDL和DML)操作
既然是一种开放的表管理格式,那就不应该依赖
hadoop
,hive,spark,flink
smileyboy2009
·
2023-12-26 10:26
java
开发语言
备战之JVM01-初识JVM
初识JVM一、JVM的
运行模式
Server模式与Client模式两种
运行模式
的区别:1、Client模式的启动速度比较快,Server模式启动比较慢。
药师和尚
·
2023-12-26 09:03
备战之JVM
java
jvm
Hive02_基本使用,常用命令
Hive是基于
Hadoop
的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
程序喵猴
·
2023-12-26 08:39
hive
hive
pycharm连接虚拟机
要在PyCharm中远程连接到Linux上的Spark和
Hadoop
集群,您可以
俺会hello我的
·
2023-12-26 07:22
pycharm
ide
SpringBoot 2 集成Spark 3
前提条件:运行环境:
Hadoop
3.
在奋斗的大道
·
2023-12-26 06:12
Java架构专栏
深蓝计划
hadoop
spark
大数据
分布式
iceberg1.4.2 +minio通过spark创建表,插入数据
下层支持
hadoop
,s3,对象存储,上层支持hive,spark,flink等应用。实现在中间把两部分隔离开来,实现一种对接和数据管理的标准。有这个标准,不管是谁建的表,都可以操作和访问。
smileyboy2009
·
2023-12-26 06:39
spark
大数据
分布式
HBase基础知识(五):HBase 对接
Hadoop
的 MapReduce
通过HBase的相关JavaAPI,我们可以实现伴随HBase操作的MapReduce过程,比如使用MapReduce将数据从本地文件系统导入到HBase的表中,比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。1官方HBase-MapReduce1.查看HBase的MapReduce任务的执行./bin/hbasemapredcpSLF4J:Classpathcontai
依晴无旧
·
2023-12-26 06:01
大数据
hbase
mapreduce
数据库
Hadoop
——分布式计算
一、分布式计算概述1.什么是计算、分布式计算?计算:对数据进行处理,使用统计分析等手段得到需要的结果分布式计算:多台服务器协同工作,共同完成一个计算任务2.分布式计算常见的2种工作模式分散->汇总(MapReduce就是这种模式)将数据分片,多台服务器各自负责一部分数据处理然后将各自的结果,进行汇总处理最终得到想要的计算结果中心调度->步骤执行(大数据体系的Spark、Flink等是这种模式)1.
weixin_50458070
·
2023-12-26 06:38
大数据
hadoop
大数据
分布式
HBase深度历险 | 京东物流技术团队
简介HBase的全称是
Hadoop
Database,是一个分布式的,可扩展,面向列簇的数据库,是一个通过大量廉价的机器解决海量数据的高速存储和读取的分布式数据库解决方案。
京东云技术团队
·
2023-12-26 06:57
hbase
数据库
大数据
Linux下配置
伪分布式
的
Hadoop
伪分布式
的意思就是集群只有一台服务器1安装jdk1.8,注意,jdk版本太高会导致
hadoop
无法正常启动和运行2下载
hadoop
3.1.3,并上传至服务器解压3编辑etc/
hadoop
/core-site.xmlfs.defaultFShdfs
qq_34324703
·
2023-12-26 05:49
分布式
linux
hadoop
Linux下安装Flume
1下载FlumeWelcometoApacheFlume—ApacheFlume下载1.9.0版本2上传服务器并解压安装3删除lib目录下的guava-11.0.2.jar(如同服务器安装了
hadoop
qq_34324703
·
2023-12-26 05:49
linux
flume
运维
09-为Java开疆拓土的ZGC深度剖析
文章目录引言ZGC出现背景STW带来的问题手机系统(Android)显示卡顿证券交易系统实时性要求大数据平台(
Hadoop
集群性能)垃圾回收器的发展ZGC介绍ZGC中JVM内存布局和设计为什么这么设计?
月球程序猿
·
2023-12-26 04:15
性能调优
JVM
java
ZGC
垃圾回收器
JVM
软件体系结构
名词解释Zookeeper:是一个分布式的,开放源码的分布式应用程序协调服务,是Google的一个开源的实现,是
Hadoop
和Hbase的重要组件。
城堡修炼者
·
2023-12-26 04:42
hadoop
mapreduce
hbase
大数据——技术生态体系
Hive构建在
Hadoop
之上,并提供了一种类似SQL的查询语言,被称为HiveQL(HiveQueryLanguage),用于处理和分析大规模数据。
Imrea
·
2023-12-26 01:56
大数据
hadoop
分布式
大数据技术——处理架构
Hadoop
•2.1概述•2.1.1
Hadoop
简介•
Hadoop
是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式基础架构•
Hadoop
是基于Java语言开发的,具有很好的跨平台特性
Imrea
·
2023-12-26 01:55
大数据
架构
hadoop
大数据——手把手教你HDFS搭建
第一步:在虚拟机上安装
hadoop
环境使用XFTP工具,将
hadoop
的linux版本压缩包导进linux系统的/opt文件夹下。
安安DE爸爸
·
2023-12-25 23:31
大数据
LINUX
HDFS
HDFS
hadoop
LINUX
黑猴子的家:Spark RDD 之
Hadoop
输入输出(数据读取与保存的主要方式之一)
1、
hadoop
RDD和new
Hadoop
RDDSpark的整个生态系统与
Hadoop
是完全兼容的,所以对于
Hadoop
所支持的文件类型或者数据库类型,Spark也同样支持.另外,由于
Hadoop
的API
黑猴子的家
·
2023-12-25 23:05
docker学习:docker部署dolphinscheduler1.3.9
伪分布式
集群
环境准备二、构建镜像(一)、dolphinscheduler镜像(二)、mysql镜像(直接拉取)(三)、zookeeper镜像(直接拉取)三、容器编排一、环境准备dolphinscheduler1.3.9
伪分布式
集群
我爱夜来香A
·
2023-12-25 22:13
docker
docker
学习
分布式
04_
hadoop
_读取hdfs在本地统计单词并将结果放回hdfs
1文件目录image.png2wordConfig.properties配置文件CLASS_BUSINESS=com.looc.D04HDFS单词计数.WordCountRealizeHDFS_URL=hdfs://vm01:9000/HDFS_USER=rootOUT_PUT_SRC=/wordCount/result/RESOURCE_SRC=/wordCount/resource/3Word
会摄影的程序员
·
2023-12-25 22:10
学习笔记
Hadoop
(十四)—— MapReduce开发入门(2)—— MapReduce API介绍、MapReduce实例
四、MapReduceAPI介绍一般MapReduce都是由Mapper,Reducer及main函数组成。Mapper程序一般完成键值对映射操作;Reducer程序一般完成键值对聚合操作;Main函数则负责组装Mapper,Reducer及必要的配置;高阶编程还涉及到设置输入输出文件格式、设置Combiner、Partitioner优化程序等;4.1、MapReduce程序模块:Main函数4.
别呀
·
2023-12-25 19:09
hadoop
big
data
java
学习笔记
Hadoop
(十一)——
Hadoop
基础操作(3)—— MapReduce常用Shell操作、MapReduce任务管理
四、MapReduce常用Shell操作4.1、MapReduce常用ShellMapReduceShell此处指的是可以使用类似shell的命令来直接和MapReduce任务进行交互(这里不严格区分MapReduceshell及Yarnshell)。提交任务命令:yarnjar[mainClass]args...查看及修改任务命令:yarnapplication[options]Usage:ya
别呀
·
2023-12-25 19:09
hadoop
big
data
Hadoop
学习笔记[6]-MapReduce与Yarn安装部署流程
Hadoop
学习笔记[6]-MapReduce与Yarn安装部署流程 前面的文章已经对MR和Yarn做了基本介绍,本文主要介绍MR和Yarn的安装部署流程1、角色划分 NodeManager和DataNode
kinglinch
·
2023-12-25 19:09
大数据
mapreduce
yarn
hadoop
大数据
HBase 集群搭建
文章目录安装前准备兼容性官方网址集群搭建搭建
Hadoop
集群搭建Zookeeper集群解压缩安装配置文件高可用配置分发HBase文件服务的启停启动顺序停止顺序验证进程查看Web端页面安装前准备兼容性1)
撕得失败的标签
·
2023-12-25 19:05
大数据技术
hbase
数据库
大数据
zookeeper
hadoop
HBase 搭建过程中常见问题
文章目录进程问题HQuorumPeer和QuorumPeerMain区别HRegionServerHMaster自动关闭启动顺序停止顺序无法关闭一直等待运行报错日志中报错问题无法调用方法启动HBase无法找到
Hadoop
撕得失败的标签
·
2023-12-25 19:05
大数据技术
hbase
数据库
大数据
zookeeper
hadoop
大数据----MapReduce实现统计单词
目录一、简介二、实现单词统计数据准备编程MapReduceJob三、运行四、结果一、简介
Hadoop
MapReduce是一个编程框架,它可以轻松地编写应用程序,以可靠的、容错的方式处理大量的数据(数千个节点
韭菜盖饭
·
2023-12-25 17:34
大数据
大数据
mapreduce
大数据----基于sogou.500w.utf8数据的MapReduce编程
及搜索关键字记录3.2、统计rank2的所有UID及数量3.3、上午7-9点之间,搜索过“赶集网”的用户UID3.4、通过Rank:点击排名对数据进行排序四、参考一、前言最近学习大数据的知识,需要做一些有关
Hadoop
MapReduce
韭菜盖饭
·
2023-12-25 17:01
大数据
大数据
mapreduce
Hive-数据模型详解(超详细)
.数据库和表(1)创建数据库(2)使用数据库(3)创建表格(4)查看表结构3.分区与桶(1)分区(2)桶4.数据加载与查询(1)数据导入(2)查询语句5.总结一、Hive数据模型1.概述Hive是基于
Hadoop
大数据魔法师
·
2023-12-25 16:17
Hive之旅
hive
Kylin的工作原理
Kylin的详细工作原理如下:数据导入:Kylin将数据导入到
Hadoop
集群中,通过HBase作为存储引擎,将数据预处理后存储在HBase中。
程序大虾
·
2023-12-25 16:15
kylin
flume 中sink用hdfs sink报拒绝连接错误hdfs-io
WARN-org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:454)]HDFSIOerrorjava.net.ConnectException:CallFrom
hadoop
102
m0_58310854
·
2023-12-25 16:38
flume
hdfs
hadoop
flume
Hadoop
2.x安全:
hadoop
集群之kerberos认证(三、常用命令、有效期)
微信公众号:大数据开发运维架构关注可了解更多大数据相关的资讯。问题或建议,请公众号留言;如果您觉得“大数据开发运维架构”对你有帮助,欢迎转发朋友圈从微信公众号拷贝过来,格式有些错乱,建议直接去公众号阅读概述:开启了Kerberos认证集群之后,集群不再像以前一样随意操作,需要证书进行登录,这里就讲一下我们日常用的的一些kerberos相关的一些操作,包括票据的创建、删除、有效期更改等。常用操作:1
大数据开发运维架构
·
2023-12-25 15:34
云计算与大数据之间的羁绊(期末不挂科版):云计算 | 大数据 |
Hadoop
| HDFS | MapReduce | Hive | Spark
文章目录前言:一、云计算1.1云计算的基本思想1.2云计算概述——什么是云计算?1.3云计算的基本特征1.4云计算的部署模式1.5云服务1.6云计算的关键技术——虚拟化技术1.6.1虚拟化的好处1.6.2虚拟化技术的应用——12306使用阿里云避免了高峰期的崩溃1.6.3虚拟化的关键特征1.6.4虚拟化的HA指的是什么?1.6.5服务器虚拟化1.6.6虚拟机迁移1.6.6.1虚拟机实时迁移对云计算
春人.
·
2023-12-25 14:59
春人闲谈
大数据
hadoop
云计算
HDFS
MapReduce
Nive
Hive
上一页
29
30
31
32
33
34
35
36
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他