E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs基础架构
Azkaban各种类型的Job编写
Linuxshell命令行任务gobblin:通用数据采集工具hadoopJava:运行hadoopMR任务java:原生java任务hive:支持执行hiveSQLpig:pig脚本任务spark:spark任务
hdfs
ToTeradata
__元昊__
·
2024-03-28 21:00
Linux(centos7)部署hive
前提环境:已部署完hadoop(
HDFS
、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL
灯下夜无眠
·
2024-03-28 12:44
Linux
linux
hive
运维
dbeaver
hive客户端
关于HDP的20道高级运维面试题
HDP(HortonworksDataPlatform)的主要组件包括Hadoop框架、
HDFS
、MapReduce、YARN以及Hadoop生态系统中的其他关键工具,如Spark、Flink、Hive
编织幻境的妖
·
2024-03-26 15:34
运维
【笔记】
HDFS
基础笔记
启动hadoop命令(未配环境变量):进入hadoop安装目录输入./sbin/start-dfs.sh已配环境变量:start-dfs.sh关闭hadoop命令:stop-dfs.sh启动完成后,可以通过命令jps来判断是否成功启动,若成功启动则会列出如下进程:"NameNode"、"DataNode"和"SecondaryNameNode"三种Shell命令方式:1.hadoopfs2.had
哇咔咔哇咔
·
2024-03-20 04:12
Hadoop
hdfs
笔记
hadoop
大数据
ubuntu
hive库表占用空间大小的命令
1、查每个hive表占用的空间大小
hdfs
dfs-du-h/user/hive/warehouse2、按占用空间大小降序排列
hdfs
dfs-du/user/hive/warehouse/ipms.db|
刀鋒偏冷
·
2024-03-15 13:13
hive
hadoop
数据仓库
HDFS
(一)
HDFS
简介及其基本概念
HDFS
(HadoopDistributedFileSystem)是hadoop生态系统的一个重要组成部分,是hadoop中的的存储组件,在整个Hadoop中的地位非同一般
weixin_51987187
·
2024-03-12 14:32
笔记
大数据
大数据开发(Hadoop面试真题-卷二)
2、请解释一下
HDFS
架构中NameNode和DataNode之间是如何通信的?3、请解释一下Hadoop的工作原理及其组成部分?4、
HDFS
读写流程是什么样子?
Key-Key
·
2024-03-12 02:15
大数据
hadoop
面试
大数据开发(Hadoop面试真题-卷九)
2、既然HBase底层数据是存储在
HDFS
上,为什么不直接使用
HDFS
,而还要用HBase?3、Sparkmapjoin的实现原理?4、Spark的stage如何划分?
Key-Key
·
2024-03-09 10:06
大数据
hadoop
面试
大数据开源框架技术汇总
目录系统平台(Hadoop、CDH、HDP)监控管理(CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle)文件系统(
HDFS
、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖
·
2024-03-08 20:48
数据仓库
hive
flume
分布式
scipy
makefile
crm
lighttpd
hbase、hive、clickhouse对比
概念架构hbasemaster存储元数据、regionServer实际控制表数据,存储单位是Region,底层数据存储使用
HDFS
hive通过driver将sql分解成mapreduce任务元数据需要单独存储到一个关系型数据库
freshrookie
·
2024-03-05 16:40
hbase
hive
hadoop
CMDB对企业和IT管理员有什么用?
1.资源管理:CMDB能够提供清晰的资源库,帮助IT人员了解整个IT
基础架构
的各个组件及其关系。通过CMDB,IT人员可以查看和管理硬件、软件、网络设备等资源的详细信息,包括配置、关联关系
·
2024-03-05 02:33
运维
【Hadoop】使用Metorikku框架读取hive数据统计分析写入mysql
一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置,具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为
hdfs
文件系统目录inputs:output:
方大刚233
·
2024-03-03 06:23
Hadoop
Scala
hadoop
hive
mysql
基于Docker搭建
hdfs
分布式实验环境
Docker能够将应用程序与
基础架构
分开,从而可以快速交付软件。借助Docker,开发者可以与管
dejiedoor
·
2024-02-20 22:38
hadoop
大数据
docker
docker搭建hadoop
hdfs
完全分布式集群
这里注意,在做好的镜像里,要安装which工具,否则在执行
hdfs
命令时会报命令不存在异常。
shangcunshanfu
·
2024-02-20 22:08
hadoop
docker
big
data
基于docker安装
HDFS
1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/hadoop:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau/hadoop-cluster-docker4.创建网桥由于Hadoop的master节点需要与slave节点通信,需要在各个主机节点配置节点IP,为了不用每次启动都因为IP改变了而重新配置
core512
·
2024-02-20 22:02
大数据
虚拟机&容器
docker
hdfs
Deepin系统安装x11vnc远程桌面工具实现无公网ip访问本地桌面
在Linux系统中,XWindow系统是用于图形界面显示的
基础架构
,它通过客户端-服务器的方式工作
日出等日落
·
2024-02-20 20:47
内网穿透
tcp/ip
网络协议
网络
HIVE中MAP和REDUCE数量
1、输入就不用说了,数据一般放在
HDFS
上面就可以了,而且文件是被分块的。关于文件块和文件分片的关系,在输入分片中说明。2、输入分片:在进行Map阶段之前,MapReduce框架会根据输入文件计算输
这孩子谁懂哈
·
2024-02-20 20:38
HIVE
hive
hadoop
mapreduce
Vue3+vite搭建
基础架构
(8)--- 使用pinia-plugin-persist
Vue3+vite搭建
基础架构
(8)---使用pinia-plugin-persist说明官方文档安装pinia-plugin-persist使用pinia-plugin-persist测试pinia-plugin-persist
谁不想飞舞青春
·
2024-02-20 19:26
前端
vue.js
前端
html5
vue
javascript
Vue3+vite搭建
基础架构
(9)--- 使用vite-plugin-svg-icons
Vue3+vite搭建
基础架构
(9)---使用vite-plugin-svg-icons说明安装vite-plugin-svg-icons使用vite-plugin-svg-icons添加svg-icon
谁不想飞舞青春
·
2024-02-20 19:26
前端
vue
vue.js
前端
javascript
html5
Vue3+vite搭建
基础架构
(10)--- 使用less和vite-plugin-vue-setup-extend
Vue3+vite搭建
基础架构
(10)---使用less和vite-plugin-vue-setup-extend说明官方文档安装less测试less表达式安装vite-plugin-vue-setup-extend
谁不想飞舞青春
·
2024-02-20 19:26
前端
vue.js
less
vue
前端
html5
Vue3+vite搭建
基础架构
(11)--- 菜单栏功能和Tab页功能实现
Vue3+vite搭建
基础架构
(11)---菜单栏功能和Tab页功能实现说明删除项目中不需要的文件userStore全局属性代码菜单栏代码Tab页代码解决浏览器输入地址时不会打开tab页问题和切换tab
谁不想飞舞青春
·
2024-02-20 19:23
前端
vue.js
javascript
前端
vue
html5
Hadoop生态圈
生态圈1.HBase的数据存储在
HDFS
里2.MapReduce可以计算HBase里的数据,也可以计算
HDFS
里的数据3.Hive是数据分析数据引擎,也是MapReduce模型,支持SQL4.Pig也是一个数据分析引擎
陈超Terry的技术屋
·
2024-02-20 19:47
16.用Hadoop命令向CDH集群提交MR作业
OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的,因为使用hadoop命令提交时会加载集群的配置信息(如
hdfs
大勇任卷舒
·
2024-02-20 19:27
记一次 Flink 作业启动缓慢
记一次Flink作业启动缓慢背景应用发现,Hadoop集群的
hdfs
较之前更加缓慢,且离线ELT任务也以前晚半个多小时才能跑完。
卢说
·
2024-02-20 18:38
Hadoop
大数据
Flink
flink
大数据
hadoop
hdfs
MySQL中SQL语句的执行流程(高频考点)
文章目录前言SQL语句的执行流程查询语句的执行流程更新语句的执行流程总结前言昨天跟大家讲了MySQL的
基础架构
(链接:MySQL的
基础架构
),今天讲一讲我们的高频面试题MySQL中SQL语句的执行流程。
Java编程小辉
·
2024-02-20 18:39
MySQL
mysql
sql
数据库
航班数据预测与分析
数据清洗:数据存储到
HDFS
:使用pyspark对数据进行分析://数据导入frompysparkimportSparkContextfrompyspark.sqlimportSQLContextsc=
林坰
·
2024-02-20 16:15
大数据
spark
航班数据分析
杜艳辉
Hadoop 大数据的入门学习
由于所做的银行项目与大数据有关,所以个人学习下hadoop的知识,希望能对大数据有所了解,不喜勿喷,哪里有不对的希望大神指点Hadoop百度百科:Hadoop是一个由Apache基金会所开发的分布式系统
基础架构
heybo_zhang
·
2024-02-20 14:36
Excel导出显示服务器,javaexcel导出到远程服务器
不支持直接导出文件到
HDFS
文件系统。CN只负责任务的规划及下发,把数据导出的工作交给了D需要确保每一
weixin_39946029
·
2024-02-20 12:50
Excel导出显示服务器
Spring概述
RodJohnson创建,目的是为了解决企业级应用开发的业务逻辑层和其他各层的耦合问题,它是一个分层的JavaSE/JavaEEfull-stack(全栈式)轻量级开源框架,为开发Java应用程序提供全面的
基础架构
支持
一朝风月S
·
2024-02-20 09:01
面试宝典
Spring家族
spring
java
测试环境搭建整套大数据系统(三:搭建集群zookeeper,
hdfs
,mapreduce,yarn,hive)
一:搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二:搭建hadoop,yarn,mapreduce。1.安装hadoop。sudotar-zxvfhadoop-3.2.4.tar.gz-C/opt2.修改java配置路径。cd/opt/hadoop-3.2.4/etc/hadoopvimhadoop-env.
宇智波云
·
2024-02-20 08:05
大数据项目
zookeeper
hdfs
mapreduce
hive
Hadoop Streaming原理
Streaming简介•MapReduce和
HDFS
采用Java实现,默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用•Streaming
可乐加冰丶丶
·
2024-02-20 07:18
大数据技术之 Kafka
大数据技术之Kafka文章目录大数据技术之Kafka第1章Kafka概述1.1定义1.2消息队列1.2.1传统消息队列的应用场景1.2.2消息队列的两种模式1.3Kafka
基础架构
第2章Kafka快速入门
efzy
·
2024-02-20 07:26
大数据
大数据
kafka
分布式
2024.2.19 阿里云Flink
两大问题,乱序和延迟Stateful:有状态Flink的三个部分Source:Transactions,logs,iot,clicksTransformation:事件驱动,ETL,批处理Sink:输出
HDFS
白白的wj
·
2024-02-20 07:05
flink
大数据
生产环境下,应用模式部署flink任务,通过
hdfs
提交
前言 通过通过yarn.provided.lib.dirs配置选项指定位置,将flink的依赖上传到
hdfs
文件管理系统1.实践 (1)生产集群为cdh集群,从cm上下载配置文件,设置环境exportHADOOP_CONF_DIR
但行益事莫问前程
·
2024-02-20 07:04
flink
flink
在生产环境中可遵循的Kubernetes优秀实践
由于云原生应用需要
基础架构
的高度自动化,目前以Docker和Kubernetes为代表的DevOps实现平台,正在以容器编排工具的形式,让更多的公司能够以更快的速度,构建、发布和交付其软件产品。
鹤子青云上
·
2024-02-20 06:21
以内存为核心的开源分布式存储系统
此外,Tachyon还能够整合众多现有的存储系统(如AmazonS3,Apache
HDFS
,RedHatGlusterFS,OpenStackSwift等),为用
这次靠你了
·
2024-02-20 05:26
大数据
Tachyon
hdfs
大数据
HBase——基础概念介绍
HBase底层存储基于
HDFS
实现,集群的管理基于ZooKeeper实现。
zhanglf1016
·
2024-02-20 04:43
#
HBase
hbase
数据库
大数据
MySQL的
基础架构
文章目录前言MySQL的
基础架构
总结前言你使用MySQL开发,你知道MySQL的
基础架构
吗?本文带你来入门MySQL的
基础架构
MySQL的
基础架构
MySQL是我们经常使用到的数据库。
Java编程小辉
·
2024-02-20 01:31
MySQL
mysql
数据库
Github 2024-02-15 开源项目日报 Top9
开发语言项目数量TypeScript项目4Python项目2Solidity项目2Rust项目1JavaScript项目1Go项目1C++项目1Terraform:以安全和可预测的方式创建、更改和管理
基础架构
的开源工具创建周期
老孙正经胡说
·
2024-02-19 21:41
github
开源
Github趋势分析
开源项目
Python
Golang
马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解
分布式计算原则:移动计算,而不是移动数据hadoop默认包含了
hdfs
、yarn、mapReduce三个组件yarn(YetAnotherResourceNegotiater)是资源调度系统,yarn调配的是内存和
PC_Repair
·
2024-02-19 20:28
ClickHouse--07--Integration 系列表引擎
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录Integration系列表引擎1
HDFS
1.1语法1.2示例:2MySQL2.1语法2.2示例:3Kafka3.1语法3.2示例
知行合一。。。
·
2024-02-19 20:33
数据库
clickhouse
kerberos 合并keytab文件 ktutil
非交互式:printf"%b""rkt/root/keytab/
hdfs
.keytab\nrkt/root/keytab/hive.keytab\nwkt/root/keytab/merged.keytab
brandblue
·
2024-02-19 19:51
合并keytab文件
ktutil
kerberos
德勤报告:2024年银行业及资本市场展望
多重颠覆性力量正在重塑银行业及资本市场的
基础架构
。利率上升、资金供应量减少、监管趋严、气候变化
AI_Plus
·
2024-02-19 18:07
大数据
人工智能
Redis快速的原因
Redis有哪些知识点高可靠:主从复制、哨兵节点、持久化高性能:数据结构、网络架构、持久化、线程模型高可扩展:数据分片、负载均衡Redis
基础架构
和重要模块访问框架网络访问操作模块get/set/delete
天上飞的云传奇
·
2024-02-19 16:55
数据库
redis
数据结构
缓存
如何使用 Python 通过代码创建图表
简介DiagramasCode工具允许您创建
基础架构
的架构图。您可以重复使用代码、测试、集成和自动化绘制图表的过程,这将使您能够将文档视为代码,并构建用于映射
基础架构
的流水线。
张无忌打怪兽
·
2024-02-19 14:54
Python
python
linux
开发语言
【2019-04-28】Hadoop分布式文件系统
Hadoop自带
HDFS
(hadoopdistributefilesystem)。
HDFS
默认数据块128M。
BigBigFlower
·
2024-02-19 11:56
Hadoop搭建之 start-yarn.sh 报错
在搭建伪分布式的Hadoop集群环境时,在配置基础环境了并成功开启了
HDFS
组件后,jps查看已运行的名称节点和数据节点进程,[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪
·
2024-02-19 11:58
java
hadoop
hdfs
大数据
运维
网络
配置hive on spark
配置hiveonspark1、上传Spark纯净版jar包到
HDFS
:
hdfs
dfs-mkdir/spark-jars
hdfs
dfs-put/opt/spark/jars/*/spark-jars2、修改
空白格2519
·
2024-02-15 10:51
数据采集
big
data
hive
spark
hadoop
hive on spark配置经验
常规配置配置完,开启hadoop,开启spark(如果在
hdfs
上上传了纯净版的spark则不需要开启),开启hive注:当前节点一定要是namenode的active节点,因为hadoop长时间不用namenode
小五冲冲冲
·
2024-02-15 10:21
Spark
hive
spark
hadoop
基于Apache Flink的实时计算引擎Blink在阿里搜索中的应用
阿里巴巴搜索(个性化搜索和推荐平台)是客户的关键入口,并承载了大部分在线收入,因此搜索
基础架构
团队需要不断探索新技术来改进产品。在电子商务网站应用场景中,什么能造就一个强大的搜索引擎?
weixin_34186950
·
2024-02-15 01:50
大数据
测试
人工智能
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他