E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
研磨hadoop
Hbase记录
这是一个纯文本文件,其中列出了主服务器应在其上启动备份主进程的主机,每行一台主机
hadoop
-metrics2-hbase.properties用于连接HBase
Hadoop
的Metrics2框架。
可以养肥
·
2023-09-14 15:47
时序数据库
2019年8月21日❤️用语言温暖世界❤️正念感恩日记第134天
镜片是由基因、生理特征、养育方式、感情经历、社会阶层、教育状况和朋友等因素共同
研磨
而成的。每个镜片都是量身定制的,因此每种视野对于佩戴者来说都是真实和准确的,但也只限于那个人自己。对
young喜洋洋
·
2023-09-14 15:20
大数据重点知识点
精简】一.大数据特点(4V)(记住)1.Volume(大量)2.Velocity(高速)3.Variety(多样)4.value(低价值密度)二.大数据的应用场景(了解)三.大数据业务流程(无所谓)四.
Hadoop
指尖数据
·
2023-09-14 14:55
大数据
hadoop
OushuDB 安装与升级之安装 HDFS
安装HDFS由于
hadoop
依赖于特定版本的snappy,请先卸载snappy确保安装的顺利进行:hawqssh-fhostfile-e'yumremove-ysnappy'HAWQ的HDFS采用HA的方式进行安装配置
北漂一号
·
2023-09-14 14:46
搭建
Hadoop
集群 并实现hdfs上的crud操作
搭建
Hadoop
集群需要以下步骤:1.安装Java环境和
Hadoop
软件包在所有节点上安装Java环境和
Hadoop
软件包;以下是详细的步骤:在所有节点上安装Java环境和
Hadoop
软件包。
想用代码改变世界
·
2023-09-14 13:08
hadoop
hdfs
大数据
FMI飞马网【线上直播】大数据安全实践
曾就职于珠海世纪鼎利通信科技股份有限公司,参与到全国最早用于移动通信领域的大数据信令共享平台试点项目的研发及建设(当时用于生产的
Hadoop
集群典型架构为Avatar机制,Apache社区的
Hadoop
尤娜_d831
·
2023-09-14 13:13
Spark集成hudi创建表报错
环境描述:hudi版本:0.13.1spark版本:3.3.2Hive版本:3.1.3
Hadoop
版本:3.3.4问题1:描述:按照官方文档运行spark-sql创建spark的hudi表报错建表语句:
Toroidals
·
2023-09-14 12:32
大数据问题处理
spark-sql
hudi
创建表
hoodie
path
Flink、Spark、Hive集成Hudi
环境描述:hudi版本:0.13.1flink版本:flink-1.15.2spark版本:3.3.2Hive版本:3.1.3
Hadoop
版本:3.3.4一.Flink集成Hive1.拷贝
hadoop
包到
Toroidals
·
2023-09-14 12:29
大数据组件安装部署教程
大数据问题处理
flink
spark
hive
hudi
flink集成hudi
hive集成hudi
spark集成hudi
见感思行2022-02-20
目的的依然是学校拐角处静谧的咖啡店,每一次走进武大校园亦或是走进闺蜜的小店,总有种被治愈的感觉,干净明亮的落地玻璃,香气醇厚的咖啡
研磨
气味,桌上摆放的花花草草,埋头各自忙着自己学
狮子笔下的羊
·
2023-09-14 11:34
mac10.9下eclipse的storm入门及开发环境搭建
STORM可以可靠地处理无限的数据流,实时处理
Hadoop
的批任务。对比
Hadoop
的批处
Nathan_way
·
2023-09-14 11:45
Storm
Spark入门到精通
hadoop
主要用于一次性数据计算,不适合迭代式数据流处理spark的多个作业之间的数据通讯是基于内存的,而
hadoop
是基于磁盘的2.spark核心模块
don't_know
·
2023-09-14 10:34
idea
spark
JAVA监控之Metrics
它在kafka,spark,
hadoop
,flink和cassandra等流行框架中都得到了广泛的应用。
don't_know
·
2023-09-14 10:03
java
java hbase 删除数据结构_Hbase之批量删除数据
importorg.apache.
hadoop
.conf.Configuration;importorg.apache.
hadoop
.hbase.HBaseConfiguration;importorg.apache.
hadoop
.hbase.TableName
疯狂包包
·
2023-09-14 10:36
java
hbase
删除数据结构
Hadoop
3.x入门-Spark3.x部署
1.前言Spark集群模式包括:Local,Standalong,Yarn,Kubernetes,但在生产环境中SparkOnYarn是主流。其中,Spark提供计算服务,Yarn提供资源调度能力,HDFS提供存储。本文介绍如何部署Spark3.1.3OnYarn,这种模式下,Spark没有集群的概念,而是作为一个客户端组件向Yarn提交自定义Jar包程序任务,只需要将Spark相关配置配好并部署
-小末
·
2023-09-14 10:06
大数据
spark
big
data
hadoop
Spark实例学习(一)spark3.x集群搭建
目录集群规划spark安装包下载虚拟机搭建NAT静态网络配置
Hadoop
集群搭建scala安装配置spark修改conf下文件分发虚拟机修改启动文件名配置历史日志启动sparkUI界面查看测试spark
阳光里哭泣的狗
·
2023-09-14 10:34
spark
大数据
hadoop
spark
linux
java
(二十七)大数据实战——hbase高可用集群安装与部署
HBase是一个开源的分布式非关系型数据库管理系统(NoSQL),它运行在Apache
Hadoop
之上。它基于Google的Bigtable论文设计,并且具有高扩展性、高可靠性和高性能的特点。
北溟溟
·
2023-09-14 10:31
大数据
大数据
hbase
阿里云服务器部署安装
hadoop
与elasticsearch踩坑笔记
2023-09-1214:00——2023.09.1320:06目录00、软件版本01、阿里云服务器部署
hadoop
1.1、修改四个配置文件1.1.1、core-site.xml1.1.2、hdfs-site.xml1.1.3
upward337
·
2023-09-14 09:50
大数据
#
Hadoop
#
ElasticSearch
Linux
阿里云服务器
阿里云
云服务
服务器
hadoop
elasticsearch
Hadoop
生态圈中的Flume数据日志采集工具
Hadoop
生态圈中的Flume数据日志采集工具一、数据采集的问题二、数据采集一般使用的技术三、扩展:通过爬虫技术采集第三方网站数据四、Flume日志采集工具概述五、Flume采集数据的时候,核心是编写
Augenstern K
·
2023-09-14 08:30
Hadoop
hadoop
flume
大数据
hadoop
9000-p8088:8088-p8040:8040-p8042:8042-p49707:49707-p50010:50010-p50075:50075-p50090:50090sequenceiq/
hadoop
-docker
摆烂z
·
2023-09-14 06:35
hadoop
大数据
分布式
大数据-Hive
Hive简介Hive是基于
Hadoop
的一个【数据仓库工具】,可以将结构化和半结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能。
HikZ.919
·
2023-09-14 06:35
hadoop
大数据
hive
hadoop
简单讲讲在一台机器上用docker部署
hadoop
HDFS
老东西叫我用vmvare部署
hadoop
,我觉得这简直蠢毙了,让我们用docker和docker-compose来快速的过一遍如何使用docker-compose来部署简单的
hadoop
集群范例写在前面
生生世世是所说的
·
2023-09-14 06:31
Docker部署实战
hadoop
大数据
分布式
自动化脚本一键安装 jdk,
hadoop
,hive
pwd=qh8h提取码:qh8h使用该脚本有几个地方需要修改成自己设备相应属性,还有一些注意事项(1)脚本开头jdk=false
hadoop
=falsehive=true分别对应jdk、
hadoop
、hive
超爱慢
·
2023-09-14 06:27
自动化
运维
Hive数据仓库实战
Hive作为大数据平台
Hadoop
之上的主流应用,公司一般都是用它作为公司的数据仓库,分布式机器学习的训练数据和数据处理也经常用它来处理,下面介绍下它的常用功能。
充电了么
·
2023-09-14 02:28
mysql 8 安装教程
SQL版本:链接:https://dev.mysql.com/get/mysql-apt-config_0.8.17-1_all.deb2.卸载参考链接https://blog.csdn.net/ie
hadoop
xinyiyake
·
2023-09-13 23:45
Java中的分布式计算框架有哪些?
Apache
Hadoop
:一个用于分布式存储和并行处理大数据集的开源框架。它包括
Hadoop
分布式文件系统(HDFS)和MapReduce计算模型。
玥沐春风
·
2023-09-13 23:54
java
开发语言
Hadoop
单机模式配置
下载
Hadoop
解压sudotar-zxvf
hadoop
-3.1.3.tar.gz-C/usr/localcd/usr/localsudomv
hadoop
-3.1.3
hadoop
sudochown-R
hadoop
鸡肋是鸡肋!
·
2023-09-13 21:11
hadoop
eclipse
大数据
Hbase解决ERROR: KeeperErrorCode = ConnectionLoss for /hbase/master报错
hbase-site.xmlhbase-site.xml内容:hbase.rootdirfile:///usr/local/hbase/hbase-tmp保存运行start-hbase.shhbaseshell报错报错原因:可能是因为之前启动过
hadoop
鸡肋是鸡肋!
·
2023-09-13 21:40
hbase
数据库
大数据
基于
hadoop
和echarts的教育大数据可视化系统 毕设完整的代码+数据集
基于
hadoop
和ec
程序员奇奇
·
2023-09-13 20:53
python实战100例
echarts
可视化
数据分析
数据库
python
Maven项目报错:Cannot resolve jdk.tools:jdk.tools:1.6
项目的时候出现了Cannotresolvejdk.tools:jdk.tools:1.6的错误,报错如下:image解决办法:根据Maven的提示信息定位到出现出错的位置image发现是org.apache.
hadoop
呜啦啦哇
·
2023-09-13 20:30
跟风装了厨余垃圾处理器,不到3天就后悔了!
垃圾处理器是安在厨房水槽下,用
研磨
技术将厨余垃圾粉碎成细小颗粒,粉碎
09e7c44a5d92
·
2023-09-13 18:51
dolphinscheduler创建创建租户错误
-1717:04:10.282org.apache.dolphinscheduler.api.exceptions.ApiExceptionHandler:[45]-创建租户错误org.apache.
hadoop
.security.AccessControlException
奋斗哼哼
·
2023-09-13 18:30
hadoop
hdfs
大数据
Debian下
Hadoop
集群安装
Debian下
Hadoop
集群安装依赖安装jdk8sudoapt-getupdate&&sudoapt-getinstall-ywgetapt-transport-httpswget-O-https:/
藤藤菜丶
·
2023-09-13 16:55
Hadoop
debian
hadoop
运维
Hive的安装和配置
etc/profile里修改环境变量就可以了exportHIVE_HOME=/opt/hive/hive1.2.1exportPATH=$PATH:$HIVE_HOME/bin2,在终端输入hive(在
Hadoop
曦宝
·
2023-09-13 16:41
大数据
Hadoop
高可用
fsimage:更新频率低,由一台进行修改,剩下的所有机器进行同步edits:更新频率高,JN日志节点(
hadoop
的专属zk,只做数据全局一致性保证)Secondnamenode的工作谁来负责?
十七✧ᐦ̤
·
2023-09-13 15:43
大数据
hadoop
分布式
Hadoop
集群搭建
目录导引
Hadoop
集群搭建1.安装VMwareWorkstation16PRO2.基于VMwareWorkstation16PRO安装Centos7完全分布式安装1.
Hadoop
集群节点设置2.准备三台虚拟机
db_gjq_2038
·
2023-09-13 15:35
hadoop
hbase
zookeeper
mysql
大数据
Maxwell读取MySQL binlog日志通过stdout展示
1.下载maxwell2.解压maxwell3.修改MySQL的配置文件my.cnf[root@
hadoop
000~]#cd/etc[root@
hadoop
000etc]#vimy.cnf[mysqld
白面葫芦娃92
·
2023-09-13 14:06
Hadoop
源码阅读(一):NameNode启动
说明:1.
Hadoop
版本:3.1.32.阅读工具:IDEA2023.1.23.源码获取:Indexof/dist/
hadoop
/core/
hadoop
-3.1.3(apache.org)4.工程导入:
THE WHY
·
2023-09-13 14:35
大数据
hadoop
hadoop
大数据
分布式
hbase 启动错误no active master location found 处理
问题描述
hadoop
启动后,启动hbase,进入hbaseshell,执行命令时出现“zookeeperavailable,noactivemasterlocationfound”,进入hbase的管理界面出现
第十只橘猫
·
2023-09-13 10:20
Zookeeper 知多少(一)
官网官方文档上这么解释zookeeper,它是一个分布式服务框架,是Apache
Hadoop
的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理
captainLii
·
2023-09-13 08:46
hadoop
运行WordCount时,Input path does not exist错误原因
修改配置文件core-site.xml为如下所示vim/usr/local/
hadoop
/etc/
hadoop
/core-site.xmlxml文件改为如果将core-site.xml文件变动为原来的内容
摆烂z
·
2023-09-13 08:44
hadoop
前端
大数据
Middleware ❀
Hadoop
功能与使用详解(HDFS+YARN)
文章目录1、服务概述1.1HDFS1.1.1架构解析1.1.1.1Block数据块1.1.1.2NameNode名称节点1.1.1.3SecondaryNameNode第二名称节点1.1.1.4DataNode数据节点1.1.1.5BlockCaching块缓存1.1.1.6HDFSFederation联邦1.1.1.7RackAwareness机架感知1.1.2读写操作与可靠性1.1.2.1写操
无糖可乐没有灵魂
·
2023-09-13 08:13
Middleware
hadoop
hdfs
大数据
yarn
mapreduce
大数据之yarn
目前,
Hadoop
作业调度器主要有三种:FIFO、容量(CapacityScheduler)和公平(FairScheduler)。
十七✧ᐦ̤
·
2023-09-13 06:54
大数据
yarn
hdfs
Zookeeper入门
概述管理
hadoop
体系中的其他框架,负责存储和管理大家都关心的数据,然后接收观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的哪些观察者做出相应的反应
十七✧ᐦ̤
·
2023-09-13 06:19
zookeeper
分布式
大数据
java
Hive——数据库、表的增删改查 (每一步详细代码加截图,傻瓜式教程)
我们安装完Hive,配置好hive-site.xml文件,其中我把hive在hdfs路径设置为hive110/warehouse启动
hadoop
hdfsdfs-chmod-R777/hive110给所有组加最高权限
数据孤岛
·
2023-09-13 04:50
Hive
hive
简单了解Sqoop
文章目录概述数据导入MySQL到HDFSMySQL到Hive增量数据导入数据导出概述sqoop是一款开源工具,主要运用在
Hadoop
(Hive)与传统的数据库(mysql\postgresql等)间进行数据的传递
飞越石之海
·
2023-09-13 04:40
数据治理
sqoop
hadoop
hive
Windows下使用
Hadoop
2.6.0-eclipse-plugin插件
>>>首先说一下本人的环境:Windows764位系统SpringToolSuiteVersion:3.4.0.RELEASE
Hadoop
2.6.0一.简介
Hadoop
2.x之后没有Eclipse插件工具
热情的蘑菇
·
2023-09-13 03:01
hadoop
hadoop
%2x java_
hadoop
2x-eclipse插件编译与安装
首先说一下本人的环境:Windows764位系统SpringToolSuiteVersion:3.4.0.RELEASE
Hadoop
2.6.0一.简介
Hadoop
2.x之后没有Eclipse插件工具,我们就不能在
六间仓库的仓老师
·
2023-09-13 03:01
%2x
java
Amazon S3 Java API测试用例
一、AmazonS3基本概念S3其实是一套接口规范,很多存储都实现了S3这套规范,例如
hadoop
、ranger、hive、ceph等。
-小末
·
2023-09-13 02:54
大数据
AmazonS3
java
Hadoop
Hadoop
是Google的集群系统的开源实现,Google集群系统:GFS(GoogleFileSystem)、MapReduce、BigTable。
凤舞飘伶
·
2023-09-12 23:16
Go
hadoop
1-centOS7搭建伪分布式
之前拍摄快照来备份※.若jdk没安装好或者jdk环境变量配置的有问题,可以用安装之前的快照快速恢复虚拟机1.拍摄快照:2.恢复到某快照的位置:(可以在创建用户前,生成公钥私钥前,安装jdk前,搭建伪分布式
Hadoop
孤独斗士
·
2023-09-12 21:49
hadoop
分布式
上一页
105
106
107
108
109
110
111
112
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他