E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hbase集群安装
DataX同步Hive数据丢失,源码修复
DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、
HBase
、
社会我大爷
·
2023-07-31 05:38
源码解读
hive
big
data
hbase
hdfs
DataX导入与导出数据
Datax安装2、从MySQL导出数据2.1、将MySQL中的student数据库中的student表导入hive中2.1.1、前提准备2.1.2、编写脚本2.1.3、执行脚本2.2、将MySQL中的数据导入
hbase
2.2.1
清梦清河
·
2023-07-31 05:07
数据集成工具
big
data
mysql
hive
hbase
滴滴云使用 DataX 实现 Hive 与 MySQL 数据传输
1.DataX简介:DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SQLServer、Postgre、HDFS、Hive、ADS、
HBase
、TableStore
csldnyd1209
·
2023-07-31 05:06
大数据
数据库
使用DataX实现mysql与hive数据互相导入导出
一、概论1.1什么是DataXDataX是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、
HBase
、FTP等各种异构数据源之间稳定高效的数据同步功能
Bobby Wang
·
2023-07-31 05:35
大数据组件
大数据
HBase
性能优化-读写性能优化
查询优化批量get请求使用批量请求,可以减少RPC的次数,显著提高吞吐量。批量get请求要么成功返回所有请求数据,要么抛出异常。设置Scan缓存一次scan可能会返回大量数据,但是实际客户端发起一次scan请求,并不会将所有数据一次性加载到本地,而是分成多次RPC请求进行加载,这样设计一方面是因为大量数据请求可能会导致网络带宽严重消耗进而影响其他业务,另一方面是有可能因为数据量太大导致客户端发生O
zfylin
·
2023-07-31 05:10
MongoDB
MongoDBNoSQLNotonlySQL性能高,不使用SQL意味着没有结构化存储要求,没有约束之后架构更加灵活列存储,
Hbase
键值存储,redis图像存储Neo4j文档存储,MongoDBMongoDB
极速魔法
·
2023-07-31 04:43
NOSQL-Redis简介
如
Hbase
,Riak文档型数据库:该类型的数据模
true?success:fail
·
2023-07-31 03:44
NOSQL
NOSQL
Hadoop学习笔记之flume Nginx日志收集到
HBase
概述Nginx访问日志形式:$remote_addr–$remote_user[$time_local]“$request”$status$body_bytes_sent“$http_referer””$http_user_agent”例如:192.168.241.1--[02/Mar/2017:15:22:57+0800]“GET/favicon.icoHTTP/1.1”404209“http:
潜流surging
·
2023-07-30 22:48
hadoop
hadoop
hbase
nginx
flume
Hbse单机版 + 外部zookeeper安装配置
1.版本介绍jdk:1.8.0_111zookeeper:3.4.10
hbase
:1.2.62.配置环境变量vi/etc/profile在最下方加入:exportJAVA_HOME=/usr/local
陪你一起debug
·
2023-07-30 21:37
大数据基础入门 ------文章来源于:某个入门课程
(
HBase
)第五课:MapR
8000006808
·
2023-07-30 20:21
大数据
大数据
java
spark
K8S
集群安装
配置教程
K8S安装k8s一:系统设置1.1:关闭防火墙systemctlstopfirewalldsystemctldisablefirewalld1.2:关闭selinuxsed-i‘s/enforcing/disabled/’/etc/selinux/config#永久setenforce0#临时1.3:关闭swapswapoff-ased-ri‘s/.swap./#&/’/etc/fstab1.4:
loveyu2233
·
2023-07-30 18:27
k8s
kubernetes
docker
容器
Zookeeper未授权访问漏洞利用
Zookeeper未授权访问漏洞利用1.漏洞介绍ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和
Hbase
的重要组件。
天猫来下凡
·
2023-07-30 17:13
漏洞挖掘
未授权访问
渗透测试
安全
Pinpoint系列之
Hbase
存储介绍
参考自《
HBASE
总结与实践》xmind转markdown存在图片丢失,源文件下载地址:github
hbase
xmind下载地址系统特性优势容量巨大
HBase
的单表可以支持千亿行、百万列的数据规模,数据容量可以达到
我知他风雨兼程途径日暮不赏
·
2023-07-30 11:30
Windows下安装
HBase
Windows下安装
HBase
一、
HBase
简介二、
HBase
下载安装包三、环境准备3.1、JDK的安装3.2、Hadoop的安装四、
HBase
安装4.1、压缩包解压为文件夹4.2、配置环境变量4.3、
tttzzzqqq2018
·
2023-07-30 07:47
HBase
hbase
数据库
大数据
Zookeeper学习笔记
0、ZooKeeper安装与
集群安装
略。。。1、Zookeeper介绍Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。
CityD
·
2023-07-30 07:29
Java
zookeeper
java
Hbase
BulkLoad用法
要导入大量数据,
Hbase
的BulkLoad是必不可少的,在导入历史数据的时候,我们一般会选择使用BulkLoad方式,我们还可以借助Spark的计算能力将数据快速地导入。
kikiki1
·
2023-07-30 07:26
HBase
整合Phoenix
HBase
整合Phoenix创建软件目录mkdir-p/opt/softcd/opt/soft下载软件wgethttps://dlcdn.apache.org/phoenix/phoenix-5.1.3
李昊哲小课
·
2023-07-30 05:32
人工智能
大数据
Java
hbase
数据库
大数据
hbase
hbase
之shell操作进入
hbase
shell环境在集群入口上执行:
hbase
shell
hbase
常用操作分类系统操作(General)DDL操作DML操作Namespace操作系统操作(general
*赶鸭子上架*
·
2023-07-30 05:32
hbase
数据库
database
HBase
安装
HBase
安装启动zookeeper和hadoop创建软件目录mkdir-p/opt/softcd/opt/soft下载软件wgethttps://archive.apache.org/dist/
hbase
李昊哲小课
·
2023-07-30 05:32
大数据
hbase
hadoop
大数据
HBase
第1章
HBase
简介1.1什么是NoSQL数据库?NoSQL(NotOnlySQL)数据库是一类非关系型的数据库管理系统,用于存储和检索大量结构化或非结构化数据。
让线程再跑一会
·
2023-07-30 05:59
HBase
hbase
数据库
大数据
HBase
协处理器observer
一、简介本文将介绍
HBase
协处理器中的observer,observer协处理器类似于数据库中的触发器,也类似于程序设计中的AOP。
SolidHeart
·
2023-07-30 03:44
hbase
的mr任务报错:due to AM Container for appattempt_1528776097457_0005_000002 exited with exitCode: 1
火山日常啰嗦旨在记录错误,解决错误。错误描述:duetoAMContainerforappattempt_1528776097457_0005_000002exitedwithexitCode:1解决办法:1)执行命令:hadoopclasspath,得到如下结果:2)在yarn-site.xml文件中添加配置项yarn.application.classpath/opt/modules/hado
_火山_
·
2023-07-30 02:19
Apache Impala教程_编程入门自学教程_菜鸟教程-免费教程分享
与ApacheHive相同的元数据、SQL语法、ODBC驱动程序和用户接口(HueBeeswax),可以直接在HDFS或
HBase
上提供快速、交互式SQL查询。
IT民工爱搬砖
·
2023-07-30 01:44
笔记
hbase
数据离线备份与导入
然后导入到新集群的hdfs,在导入到新集群的
hbase
。旧的集群导出数据到hdfs:.
懒惰の天真热
·
2023-07-30 01:40
hbase
hadoop
大数据
收集的Java相关中文文档分享
Spring-Data-Cassandra中文文档Spring-Data-Neo4j中文文档Spring-Data-Mongodb中文文档Spring-Data-Ldap中文文档Spring-Data-Couc
hbase
全栈行动派
·
2023-07-30 00:23
java
java
开发语言
BulkLoad批量导入
Hbase
查询许多资料,有的使用
Hbase
的版本较老,和自己的不符合,自己又改了改,看到一篇不错的文章,分享一下:https://blog.csdn.net/z_xiaozhut/article/details/
百里香香
·
2023-07-29 18:14
【读书笔记】用户画像方法论与工程化解决方案
1)架构层:在画像系统的架构层,本书首先介绍了画像数据仓库的架构,进一步介绍了数据存储的技术选型,在什么场景下使用Hive、MySQL、
HBase
、Elasticsearch等工具存储数据,用户标签开发
若小鱼
·
2023-07-29 12:01
读书笔记
大数据
用户画像
大数据-数仓-数据采集-业务数据(二):全量同步采集【MySQL<-->DataX(全量)<-->HDFS】【每日全量:每天都将业务数据库中全部数据同步到数据仓库,是保证两侧数据同步的最简单方式】
一、第1章DataX介绍1.1DataX概述1.介绍:DataX是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(Mysql、Oracle等)、HDFS、Hive、ODPS、
HBase
u013250861
·
2023-07-29 08:12
#
数据库
大数据
数据仓库
RL 实践(6)—— CartPole【REINFORCE with baseline & A2C】
本文介绍REINFORCEwit
hbase
line和A2C这两个带baseline的策略梯度方法,并在CartPole-V0上验证它们和无baseline的原始方法REINFORCE&Actor-Critic
云端FFF
·
2023-07-29 03:54
#
强化学习
#
实践
A2C
REINFORCE
baseline
策略梯度
基线
Spring boot 打包为war包报错:提示缺少web.xml
打包时报错了,如下:Failedtoexecutegoalorg.apache.maven.plugins:maven-war-plugin:2.2:war(default-war)onprojectx
hbase
-rest
步闲
·
2023-07-28 21:03
HBase
有写入数据,页面端显示无数据量
写了一个测试类,插入几条数据,测试
HBase
的数据量。很简单的功能,这就出现问题了。。网页端可以看到,能够看到读写请求,但是不管是内存、还是磁盘,都没有数据。
five小点心
·
2023-07-28 20:08
#
HBase
#
错误分析
hbase
hbase
(1)-基础
1、
hbase
产生背景hadoop只能执行批量处理,并且只能以顺序方式访问数据,这意味着即使最简单的搜索工作,也必须搜索整个数据集。那么当处理一个庞大的数据集,也是按照顺序处理一个巨大的数据集。
猿累人生
·
2023-07-28 20:38
hbase
数据库
大数据
Clickhouse 用户准入控制与权限分配 附主要配置步骤细节及示例 (主要参考 Clickhouse 官方文档)
主要建设步骤根据Clickhouse官方文档中ManagingUsersandRoles的描述,建设Clickhouse权限机制总共可以分为如下三个步骤:在Clickhouse
集群安装
完成后编辑/etc
田昕峣 Richard
·
2023-07-28 19:59
clickhouse
大数据
数据分析
分布式
数据库
hadoop入门五步走
入门五步走第一步安装hadoop集群1、安装jdk,当前为jdk8,jdk9、10、11由于会移除一些类,导致hadoop
集群安装
失败安装细节不在赘述2、hadoop的安装细节可参考下面这俩篇文章https
勃列日涅夫
·
2023-07-28 17:24
k8s
集群安装
v1.20.9
参考网上资料并将异常问题解决,经测试可正常安装集群。1.我的环境准备本人使用vmwarepro17新建三个centos7虚拟机,每个2cpu,20+GB磁盘存储,内存2GB+,其中主节点的内存3GB,可使用外网.2.所有节点安装Docker#查看系统是否已安装dockerrpm-qa|grepdocker#卸载旧版本dockersudoyumremovedocker*#安装yum工具sudoyum
cc-lady
·
2023-07-28 17:06
kubernetes
容器
云原生
rac安装
ora
集群安装
出现的问题1.hosts问题/etc/hosts文件中127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4
冥净
·
2023-07-28 16:17
oracle
数据库
【无标题】
启动
hbase
查看日志出现如下错误:Causedby:java.lang.IllegalStateException:Multipleresourcesfoundfor'META-INF/native/
love_燕子
·
2023-07-28 12:55
大数据
phoenix
Cassandra2.2.10测试
集群安装
1.2.安装JVM3.OS环境配置:关闭防火墙:serviceiptablesstopvi/etc/sysctl.confvm.zone_reclaim_mode=0vm.max_map_count=262144vm.swappiness=1vi/etc/security/limits.conf*softnofile65536*hardnofile65536*softnproc65536*hard
Q_JacK_Q
·
2023-07-28 10:39
【FusionInsight HD】FusionInsight HD 651安装集群
FusionInsightHD651安装集群FusionInsightHD651安装
集群安装
方案组网方案部署方案安装Manager软件准备生成配置工具说明基础配置选择服务IP规划与进程部署节点信息浮动IP
wux_labs
·
2023-07-28 10:58
大数据技术
大数据
FusionInsight
数据科学
业界内主流图数据库调研
Neo4jTigerGraphOrientDBJanusGraph存储原生图(高)原生图(高)非图,空间浪费比较严重非图查询CypherGSQLSqlGramiln分布式支持Ha不支持分布式存储支持(企业级可扩展)支持支持,依赖Cassandra,
Hbase
Timmer丿
·
2023-07-28 04:13
数据库
neo4j
Andorid 方法数超过64K的问题解决
//Enablingmultidexsupport.multiDexEnabledtrue}在Application里面重写attac
hBase
Context方法:@Overrideprotecte
A_SHUO
·
2023-07-28 03:07
HBase
Flush 机制
定义在
hbase
-site.xml文件##CountofRPCListenerinstancesspunuponRegionServers##一个regionserver可以同时处理的请求个数(包括增删查改
moon_light_
·
2023-07-28 02:33
关于简单介绍Mapreduce,
Hbase
,Kafka,Zookeeper
1.1.zookeeper是干什么的?Zookeeper是分布式协调服务,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等1.2.zookeeper节点类型Znode有两种类型:短暂(ephemeral)(断开连接自己删除)持久(persistent)(断开连接不删除)Znode有四种形式的目录节点(默认是persistent)PERSISTENTPERSISTENT_SEQUENTIA
忍哥
·
2023-07-27 23:49
面试
面试
HBASE
高可用
为了保证
HBASE
是高可用的,所依赖的HDFS和zookeeper也要是高可用的.有关于HadoopHA高可用可参考:https://blog.csdn.net/weixin_44455125/article
荒-于嬉
·
2023-07-27 21:05
Linux
hbase
hadoop
big
data
Redis基础原理
1概念1.1关系型数据库与非关系型数据库对比关系型数据库Mysql、Oralce特点数据之间有关联;数据存储在硬盘上效率操作关系型数据库非常耗时非关系型数据库redis、
hbase
存储key:value
Little-Arya
·
2023-07-27 21:33
redis
数据库
缓存
centos卸载FastDFS
servicefdfs_storagedstop2.通过storage.conf找到base_path和store_path然后删除[root@bogonfdfs]#cat/etc/fdfs/storage.conf|grepbase_pat
hbase
_path
带头大哥1
·
2023-07-27 17:32
docker安装MySQL集群(一主一从)
目录docker安装MySQL集群(一主一从)前菜测试MySQL
集群安装
master容器slave容器master容器配置主从赋值测试docker安装MySQL集群(一主一从)前菜测试1、拉取mysql5.7
生夏夏夏
·
2023-07-27 16:20
docker
mysql
容器
在CSDN学Golang云原生(Kubernetes基础)
一,k8s
集群安装
和升级安装GolangK8s集群可以参照以下步骤:准备环境:需要一组Linux服务器,并在每台服务器上安装Docker和Kubernetes工具。
YKM_2580
·
2023-07-27 08:54
云原生
golang
kubernetes
2019-02-14
hbase
第一步:创建表helloworld第二步:实现方法:第三步:打包第四步:
hbase
shell针对helloworld表alter先disable'helloworld'再执行:alter'helloworld
宇智波_佐助
·
2023-07-27 08:05
ambari+hdp下重装/卸载服务
比如删除hive的日志,为rm-rf/usr/log/hive/*三.部分服务可能需要删除在zookeeper上的节点,比如
hbase
.四.[可能]删除在mysql中相关表
qq_24699905
·
2023-07-27 07:01
ambari
hadoop
大数据
上一页
41
42
43
44
45
46
47
48
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他