HBase、Parrot

了解Hbase吗？说下Hbase的架构原理

了解Hbase吗？说下Hbase的架构原理了解Hbase吗？说下Hbase的架构原理我是精神抖擞王大鹏，不卑不亢，和蔼可亲~计算机硕士，目前小米大数据开发。
精神抖擞王大鹏·2023-04-17 17:21

docker上部署habeas

拉取镜像到本地sudodockerpullharisekhon/hbase-dev:2.1#pull拉取#harisekhon/hbase-dev镜像名#2.1TAG版本列出本地主机上的镜像sudodockerimages
书香恋仁心·2023-04-17 14:40

HBase性能优化方法总结

1.表的设计1.1Pre-CreatingRegions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个
我是渣渣华·2023-04-17 14:08

京东开源RaftKeeper性能超越ZooKeeper！

背景介绍成百上千台服务器组成的分布式系统中，服务器故障或网络抖动会随时发生，有时会导致严重的系统崩溃，为解决如上问题，雅虎开源了ZooKeeper分布式协调服务并在2010年成为Apache顶级项目，是Hadoop、HBase
Coder李海波·2023-04-17 14:16

大数据知识点记录

1、工具：大数据知识点记录_江湖行骗老中医的博客-CSDN博客HUE相当于Navicat的一个工具kudu（数据库）------>impalaHbase（数据库）------>HiveAzkaban调度
Jack_2085·2023-04-17 13:45

解决SSH登录时出现Warning: Permanently added告警问题

问题:hbase0slave01:Warning:PermanentlyaddedtheECDSAhostkeyforIPaddress'xxx.xxx.xxx.xxx'tothelistofknownhosts
小菜菜ovo·2023-04-17 07:02

Cassandra在海量数据存储及大型项目案例介绍-part3

国内大多数公司和开发者对Mongodb和Hbase推崇备至，这是因为MongoDB进入了国内市场并建立了中文社区，而Hbase在阿里的大范围使用和推广下培养了一大批用户和公开材料。
思通数科x·2023-04-17 04:23

sparkstreaming将offset存到hbase

之前一直将offset存到zookeeper，由于streaming程序会对zk有大量的读取操作，故将offset存到zk不太好，现已将offset都改到hbase中kafka版本：0.10.2.0spark
码仙丶·2023-04-17 00:00

CDH大数据平台入门篇之搭建与部署

一、CDH介绍1.CDH是一个强大的商业版数据中心管理工具提供了各种能够快速稳定运行的数据计算框架，如Spark；使用ApacheImpala做为对HDFS、HBase的高性能SQL查询引擎；使用Hive
啊 这·2023-04-17 00:39

一篇文章带你彻底了解java分布式

对于笔者来说，学习java的根本动力就是分布式开发，特别是apache下面的hadoop、hdfs、hbase，这些基本是分布式开发的标配。那么这篇文章笔者就来和大家一起聊聊分布式吧！
小王学java·2023-04-16 23:30

大数据 | HBase基本工作原理

前文回顾：MapReduce基本原理目录HBase基本介绍HBase的设计目标和功能特点HBase在Hadoop中的生态环境HBase的数据模型逻辑数据模型物理存储格式HBase基本构架HBase数据存储管理方法
啦啦右一·2023-04-16 20:23

ES、MongoDB、HBase的区别和使用场景

ES、MongoDB、HBase的区别和使用场景技术优点缺点使用场景选型ES支持全文搜索可以自动建立索引复杂查询性能高字段类型无法修改不支持mapReduce写入性能较低、硬件资源消耗高没有细致的权限管理各节点数据的一致性问题日志分析
码农小石头·2023-04-16 19:45

咱们一起聊聊Zookeeper

根据MapReduce，于是我们有了Hadoop；根据GFS，于是我们有了HDFS；根据BigTable，于是我们有了HBase。
java欧阳丰·2023-04-16 18:01

Hbase之rowkey设计原则和方法

Hbase之rowkey设计原则和方法a.设计原则1避免使用递增行键/时序数据如果ROWKEY设计的都是按照顺序递增（例如：时间戳），这样会有很多的数据写入时，负载都在一台机器上。
寞逍遥·2023-04-16 12:16

hbase存储相关浅析

Hbase存储相关介绍RegionServer:不同Region数据互斥（Table+StartKey+Time）；Region数量不能低于集群节点数量数据的高可用：内存通过HLog及MemStore实现数据的高可用
佛系小懒·2023-04-16 11:33

HBase架构篇 - Hadoop家族的天之骄子HBase

HBase的基本组成结构表（table）HBase的数据存储在表中。表名是一个字符串。表由行和列组成。行（row）HBase的行由行键（rowkey）和n个列（column）组成。
等後那场雪·2023-04-16 08:14

stop-hbase.sh no zookeeper to stop because no pid file /tmp/hbase-hadoop-zookeeper.pid

关闭hbase时，发现这样的提示：nozookeepertostopbecausenopidfile/tmp/hbase-hadoop-zookeeper.pid原因：无法找到zk.pid文件，可能是由于放到
JavaShooter·2023-04-16 08:14

HBase中的RIT机制

HBase中的RIT机制一、背景某日，HBase中部分RegionServer节点宕机。当时宕机的时候，考虑到往常的经验，马上就去CDH上重启该RegionServer节点。
JackKuang·2023-04-16 08:36

【HBase-读写流程】HBase的读写流程与内部执行机制

【HBase-读写流程】HBase的读写流程与内部执行机制1）HBase读取数据流程1.1.文字描述1.2.流程图2）HBase写入数据流程2.1.文字描述2.2.流程图3）flush机制与compact
bmyyyyyy·2023-04-16 07:09

借鉴水塘抽样算法的一种解决思想

1背景关于水塘抽样的算法原理此处不再说明了,本文重点是针对它的一种应用场景,具体算法原理可参考水塘抽样算法原理2问题:在编写Spark程序时,鉴于内存等资源不够,然而Hbase数据量又十分巨大(100亿数据
kason_zhang·2023-04-16 03:32

大数据1 简介

1.大数据的核心工作：•存储：妥善保存海量待处理数据•计算：完成海量数据的价值挖掘•传输：协助各个环节的数据传输2.大数据软件生态•存储：ApacheHadoopHDFS、ApacheHBase、ApacheKudu
像影子追着光梦游_·2023-04-16 02:18

大数据应用——hbase shell操作

HBase逻辑结构HBase物理存储结构数据模型1）NameSpace命名空间，类似于关系型数据库的DatabBase概念，每个命名空间下有多个表。
肉肉肉肉肉肉~丸子·2023-04-16 01:23

Hbase BulkLoad用法

要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。
大猪大猪·2023-04-16 01:14

Hbase写超时常见原因及AsyncFsWAL原理

Hbase常见写超时原因原因1：MemStore的内存大小占用超出了阈值，导致写入阻塞一般来说Memstore内存大量增大的原因是由于内存的数据来不及flush到HDFS中，这种情况下可以检查下HFile
lixia0417mul2·2023-04-15 20:15

Hbase 表设计

一.写一个查询人的通话记录首先要写一个表写表第一步就是定RowKey但是一定要注意他是字典序你这边查的是某个人的某一时间段的通话记录，那rowkey肯定是电话号+时间戳的结合其次是你拿到的信息，最近通话肯定在最上面，所以要么给时间戳取反要么用一个long.max-时间戳除此之外，为了实现负载均衡，要么对电话号进行取哈希，使他会散列在不同的regionserver，要么对电话号取反，因为大家的电话号
代码健身摩托gucci上海·2023-04-15 20:23

IDEA连接HBase

新建maven工程打开pom.xml添加hbase需要的依赖org.apache.hbasehbase-client2.3.5org.apache.hbasehbase-server2.3.5importorg.apache.hadoop.conf.Configuration
curtime·2023-04-15 17:04

一次完整的大数据环境搭建——Hbase 安装

所用软件版本号hbasehbase-1.2.4-bin.tar.gz1、Hbase安装（1）同样先建立工作路径/usr/hbase，然后将/opt/soft（跟本系列原来文章一样需要安装的文件均放在该路径下
lg的精神食粮·2023-04-15 16:26

Mysql之中间件Mycat实现读写分离

1000万的表进行分片，最大支持1000亿的单表分片多租户应用，每个应用一个库，但应用程序只连接Mycat，从而不改造程序本身，实现多租户化报表系统，借助于Mycat的分表能力，处理大规模报表的统计替代Hbase
chiu莓·2023-04-15 14:33

CHD网卡问题的影响

CHD网卡问题的影响1.问题起因:有开发同学访问hbase的时候,开30个线程,每个线程2k条查询,每次都报错,上个月跑的时候还是可以的后来我自己单线程,1k条访问倒是可以跑出来的,就是太慢了,不满足时效性的要求一开始以为是本地性比较差
天之見證·2023-04-15 11:49

hbase，hdfs？

hbase使用lsm数，所以写性能好，但是列存储写性能比行存储差？
蓝天_3e88·2023-04-15 09:37

【HBase】安装HBase集群（3台主机）

HBase的安装1.解压将下载好的HBase文件上传到Hadoop集群中的master节点tar-zxvfhbase-1.3.1-bin.tar.gz-C/home/hadoop/2.修改HBase的配置文件
zhouwhui椆·2023-04-15 08:03

Linux实战——Zookeeper集群安装部署

Zookeeper集群安装部署简介ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。
会不了一点·2023-04-15 07:04

OpenTSDB简介

DB这个词很有误导性，其实并不是一个db，单独一个OpenTSDB无法存储任何数据，它只是一层数据读写的服务，更准确的说它只是建立在Hbase上的一层数据读写服务。
击水三千里·2023-04-15 07:31

Hbase之Spark通过BlukLoad的方式批量加载数据到HBase中

目录BlukLoad定义BlukLoad优点BlukLoad原理BlukLoad两种方式单列多列命令行终端方式
击水三千里·2023-04-15 07:01

DataX 快速入门

DataX概述及安装DataX是被广泛使用的数据同步工具，由阿里巴巴集团使用Java和Python开发，实现了包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase
珺王不早朝·2023-04-15 05:17

该系列文章的意思

在这边实习一个月了陷入了一个比较尴尬的时期，因为来实习之前从事的是微信小程序开发,没接触过java开发相关知识，所以这个月很多的学习相关背景知识，明白了redis，spring,maven，springboot，hbase
刘荣杰·2023-04-15 04:53

hive-hbase-hdfs导数据

1.hbase数据关联hive外部表createexternaltablehive_hbase_test1(idstring,addressstring,ageint,genderstring,namestring
排骨mq·2023-04-15 02:02

大数据面试题汇总

hbaseHbase系统架构Hbase数据模型HBasevsRDBMSHBaserowkey设计原则HBase预分区HiveHiveorder/sort/distribute/clusterby有什么区别
CodeYangX·2023-04-15 01:50

基础总结-redis

nosql产品reidsmongodbmembasehbaseredis优势redis开源免费redis支持数据的持久化redis支持丰富的数据类型,string,list,set,zset,hashredis
xc2023·2023-04-15 00:16

centos7虚拟机在集群zookeeper上面配置hbase的具体操作步骤

单节点伪分布配置教程卸载centos7自带的jdk的操作步骤centos7配置zookeeper本地模式与集群模式的详细教程centos7虚拟机配置集群时间同步的操作步骤文章目录系列文章目录文章目录前言一、hbase
张小鱼༒·2023-04-14 23:11

Hadoop安装

建议使用版本hadoop2.7.1+hbase1.2.1+hive2.0.0+zookeeper3.4.8这里我使用的hadoop2.8，但是hadoop2.8并不支持base1.0之后的版本推荐使用Hadoop2.7
比基尼海滩章鱼哥·2023-04-14 23:05

Hbase 知识要点归总

一、HBaseGet流程1.1、客户端流程解析客户端首先会根据配置文件中zookeeper地址连接zookeeper，并读取//meta-region-server节点信息，该节点信息存储HBase元数据
w1992wishes·2023-04-14 20:23

Hbase1：HBase全分布模式安装

HBase环境搭建有三种方式：1.本地模式：只需要一个节点（只有HMaster，没有HRegionServer），不需要集成ZooKeeper，数据存储在本地文件系统上；2.伪分布模式：只需要一个节点（
勇于自信·2023-04-14 16:22

day14_数据迁移

数据迁移目标能够描述项目数据迁移的方案了解hbase的特点能够熟悉数据迁移中的数据包装和转换能够完成文章数据的全量和增量迁移能够完成热点文章数据的迁移1为什么需要自动同步因为我们Mysql保存着我们爬取的以及自建的数据
啊噗、·2023-04-14 14:09

双11特刊｜十年磨一剑，云原生多模数据库Lindorm 2021双11总结

前言2021年，转眼Lindorm已经在阿里发展了十年的时间，从基于HBase深度改造的Lindorm1.0版本，到全面重构，架构大幅升级的Lindorm2.0版本；从单一的宽表引擎，到支持搜索、时序、
阿里云技术·2023-04-14 13:51

hadoop环境搭建(jdk hdfs yarn hive zookeeper kafka hbase kylin )

添加hsotvim/etc/hosts123.123.123.123kylin1123.123.123.125kylin3123.123.123.124kylin2修改主机名#命令方式修改从新连接后生效，重启会重置hostnamectlset-hostname主机名#修改/etc/hostname防止重启以后重置vim/etc/hostname配置主机秘钥ssh-keygen-trsa复制主机秘钥
爱写代码的菜鸟·2023-04-14 11:48

hbase整合hive

Hbase是被设计用来做K-V查询，但有时候也会遇到基于Hbase表的复杂统计，写MR很不方便。hive考虑到这一点，提供了操作Hbase表的接口。
风暴之芽·2023-04-14 09:28

ES和hbase比较

https://blog.csdn.net/qq_44078226/article/details/107900034
xuxw·2023-04-14 02:13

Phoenix开启schema对应Hbase中的namespace

1.开启schema与namespace的对应关系如果使用了hbase中的自定义namespace，不仅仅使用default，那么在phoenix中与之对应的是schema的概念，但是默认并没有开启，需要在
让优秀成为你的习惯·2023-04-13 23:31

Chapter4 分布式数据库HBase

4.1概述4.1.1从BigTable说起HBase是BigTable的开源实现。BigTable是一个分布式存储系统，它最初是用于解决谷歌公司内部的大规模网页所搜问题。
今晚滿天星·2023-04-13 23:22
上一页 44 45 46 47 48 49 50 51 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他