HBase、Parrot

python读取hbase

importhappybaseimportpandasaspddefget_hbase_pool(host,size=5):"""获取一个连接池:paramhost:hbase主机ip:return:连接池
venuslf·2023-07-17 16:18

数据库第一章

/非关系型Redis关系型数据库（二维表格模型）：Oracle,MySQL,SQLServer,Access非关系型数据库：MongoDB，Redis，Solr，ElasticSearch，Hive，HBase
码海串游·2023-07-17 16:25

主从架构的hbase读写经过master进程吗？

1.hbase的整体架构图1.hbse是一个高效的、可靠的、可扩展的关系型数据库。
whiteblacksheep·2023-07-17 16:49

大数据笔记--HBase（第二篇）

目录一、Hbase的基本架构1、HRegion2、Zookeeper的作用3、HMaster4、HRegionServer5、Compaction机制二、Hbase的架构读写流程1、概念2、写流程3、读流程三
是小先生·2023-07-17 16:19

Hbase_Hbase的读写流程&Region管理&Master工作机制

标题1.读写过程2.Region管理3.Master工作机制Hbase运行架构图1.读写过程1、读请求过程：(1)HRegionServer保存着meta表以及表数据，要访问表数据，首先Client先去访问
_WeiA·2023-07-17 16:18

大数据：HBase 集群搭建（master、slave1和slave2）

文章目录HBase简介HBASE安装环境搭建一，环境配置（1）配置虚拟机网络模式（2）配置虚拟机静态IP（3）SSH设置和密钥生成二，Java安装三，Hbase安装（1）下载hbase（2）配置hbase
梁辰兴·2023-07-17 16:46

HBase2.x（七）Master 架构

文章目录1）Meta表格介绍：（警告：不要去改这个表）全称hbase：meta，只是在list命令中被过滤掉了，本质上和HBase的其他表格一样。
Alienware^·2023-07-17 16:14

python try打印完整错误信息

importsystry:int("qwer")exceptValueErrorase:print(sys.exc_info())输出：(,ValueError("invalidliteralforint()withbase10
M_qsqsqsq·2023-07-17 11:54

HBase v2.2 高可用多节点搭建

最近刚刚完成了HBase相关的一个项目,作为项目的技术负责人,完成了大部分的项目部署,特性调研工作,以此系列文章作为上一阶段工作的总结.前言其实目前就大多数做应用的情况来讲,我们并不需要去自己搭建一套HBase
匆匆z2·2023-07-17 08:41

脚本调度Kylin之创建篇

那么，就是Kylin了，Kylin基于Hive、HBase等架构之上，可以基于Hive进行数据的多维度的数据预处理，并把结果存储到
JackKuang·2023-07-17 07:27

mysql 简介

非关系型数据库Nosql(不是没有sql，是比关系型数据库更加强大的数据库)：Mongodb，Redis，HBase....关系型数据库Rdbms：(1).表table：具有固定的列数和任意的行数。
风雨声豪入梦中·2023-07-17 04:29

如何避免安全部扫描出来的高危端口

问题描述在公司可能会遇见，自己搭建的一套环境，有可能是业务服务，也有可能是外部组件（有可能是公司没有专门维护这套组件的团队，也有可能是不能用，不好用等情况），比如：HDFS、HBase、Yarn、Spark
帅东·2023-07-17 03:34

Hive on Hbase 的性能问题

hbase是NoSql数据库，可以做oltp，hive是基于mapReduce的sql查询引擎，可以做大数据分析；hive提供了与hbase整合的机制，也就是hiveonhbase机制，以外表的方式查询
NazgulSun·2023-07-16 10:43

phoenix 报错：ClassNotFoundException: org.apache.phoenix.hbase.index.IndexRegionObserver

使用phoenix连接hbase报出了以下错误：出现这个错误的原因是，phoenix-server以及phoenix-core这两个jar包没有没有放到hbase-regionserver的lib下。
兔帮大人·2023-07-16 04:46

Apache Phoenix（1）：Phoenix介绍

提供标准的SQL以及完备的ACID事务支持通过利用HBase作为存储，让NoSQL数据库具备通过有模式的方式读取数据，我们可以使用SQL语句来操作HBase，例如：创建表、以
不死鸟.亚历山大.狼崽子·2023-07-16 04:11

Hbase - 自定义Rowkey规则

>在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制`TableInputFormat`来实现我们的需求了，我们还可以采用Flink的`DataSet`的方式读取,另外下面还有`Spark`读取的例子。##使用教程Md5Util.java```importorg.apache.commons.codec.binary.Hex;importjav
kikiki5·2023-07-16 04:17

5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）

1、DataX简介1.1DataX概述DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
星光下的赶路人star·2023-07-16 03:06

hadoop -- Hbase

HBase是一个分布式、可扩展、面向列的数据存储（百万级别列）、可伸缩、高可靠性、实时读写的NoSQL数据库。
三水写代码·2023-07-16 02:22

基于Hadoop的MapReduce网站日志大数据分析（含预处理MapReduce程序、hdfs、flume、sqoop、hive、mysql、hbase组件、echarts）

需要本项目的可以私信博主！！！本项目包含：PPT，可视化代码，项目源码，配套Hadoop环境（解压可视化），shell脚本，MapReduce代码，文档以及相关说明教程，大数据集！本文介绍了一种基于Hadoop的网站日志大数据分析方法。本项目首先将网站日志上传到HDFS分布式文件系统，然后使用MapReduce进行数据预处理。通过使用Hive进行大数据分析，我们能够对网站的PV、独立IP、用户注册
王小王-123·2023-07-16 00:44

Hbase - 迁移数据[导出,导入]

有没有这样一样情况，把一个集群中的某个表导到另一个群集中，或者hbase的表结构发生了更改，但是数据还要，比如预分区没做，导致某台RegionServer很吃紧，Hbase的导出导出都可以很快的完成这些操作
大猪大猪·2023-07-15 17:13

phoenix安装和使用

由于Hbase当中的数据查询方式比较单一，查询形式比较固定，所以实际工作当中一般都会对Hbase实现二级索引的开发，通过二级索引去更加方便快速的查询Hbase当中的数据，我们也可以通过phoenix与Hbase
我还不够强·2023-07-15 16:39

Couchbase使用入门

公司中用到couchbase，但是发现，关于couchbase的教程很少，再此，做一个整理。
pqw24文哥·2023-07-15 12:30

Meta Path Based Random Walk复现思路【基于元路径的随机游走模型】

title:MetaPathBasedRandomWalkdate:2022-02-1300:43:08tags:NLP的一些收获课题原因需要复现ARNN模型。
hhy不许摸鱼·2023-07-15 12:23

Hbase2 基于hdfs恢复数据及迁移

故障描述某客户因为数据表数量过多，导致HBaseMaster无法初始化完成。根据日志判断为Meta错误。故障分析客户频繁操作HBaseMaster导致混乱，加载失败。
Mumunu-·2023-07-15 11:02

【FusionInsight HD】FusionInsight HD 651客户端安装

FusionInsightHD651客户端安装FusionInsightHD651客户端安装客户端下载客户端安装解压软件配置网络安装软件验证安装添加认证用户下载用户凭据上传用户凭据验证用户认证客户端验证Hive操作验证HBase
wux_labs·2023-07-15 08:35

hbase基础(四)——MapReduce操作

Map阶段2、Reduce阶段3、Driver阶段4、结果查询三、HDFS——MapReduce操作21、Map阶段2、Reduce阶段3、Driver阶段4、结果查询一、前言本篇文章主要分享，编写简单的hbase
雨诺风·2023-07-15 07:19

hbase报错org.apache.hadoop.hbase.client.RetriesExhaustedException: Cannot get the location for replica

目录一、前言二、解决方法一、前言本次异常是在执行读取hdfs中的数据导入到hbase表中所报的错误，笔者初步判断为没有在代码中指定zookeeper访问地址所导致的问题。
雨诺风·2023-07-15 07:19

【hadoop】常见期末考试客观题大全

文章目录一、选择题二、HBase核心知识点三、HBase高级应用介绍四、关于hadoop的选择题五、MapReduce多选题：判断题：一、选择题以下哪一项不属于Hadoop可以运行的模式C。
lanbabela·2023-07-15 06:50

hadoop集群搭建教程

目录集群规划所需软件包地址开始安装linux篇添加用户与用户组hadoop用户添加sudo权限配置hostname名称编辑hosts配置免密安装jdk1.8hadoop集群篇安装zookeeper安装hadoophbase
冰帆<·2023-07-15 01:09

Spark编程-RDD

例如：从本地文件加载数据集，或者从HDFS文件系统、HBase等外部数据源中加载数据集。
Matrix70·2023-07-14 22:31

大数据开发环境-Hbase

1.启动之前需要确保hadoop启动#查看Hadoop是否已经正常启动:start-all.shjps2.启动Hbase
三三木木七·2023-07-14 22:57

Non-Local Video Denoising by CNN

摘要Non-localpatchbasedmethodswereuntilrecentlystate-of-the-artforimagedenoisingbutarenowoutperformedbyCNNs.Yettheyarestillthestate-of-the-artforvideodenoising
小钊_·2023-07-14 22:35

大数据NoSQL数据库HBase集群部署——详细讲解~

大数据NoSQL数据库HBase集群部署简介HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。和Redis一样，HBase是一款KeyValue型存储的数据库。
懒羊羊夸夸~·2023-07-14 19:37

Hbase - kerberos认证异常

>之前怎么认证都认证不上，问题找了好了，发现它的异常跟实际操作根本就对不上，死马当活马医，当时也是瞎改才好的，给大家伙记录记录。```KrbException:ServernotfoundinKerberosdatabase(7)-LOOKING_UP_SERVER>>>KdcAccessibility:removestorm1.starsriver.cnatsun.security.krb5.K
kikiki4·2023-07-14 18:00

Scala - shell 使用外部包方法

我们可以使用scalashell做很多事情，比如测试一些demo，不用再打开idea那类那么重的编辑器，当然还有其它用法，像我们使用hbase有这样的问题，只是想测试hbase一些东西，但是每次连接hbase
kikiki1·2023-07-14 14:40

Apache Kudu 学习

ApacheKudu学习一、背景二、kudu架构一、背景HDFS：吞吐能力极强，但是随机读写能力差，适合进行批处理数据分析HBase：随机读写能力极强，但是吞吐能力差，适合做随机分析处理。
牵梦u·2023-07-14 13:44

分布式应用之zookeeper集群+消息队列Kafka

一、zookeeper集群的相关知识1.zookeeper的概念ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase
瓜皮小菜·2023-07-14 13:59

Python实现PDF转图片

envpython3#-*-coding:utf-8-*-importhashlibimportosfrompathlibimportPathfrompdf2imageimportconvert_from_pathBASE_DIR
qq_35590003·2023-07-14 10:17

分布式数据库HBase，它到底是怎么组成的？

Hadoop中的HDFS解决了数据存储的问题，而HBase就是在HDFS上构建，因此Hbase既能解决大数据存储的问题，又能解决数据实时查询的问题。是什么HBase是一个高可靠、高性能
熊小哥~·2023-07-14 08:49

Java连接HBase

Java连接HBase的方法，包含Kerberos认证。
邢为栋·2023-07-14 07:28

【搜索引擎Solr】Solr：提高批量索引的性能

完整索引器是Box从头开始创建搜索索引的过程，从hbase表中读取我们所有的文档并将文档插入到Solr索引中。我们根据id对索引文档进行分片，同样的文档id也被用作hbase表中的key。
超级架构师·2023-07-14 07:27

HBase性能调优（二）

Hbase性能调优（二）_开着拖拉机回家的博客-CSDN博客Hbase性能调优（一）_开着拖拉机回家的博客-CSDN博客目录一、通用优化二、Linux优化三、HBase优化1、修改zookeeper配置
开着拖拉机回家·2023-07-14 00:57

sqoop or datax

款优秀的数据同步工具，备受数据开发人员喜爱，如何选择也是件非常头疼的事，下面就这两种工具来分析分析吧...2sqoop1定义sqoop是apache旗下一款“Hadoop中的各种存储系统（HDFS、HIVE、HBASE
大数据私房菜·2023-07-13 21:57

云计算期末复习

云计算Hbase应用和Json文件容器镜像K8SK8S中部署镜像云计算资源管理自建一个JSON文件Hbase应用和Json文件常用的Hbaseshell命令help-显示可用的HBaseshell命令列表
WE xiye·2023-07-13 20:27

2018-09-26安装并连接

1、安装完成之后可以在服务端打开$HBASE_HOME/bin/hbaseshell进入进行创建表以及查询表，说明安装成功。
云南金大玉·2023-07-13 19:43

Hadoop的核心组件HDFS架构是怎样的？有什么优缺点？今天我们来聊下

就是因为这两个的存在，才会衍生出Spark、MapReduce、HBase等组件。今天我们就来聊下HDFS的核心原理。概念HDFS是
熊小哥~·2023-06-24 10:02

Hbase安装遇到问题及如何解决

进行hbase伪分布式模式配置，hadoop版本2.10.0，hbase版本1.6.0（1.5.0同），按照相应的教程（http://dblab.xmu.edu.cn/blog/install-hbase
·2023-06-24 10:42

Hbase - kerberos认证异常

>之前怎么认证都认证不上，问题找了好了，发现它的异常跟实际操作根本就对不上，死马当活马医，当时也是瞎改才好的，给大家伙记录记录。```KrbException:ServernotfoundinKerberosdatabase(7)-LOOKING_UP_SERVER>>>KdcAccessibility:removestorm1.starsriver.cnatsun.security.krb5.K
kikiki4·2023-06-24 09:27

《HBase原理与实战》读书笔记-基础数据结构与算法

HBase的列族本质上就是一棵LSM树（Log-StructuredMerge-Tree）。LSM树分为内存部分和磁盘部分。
吞吞_c599·2023-06-24 06:38

从元数据角度来认识大数据

元数据管理系统是收集线上db、solor集群、hbase集群和hive集群的元数据信息
·2023-06-24 05:57
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他