HBase、Parrot

uni-app base64转图片

pathToBase64pathToBase64(path).then(base64=>{console.log(base64)}).catch(error=>{console.error(error)})base64ToPathbase64ToPath
冰海恋雨.·2023-08-13 01:23

Hbase报错The node /hbase is not in ZooKeeper解决

今天在安装hbase（1.2.3）单机版，安装完毕启动没有问题，但是在运行hbaseshell执行命令的时候却抛出了异常，经过google后解决了问题，问题如下：比如：执行list命令：1.ERROR:
里仁有邻·2023-08-13 01:48

beego中session使用

是在服务器端实现的一种用户和服务器之间认证的解决方案，beego内置了session模块，目前session模块支持的后端引擎包括memory、cookie、file、mysql、redis、couchbase
b77bb494e846·2023-08-12 23:56

SparkSQL－从DataFrame说起

转自：http://hbasefly.com/2017/02/16/sparksql-dataframe/写在文章之前本着更好地理解大数据生态圈的本意以及工作的需要，前段时间熟悉了SQL查询引擎SparkSQL
严国华·2023-08-12 18:52

史上最全！大数据开源框架技术扫盲

文件系统（HDFS、GPFS、Ceph、GlusterFS、Swift、BeeGFS、Alluxio）资源调度（YARN、Mesos、）协调框架（ZooKeeper、Etcd、Consul）数据存储（HBase
hanxiaolaa·2023-08-12 16:22

Impala内存优化

一.引言Hadoop生态中的NoSQL数据分析三剑客Hive、HBase、Impala分别在海量批处理分析、大数据列式存储、实时交互式分析各有所长。
香山上的麻雀·2023-08-12 13:30

Hbase - kerberos认证异常

>之前怎么认证都认证不上，问题找了好了，发现它的异常跟实际操作根本就对不上，死马当活马医，当时也是瞎改才好的，给大家伙记录记录。```KrbException:ServernotfoundinKerberosdatabase(7)-LOOKING_UP_SERVER>>>KdcAccessibility:removestorm1.starsriver.cnatsun.security.krb5.K
kikiki5·2023-08-12 03:11

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark读取的例子。使用教程Md5Util.javaimportorg.apache.commons.codec.binary.Hex;importjava.security.M
kikiki2·2023-08-12 01:43

本地安装hadoop及其依赖组件

安装目录以及各个版本大数据安装版本软件版本备注hadoophadoop-3.3.4hdfs基础sparkspark-3.2.4-bin-hadoop3.2计算框架zookeeperapache-zookeeper-3.5.7-bin分布式服务器hbasehbase
yyyyjinying·2023-08-11 22:01

Hbase安装

1.Zookeeper正常部署首先保证Zookeeper集群的正常部署，并启动：[[email protected]]$bin/zkServer.shstart[[email protected]]$bin/zkServer.shstart[[email protected]]$bin/zkServer.shsta
静宸丶水默含声·2023-08-11 21:11

Hbase读流程解析

Hbase读写流程解析（总括）上节课我们详细说明了Hbase的架构，包括HMaster,HRegionServerf(RS),Hlog,HRegion,Store及HFile各自的作用，本节详细解析hbase
hoose·2023-08-11 14:22

Hbase伪分布式搭建与完全分布式搭建

1、伪分布式搭建伪分布式配置hbase.rootdir配置的本地的文件系统路径。也就是将来hbase文件被flush成文件的存放地址，区别于hdfs分布式文件系统。
南宫萧言·2023-08-11 08:23

RISC-V公测平台发布 · 使用YCSB测试SG2042上的MySQL性能

在之前的MC文章中也提到过这个，如果没看过的读者可以去看看之前MC那一期），主要用于云端或者服务器端的数据库性能测试工具，其内部涵盖了常见的NoSQL数据库产品，如Cassandra、MongoDB、HBase
深圳王哥·2023-08-11 07:46

Zookeeper面试题整理含答案

zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是googlechubby的开源实现，是hadoop和hbase的重要组件。
WeChat——E·2023-08-11 06:28

基于requests、urllib实现简单分页爬虫（包含登录验证）

简介实现登录认证、cookie管理，分页获取爬取数据requests库importrequestsimportsys,json,logging,base64,mathbase_url='https://
白杆杆红伞伞·2023-08-11 05:13

docker加载本地镜像

打包镜像dockersavecouchbase>couchbase.tarxz-9couchbase.tar//这一步应该不是必须加载镜像dockerload<couchbase.tar.xz
马丁的早辰·2023-08-11 02:34

spark读取hive phoenix映射

背景最近在调研Kyuubi，由于原有作业中有使用Hive读取Phoenix映射表因此需要做一些适配.过程适配不需要改动代码，只需要拷贝相关jar到sparkjars中即可(phoenix以及hbase)
ThomasgGx·2023-08-10 18:51

复盘一次生产问题

问题是这样的：HBase的一些节点挂了，导致一些数据丢失。丢失数据的客户来授信或者借款，都会卡件。在确定数据短时间没法恢复时，就决定从系统的层
LieBrother·2023-08-10 16:18

编程资料汇总

一、大数据大数据入门资料介绍：Hadoop、Hive、Spark、Storm、Flink、Hbase、Kafka、Zookeeper、Flume、Sqoop、Azkaban的简介、使用、基本结构组成。
v2hoping·2023-08-10 13:28

搭建一个高可用的Zookeeper环境

根据MapReduce，于是我们有了Hadoop；根据GFS，于是我们有了HDFS；根据BigTable，于是我们有了HBase；而在这三篇论文里都提及Google的一个lockservice---Chubby
Vernon·2023-08-10 11:30

借助hive快速导数据到hbase（02）

上一篇咱们讲了通过hive映射为hbase表导数据，这儿我么再讲一下通过hive，使用hbase原生jar生成hfile再bulkload到hbase，可以做到hive解偶本篇适用于适用于数据量较大的场景
大酱游说大数据·2023-08-10 11:11

JAVA实战（一）IDEA用maven创建springMVC项目和配置

最近做用户画像需要使用API的方式访问hbase表，这里构建使用javaweb项目使用java语言进行API开发，这里简单回顾下javaweb的构建方式。
sheep8521·2023-08-10 09:45

移植ffmpeg到arm(ffmpeg x264 x265)

/bin/shBASE=`pwd`BUILD_HOST=arm-linux-gnueabihfOUTPUT_PATH=${BASE}/arm-installOTHER_LIB=${OUTPUT_PATH
sdsszk·2023-08-10 04:03

系统学习Linux-Redis基础

、redis概述NoSQL（非关系型数据库、内存存储）类型文档型数据库（Document-orienteddatabase）如MongoDB；列族数据库（Column-familydatabase）如HBase
李维佳1212·2023-08-10 03:51

OceanBase-一款功能无敌的多模数据库

列式NoSql（代表----HBase）：支持海量无限级数据源的存储。运维复杂文档型NoSq
小强的进阶之路·2023-08-09 16:47

14_基于Flink将pulsar数据写入到HBase

3.7.基于Flink将数据写入到HBase3.7.1.编写Flink完成数据写入到Hbase操作,完成数据备份,便于后续进行即席查询和离线分析3.7.1.1.HBase基本介绍hbase是基于Google
涂作权的博客·2023-08-09 10:30

HBase API

环境准备新建Maven项目，导入Maven依赖org.apache.hbasehbase-client2.4.171、创建连接HBase的客户端连接由ConnectionFactory类来创建（工厂模式直接创建
让线程再跑一会·2023-08-09 10:59

Ambari架构源码解析【转载】

Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。
岁月的眸·2023-08-09 01:31

HBase-组成

region的拆分RegionServer负责数据cell的处理，例如写入数据put，查询数据get等拆分合并Region的实际执行者，由Master监控，由regionServer执行ZookeeperHBase
青云游子·2023-08-09 01:01

HBase Shell 操作

1、基本操作1.1、进入HBase客户端命令行前提是先启动hadoop集群和zookeeper集群。
让线程再跑一会·2023-08-09 01:00

HBase-写流程

写流程顺序正如API编写顺序，首先创建HBase的重量级连接（1）读取本地缓存中的Meta表信息；（第一次启动客户端为空）（2）向ZK发起读取Meta表所在位置的请求；（3）ZK正常返回Meta表所在位置
青云游子·2023-08-09 01:00

详解kafka消息分区机制原理

比如monogodb,es里面叫做shard;hbase叫region,cassdra叫vnode;消息的三层结构如下图：即topic->partition->message;topic是逻辑上的消息容器
Danial Shen·2023-08-08 07:24

基于大数据框架的协同过滤算法餐饮推荐系统【Update2023-6-25】

Github地址：https://github.com/share23/Food_Recommender他的系统采用实时大数据技术组件，具体有SparkStreaming，HDFS分布式存储，Hbase
程序终结者·2023-08-08 06:47

开源数据同步工具——datax

开源数据同步工具——dataxDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、
MrAnderson·2023-08-08 00:02

HBase-读流程

创建连接同写流程。（1）读取本地缓存中的Meta表信息；（第一次启动客户端为空）（2）向ZK发起读取Meta表所在位置的请求；（3）ZK正常返回Meta表所在位置；（4）向Meta表所在位置的RegionServer发起请求读取Meta表信息；（5）读取到Meta表信息并将其缓存在本地；（6）先从写缓存中读取数据，如果没有就从读缓存中读取数据，如果没有就从磁盘中读取数据，并将读取的数据放到读缓存中
青云游子·2023-08-07 22:23

Hbase-热点问题（数据存储倾斜问题）

1.危害某一台regionserver消耗过多，承受过多的并发量，时间长机器性能下降，甚至宕机2.解决可以通过设计rowkey+预分区的方法解决比如可以预分区120个，1月的数据存到1-10分区，每个月的数据存到10个分区，而这10个分区是归不同的regionserver管的，所以不会产生数据倾斜。那怎么让1月的数据存到1-10分区呢？就需要对rowkey进行设计了，设计的规则如下：rowkey设
青云游子·2023-08-07 22:23

Hbase-面试题

1.Hbase-region切分自动切分，默认情况下2.0版本，第一次region的数据达到256M，会进行切分，以后就是每达到10G切分一次，切分完成后，会进行负载均衡，均衡到其他regionserver
青云游子·2023-08-07 22:52

大数据导论题库

默认保存几份:(A)A.3份B.2份C.1份D.不确定3.下面哪个程序负责HDFS数据存储:(C)A.NameNode B.Jobtracker C.Datanode D.secondaryNameNode4.HBase
啊是可莉·2023-08-07 14:07

重磅一款极具潜力的开源免费数据库管理工具！

最近看到一个冷门的数据库管理工具：slashbase。这个工具是开源免费的，由于开源不久，目前才900+的Star，但用下来还是非常不错的，DD觉得这款工具还是非常有潜力的，所以给大家推荐一下。
程序猿DD·2023-08-07 09:53

squirrel 连接phoenix，当配置了支持事物后无法连接问题

由于配置phoenix事物时，需要配置phoenix.schema.isNamespaceMappingEnabled选项vihbase-site.xmlp
suolemen·2023-08-07 09:44

基于Java的新闻全文搜索引擎的设计与实现

该搜索引擎通过Scrapy网络爬虫工具获取新闻页面，将新闻内容存储在分布式存储系统HBase中，并利用倒排索引及轮排索引等索引技术对新闻内容进行索引，实现了常用的新闻搜索功能，如短语查询、布尔查询、通配符查询等
阿坨·2023-08-07 08:42

JanusGraph基于Spark on yarn 的OLAP

环境配置：19个RegionServer组成的HBase集群。
wq3435·2023-08-06 12:25

大数据面试题：HBase的读写缓存

面试题来源：《大数据面试题V4.0》大数据面试题V3.0，523道题，679页，46w字参考答案：HBase上RegionServer的cache主要分为两个部分：MemStore&BlockCache
蓦然_·2023-08-06 09:59

clickhouse集群安装部署

集群简介概述HDFS、Spark、HBase和Elasticsearch这类分布式系统，都采用了Master-Slave主从架构，由一个管控节点作为Leader统筹全局。
隐0士·2023-08-06 08:43

大数据课程G2——Hbase的基本架构

文章作者邮箱：[email protected]地址：广东惠州▲本章节目的⚪掌握Hbase的基本架构；⚪掌握Hbase的读写流程；⚪掌握Hbase的设计与优化；一、基本架构1.HRegion1.在HBase
伟雄·2023-08-06 08:30

HBASE报错 Master is initializing

删除zookeeper下的hbase注：指定ip和端口打开（
细水长流永不粹·2023-08-05 23:57

Kettle8.2的安装及简单使用

下安装案例1：MySQLtoMySQL案例2：使用作业执行上述转换，并且额外在表stu2中添加一条数据案例3：将hive表的数据输出到hdfs案例4：读取hdfs文件并将sal大于1000的数据保存到hbase
落幕7·2023-08-05 23:45

HBase常用脚本

建表--create表名,列簇，只有列簇定义，无列定义，可以多个列，不要求每行的列相同create'user','basicinfo'插入数据--put表名,rowkey,列簇:列,列值put'user','1001','basicinfo:name','roy'put'user','1001','basicinfo:age',18put'user','1001','basicinfo:salar
mac2099·2023-08-05 16:53

《Hadoop权威指南》学习笔记（4）——关于YARN

YARN运行在集群存储层（HDFS和HBase）上，一些分布式计算框架（如MapReduce和Spark等）作为YARN应用运行在集群计算层（YARN）和集群存储层上。
啜晓伟·2023-08-05 13:08

第61天

hbase安装。学习vue，bootstrap
StudyDayByDay·2023-08-05 11:51
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他