HBase、Parrot

day14_数据迁移

数据迁移目标能够描述项目数据迁移的方案了解hbase的特点能够熟悉数据迁移中的数据包装和转换能够完成文章数据的全量和增量迁移能够完成热点文章数据的迁移1为什么需要自动同步因为我们Mysql保存着我们爬取的以及自建的数据
啊噗、·2023-04-14 14:09

双11特刊｜十年磨一剑，云原生多模数据库Lindorm 2021双11总结

前言2021年，转眼Lindorm已经在阿里发展了十年的时间，从基于HBase深度改造的Lindorm1.0版本，到全面重构，架构大幅升级的Lindorm2.0版本；从单一的宽表引擎，到支持搜索、时序、
阿里云技术·2023-04-14 13:51

hadoop环境搭建(jdk hdfs yarn hive zookeeper kafka hbase kylin )

添加hsotvim/etc/hosts123.123.123.123kylin1123.123.123.125kylin3123.123.123.124kylin2修改主机名#命令方式修改从新连接后生效，重启会重置hostnamectlset-hostname主机名#修改/etc/hostname防止重启以后重置vim/etc/hostname配置主机秘钥ssh-keygen-trsa复制主机秘钥
爱写代码的菜鸟·2023-04-14 11:48

hbase整合hive

Hbase是被设计用来做K-V查询，但有时候也会遇到基于Hbase表的复杂统计，写MR很不方便。hive考虑到这一点，提供了操作Hbase表的接口。
风暴之芽·2023-04-14 09:28

ES和hbase比较

https://blog.csdn.net/qq_44078226/article/details/107900034
xuxw·2023-04-14 02:13

Phoenix开启schema对应Hbase中的namespace

1.开启schema与namespace的对应关系如果使用了hbase中的自定义namespace，不仅仅使用default，那么在phoenix中与之对应的是schema的概念，但是默认并没有开启，需要在
让优秀成为你的习惯·2023-04-13 23:31

Chapter4 分布式数据库HBase

4.1概述4.1.1从BigTable说起HBase是BigTable的开源实现。BigTable是一个分布式存储系统，它最初是用于解决谷歌公司内部的大规模网页所搜问题。
今晚滿天星·2023-04-13 23:22

spark3.3.1通过hbase-connectors连接CDH6.3.2自带hbase

补充编译hbase-connectors-master源码下载wgethttps://github.com/apache/hbase-connectorsmvn--settings/Users/admin
sunnyboy_4·2023-04-13 19:47

CDH6.3.2版本pyspark-sql通过hive访问hbase

1、添加所需要包环境cp/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/lib/hive-hbase-handler-2.1.1
sunnyboy_4·2023-04-13 19:17

Hadoop家族学习路线图

原文：https://blog.csdn.net/it_man/article/details/14899905要介绍Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop
凯睿看世界·2023-04-13 14:06

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark读取的例子。使用教程Md5Util.javaimportorg.apache.commons.codec.binary.Hex;importjava.security.M
大猪大猪·2023-04-13 13:38

【面试感悟】java程序员职业规划 面试衡量的3方面（项目经验，基本技术，个人潜力）面试心态，工作心态

同时自己对大数据分析比较刚兴趣，趁着自己自由时间比较多，所以又把hadoop整个离线分析框架（hdfs,yarm,hive,hbase,flume），以及
alwarse·2023-04-13 09:33

Spark读写HBase实践

Spark经常会读写一些外部数据源，常见的有HDFS、HBase、JDBC、Redis、Kafka等。这些都是Spark的常见操作，做一个简单的Demo总结，方便后续开发查阅。
北邮郭大宝·2023-04-13 06:42

ERROR:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing错误

一、问题重新安装hbase后，在hbaseshell中查看所有命名空间时，出现了ERROR:org.apache.hadoop.hbase.PleaseHoldException:Masterisinitializing
冷艳无情的小妈·2023-04-13 05:21

Hbase 介绍

Hbase简介Hbase是一个开源的非关系型的分布式数据库，运用于HDFS文件系统之上，可以容错地存储海量稀疏的数据。
冷艳无情的小妈·2023-04-13 04:42

Hbase - kerberos认证异常

>之前怎么认证都认证不上，问题找了好了，发现它的异常跟实际操作根本就对不上，死马当活马医，当时也是瞎改才好的，给大家伙记录记录。```KrbException:ServernotfoundinKerberosdatabase(7)-LOOKING_UP_SERVER>>>KdcAccessibility:removestorm1.starsriver.cnatsun.security.krb5.K
kikiki4·2023-04-13 04:28

MapReduce Map端 join 的一个例子

那在MapReduce中的Join就是指上面的操作，只不过可能不是处理的表，而是文件，或者是从表存储的介质比如MySql、Hbase中读取的数据。举个MapRe
博弈史密斯·2023-04-13 02:32

Hlog

Hlog简介Hlog是Hbase实现WAL(Writeaheadlog)方式产生的日志信息，内部是一个简单的顺序日志。
冷艳无情的小妈·2023-04-13 02:50

hbase region, store, storefile和列簇的关系

Hbase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分作为BlockCache，主要用于读数据；这里主要介绍写数据的部分，即Memstore。
Saiheihua·2023-04-13 01:46

hbase中列簇和列_Hbase作者为什么允许一张表可以有多个列簇?

HBase的设计目标是海量，高吞吐存储。数据在底层是基于LSMT那一套的实现(当然分了很多region，支持分布式)。
weixin_39968995·2023-04-13 01:15

hbase中列簇和列_HBase中Region, store, storefile和列簇的关系

转自：http://zhb-mccoy.iteye.com/blog/1543492TheHRegionServeropenstheregionandcreatesacorrespondingHRegionobject.WhentheHRegionisopeneditsetsupaStoreinstanceforeachHColumnFamilyforeverytableasdefinedbyth
weixin_39861498·2023-04-13 01:45

hbase中列簇和列_五分钟轻松了解Hbase列式存储

行式存储传统的数据库是关系型的，且是按行来存储的。如下图：其中只有张三把一行数据填满了，李四王五赵六的行都没有填满。因为这里的行结构是固定的，每一行都一样，即使你不用，也必须空到那里，而不能没有。来一张形象的图：不管你坐或不坐，座位都在那里，不离不弃。列式存储为了与传统的区别，新型数据库叫做非关系型数据库，是按列来存储的。如下图：初次看列式存储稍微有点懵，下面给出行存与列存的转换：原来张三的一列(
weixin_39941792·2023-04-13 01:45

hbase中列簇和列_十九、HBase表、行与列族

HBase表HBase中表是在schema定义时被预先声明的。可以使用以下的命令来创建一个表，在这里必须指定表名和列族名。
茶嶺有狐斋·2023-04-13 01:44

HbaseRowkey设计以及列族和列的关系

Hbase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分作为BlockCache，主要用于读数据；这里主要介绍写数据的部分，即Memstore。
小小的_我·2023-04-13 01:11

Hbase中Region/Store/StoreFile/Hfile之间的关系

Region是HBase中分布式存储和负载均衡的最小单元，即不同的region可以分别在不同的RegionServer上，但同一个Region是不会拆分到多个server上。
自知自省·2023-04-13 01:39

Hbase基础

1：Hbase概念（1）tabletablecolumnfamily-列簇column01，column02，…-列rowkey-主键，每一条数据唯一的标识符面向列的数据库，插入数据时：rowkey+columnfamily
docsz·2023-04-13 00:06

HBase 基本架构&列族与store关系

1.架构角色1）RegionServerRegionServer为Region的管理者，其实现类为HRegionServer，主要作用如下:对于数据的操作：get,put,delete；对于Region的操作：splitRegion、compactRegion。2）MasterMaster是所有RegionServer的管理者，其实现类为HMaster，主要作用如下：对于表的操作：create,d
不爱研究的研究僧·2023-04-13 00:34

Flink 笔记

(file、es、redis、hbase、clickhouse)2、分析处理：批处理（了解）、流处理（算子（重点）、sql）3、数据落地：kafka、mysql、hbase、clickhouse、redis
冷艳无情的小妈·2023-04-12 19:56

Hbase BulkLoad用法

要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。
kikiki1·2023-04-12 15:31

数据存储-Hbase基础

Outline什么是Hbase为什么需要HbaseHbase的基础概念Hbase的架构Hbase的读写操作什么是HbaseHBase(HadoopDatabase)是一种构建在HDFS之上的分布式、面向列
neo_ng·2023-04-12 13:13

算法中的特征的保存, es 和 mysql 和 odps hadoop hbase的区别

父文章hbasehiveelasticsearch(elsearch)mysqlmongodb技术选型_个人渣记录仅为自己搜索用的博客-CSDN博客mongodb没有显式的schema但是如果把不同的schema
个人渣记录仅为自己搜索用·2023-04-12 13:12

Elasticsearch底层存储结构 和 一些上限 from chatgpt

父文章hbasehiveelasticsearch(elsearch)mysqlmongodb技术选型_个人渣记录仅为自己搜索用的博客-CSDN博客底层存储结构Elasticsearch底层存储结构主要由以下几种组件构成
个人渣记录仅为自己搜索用·2023-04-12 13:12

Elasticsearch的增删改查(含数组操作) - from chatgpt

父文章算法中的特征的保存,es和mysql和odpshadoophbase的区别_个人渣记录仅为自己搜索用的博客-CSDN博客以下是Elasticsearch的增删改查操作示例：创建索引PUT/my_index
个人渣记录仅为自己搜索用·2023-04-12 13:37

linux内核之select/poll/epoll

一些主流应用IO多路复用技术，突破高并发问题，如nginx、redis、netty，分布式服务框架dubbo，大数据组件hadoop、spark、flink、hbase纷纷使用netty作为网络通信组件
吴成伟0122·2023-04-12 10:21

Oracle初步

如：redis、hadoop（hbase）等。2、
向着太阳，向着光·2023-04-12 05:56

MySQL与SQL语言实战（一）数据库搭建与操作

一键恢复原来的老数据测试数据的提取写数据的校验1、数据库概览关系型数据库(RDBMS)：MySQL、Oracle、Postgres、SQLite（Android用得较多）、SQLServerNoSQL数据库：MongoDB、Redis、HBase
InsaneLoafer·2023-04-12 03:16

Hbase 基于HDFS分布式列存储Nosql数据库(四) 概念及原理介绍

LSM-tree模型概念：Log-Struct-Merge模型树，即wal，flush，compaction，split等过程；功能：将随机无序的数据变成有序的数据，通过有序的算法来加快数据的读取，因为写入时需要进行排序，所有牺牲了一定的写入数据的效率，都用内存来实现数据的读写的存储主要步骤：请求时现将数据保存到预写日志，然后写入内存在内存中对数据进行排序将内存中的数据写入文件，构成一个有序数据文
章云邰·2023-04-12 02:21

[Hudi学习笔记] Hudi 与Kudu、Hive Transactions、Hbase及Stream Processing的比较

WhatisHudi?Hudi是HadoopUpsertsanDIncrementals的缩写，用于管理HDFS上的大型分析数据集存储。Hudi的主要目的是高效的减少入库延时。Hudi是Uber开发的一个开源项目。存储于HDFS上的分析数据集一般通过两种类型的表来提供，即读取优化的表（ReadOptimizedTable）和近实时表（Near-RealtimeTable）。ReadOptimize
Kent_Yao·2023-04-12 00:36

Hbase常用命令

技术主题使用hbaseshellCLI在Hbase中创建表、在表中插入行、对表执行放置和扫描操作、启用或禁用表以及启动和停止Hbase主要描述了Hbase的CRUD等基本DDL和DML操作一:连接HBase
ZhiguoXue_IT·2023-04-12 00:28

HBase 数据模型

理解HBase的数据模型，能够更好的理解HBase针对Region的操作（Split、Compact等）的必要性。
Alex90·2023-04-11 21:03

黑猴子的家：HBase 与 Hive 的对比

2、HBase(1)数据库是一种面向列存储的非关系型数
黑猴子的家·2023-04-11 11:40

ParrotSec——截图工具

因为某些习惯，越来越多的工作或日常操作迁移到了Parrot上来，习惯了QQ的截图功能，突然之间的确有些许不适应。
RabbitMask·2023-04-11 02:09

hbase-phoenix集合的应用

我们知道hbase是列式存储的分布式数据库，数据是以kv形式存储的，hbase官方也开放了API接口供我们使用，进行数据的各种交互也是很方便，但是hbase本身是nosql数据库，不支持sql的查询，于是
会飞的蜗牛66666·2023-04-11 01:21

HBase

架构设计核心概念：Client：发起读写请求的角色，面向hbaseclient编程首先hbase查询Meta表，找到读或写的数据的region区域位置信息然后向region对应的HRegionServer
入门编程小菜鸟·2023-04-10 21:13

HBase 教程（超详细）

文章目录1.HBase简介1.1HBase定义1.2HBase背景1.3HBase数据模型1.3.1HBase逻辑结构1.3.2HBase物理存储结构1.3.3数据模型1.4HBase基本架构2.HBase
西门催学不吹雪·2023-04-10 21:42

HBase 默认配置

hbase.rootdir这个目录是regionserver的共享目录，用来持久化HBase。URL需要是'完全正确'的，还要包含文件系统的scheme。
aimmon·2023-04-10 21:40

HBase概念，安装及shell命令

HBASE第1章HBase简介1.1HBase定义HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。
少年郎の洛亚·2023-04-10 21:35

HBase Maven 工程模块梳理

HBaseMaven工程各个Model功能说明：github地址：git://git.apache.org/hbase.git1、hbase-annotations从Hadoop中copy来的的代码注解
赶路人儿·2023-04-10 21:59

HBase使用教程

目录1、Maven依赖2、相关配置3、编写工具类3.1、获取hbase参数3.2、HBase操作4、HBase常用的查看数据方式4.1、基本介绍4.2、Scan类常用方法4.3、Filter过滤操作4.3.1
风萧萧1999·2023-04-10 21:25

大数据之数据治理架构 —— Atlas

Atlas的作用Atlas架构Atlas架构解析Atlas大数据集群搭建JDK与Hadoop搭建MySQL与Hive搭建Zookeeper与HBase搭建Kafka搭建Solr搭建Atlas搭建与集成Atlas
月亮给我抄代码·2023-04-10 20:07
上一页 45 46 47 48 49 50 51 52 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他