hbase-spark

HBase&Spark集成 -- DataFrame

hbase-spark集成利用Spark-1.2.
小中.·2023-07-23 04:48

Spark操作HBase的数据，实现列值的计算

本文将使用hbase-spark连接器，通过SparkRDD的方式，读取和写入HBase的表，实现对Sentinel-2卫星影像数据的特征值计算。
runepic·2023-06-17 05:32

Hbase-Spark BulkLoad 解析

一、背景项目中有需求，要频繁地、快速地向一个表中初始化数据。因此如何加载数据，如何提高速度是需要解决的问题。一般来说，作为数据存储系统会分为检索和存储两部分。检索是对外暴露数据查询接口。存储一是要实现数据按固定规则存储到存储介质中（如磁盘、内存等），另一方面还需要向外暴露批量装载的工具。如DB2的db2load工具，在关闭掉日志的前提下，写入速度能有显著提高。二、知识点Hbase2.0的LoadI
阿海与蜗牛·2023-02-19 01:07

使用SparkSQL/DataFrame读取HBase表

最近更新发现有很多同学发私信问我这个jar包的事情，说找不到类，今天特意更新一下：HBaseContext类：https://github.com/apache/hbase/tree/master/hbase-spark
strongyoung88·2020-09-13 23:48

hbase-spark组合使用

依赖4.0.0sparkTestsparkTest1.0-SNAPSHOTorg.apache.sparkspark-core_2.101.6.0org.apache.hbasehbase-client1.4.6org.apache.hbasehbase-server1.4.6代码importorg.apache.hadoop.conf.Configuration;importorg.apache
蜗牛.~·2020-07-06 04:05

hbase-spark 简单实践

环境部署$dockerpullnerdammer/hbase-phoenix$dockerrun-d-p2181:2181-p60000:60000-p60010:60010-p60020:60020-p60030:60030nerdammer/hbase-phoenix$dockerexec-i-td90bash#cd/opt/phoenix/bin/#./sqlline.py127.0.0.1
wpb·2020-04-08 01:06

hbase-spark bulk load(二)

最近看官网的文档,发现有两种方法：73节的BulkLoading中的为我之前实现的方法111节的BulkLoad为hbase-spark中自带的方法但是在测试过程中发现官网的案例缺少某些关键代码，无法直接测试
利伊奥克儿·2020-01-14 16:12

hbase-spark bulk load(二)

最近看官网的文档,发现有两种方法：73节的BulkLoading中的为我之前实现的方法111节的BulkLoad为hbase-spark中自带的方法但是在测试过程中发现官网的案例缺少某些关键代码，无法直接测试
lillcol·2020-01-14 14:00

Spark SQL 访问Hbase

文章目录简介打包生成hbase-spark库解决访问Hbase问题读写Hbase参考文档:https://hbase.apache.org/book.html#_sparksql_dataframes简介
M_O_·2019-07-01 18:10

计算NDWI错误记录

http://maven.wso2.org/nexus/content/repositories/Apache/org/apache/hbase/hbase-spark/2.0.0-SNAPSHOT/gdal
wangxujin666·2019-04-28 19:06

使用SparkSQL读取Hbase表

HBase-SparkConnector(在HBase-Spark模块中）利用了在Spark-1.2.0中引入的DataSourceAPI(SPARK-3247)，在简单的HBaseKV存储和复杂的关系型
a_BigData·2017-12-05 17:12

spark 读取hbase数据并转化为dataFrame

尽管hbase的官方已经提供了hbase-spark接口，但是并未对外发布，而且目前的项目又有这方面的需求，且网上关于这么方面的参考比较少，故贴出来，代码如下，仅供参考importorg.apache.hadoop.hbase
robwang151·2017-09-05 19:50

从HBase数据库表中读取数据动态转为DataFrame格式，方便后续用Spark SQL操作（scala实现）

hbase-spark-***.jar相关jar包，下载链接：http://maven.wso2.org/nexus/content/repositories/Apache/org/apache/hbase/hbase-spark
源神·2017-06-01 20:52
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他