hive文件存储

使用Sqoop从Oracle数据库导入数据

Sqoop是一个用于在Hadoop生态系统（如HDFS和Hive）与关系型数据库之间传输数据的工具。它使数据工程师
晓之以理的喵~~·2024-01-20 19:27

11.Join的MapReduce实现

Join在MapReduce中的实现一、概述tips:Hive:MapReduce/Spark巧用explain查看语法树常见的面试题:描述如何使用MapReduce来实现join功能：考察点MapReduce
哈哈大圣·2024-01-20 18:40

hive 数字转换字符串_hive数据类型转换、字符串函数、条件判断

http://blog.csdn.net/yimingsilence/article/details/70057638函数数据类型转换同Java语言同样，Hive也包括隐式转换(implicitconversions
小宇boi·2024-01-20 18:08

LLM：ALiBi - 给注意力加上线性偏置

pdf代码：https://github.com/ofirpress/attention_with_linear_biases发表：2021长度外推参考：https://spaces.ac.cn/archives
微风❤水墨·2024-01-20 17:18

MySQL安装教程，windows下（超详细，根据步骤一步步来）

1.官网下载安装包下载链接：（本人下载的是mysqlCommunity8.0.19.0.msi）MySQL::DownloadMySQLInstaller(ArchivedVersions)https:
阿里嘎多f·2024-01-20 17:40

CUDA安装遇到问题及安装方法汇总

CMD输入nvidia-smi注意事项：安装低于显示的CUDA版本（兼容性）kCUDAToolkitArchive|NVIDIADeveloper————————CUDA版本网站进入选择合适版本安装如下图
jiang_changsheng·2024-01-20 15:12

fdfs分布式文件存储----安装FastDFS（三十六）

一、FastDFS的介绍1、TrackerServer跟踪（调度）服务器，主要做调度工作，起到均衡的作用；负责管理所有的storageserver和group，每个storage在启动后会连接Tracker，告知自己所属group等信息，并保持周期性心跳。2、StorageServer存储服务器，主要提供容量和备份服务；以group为单位，每个group内可以有多台storageserver，数据
梦捷者·2024-01-20 14:31

Hive性能优化

Hive性能优化数据量大不是问题，数据倾斜是个问题。jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。
La victoria·2024-01-20 13:23

Hive性能调优(二)——一文搞懂HiveSQL执行计划

测试的数据请看上一篇博客，数据行数500万。目录一.简单SQL的执行计划二.带普通函数SQL的执行计划三.带聚合函数SQL的执行计划四.带窗口函数SQL的执行计划五.表连接的SQL的执行计划一.简单SQL的执行计划explainselects_age,s_scorefromstudent_tb_seqwheres_age=20;+----------------------------------
程研板·2024-01-20 13:19

一文说全HiveConf类（Hive3.1.2版本）

一文说全HiveConf类（Hive3.1.2版本）作者：Eeeddieee工作中大部分时间都用到了Hive，虽然对Hive的架构、运行原理、调优方式有一定了解，但是很多都是在前人总结的基础上进行学习，
Eeeddieee·2024-01-20 13:17

Hive调优一文打尽

一、调优概述Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。
跟着大数据和AI去旅行·2024-01-20 13:16

FastDFS之快速入门、上手

文件存储的变迁：直连存储：直接连接与存储，扩展性、灵活性差。如Tomcat、nginx。中心化存储：网络互联。分布式存储：资源存储在多个服务器，这个存储资源构成一个虚拟的存储设备。
微风至夏·2024-01-20 12:03

Doris配置外表以及多个Hive外表的配置

1.场景分析以Clickhouse、Doris、Starrocks等为代表的mpp分析数据库正在快速的兴起，以其高效查询、跨库整合能力收到广大技术人员的喜爱。本文主要浅显介绍下作者在使用Doris时，通过建立catlog进行跨库查询。废话不多少，直接上代码2.相关配置#Tidb外表，jdbc方式连接，如果没有服务器权限可以直接在driver_url上填写jar包的maven地址#如果报connec
tuoluzhe8521·2024-01-20 12:37

Hive / Presto 行转列 列转行

Hive/Presto行转列列转行行转列1、Hive：2、Presto：列转行Hive1、split将order_ids拆分成数组，lateralviewexplode将数组炸裂开Presto1、split
吴法刚·2024-01-20 12:37

hive Error while compiling statement: FAILED: ClassCastException org.apache.hadoop.hive.serde2.objec

Errorwhilecompilingstatement:FAILED:ClassCastExceptionorg.apache.hadoop.hive.serde2.objectinspector.primitive.WritableConstantStringObjectInspectorcannotbecasttoorg.apache.hadoop.hive.serde2
圆周率的后六位·2024-01-20 12:35

hive 运行报错

Error:Errorwhilecompilingstatement:FAILED:UDFArgumentTypeExceptionExactlyoneargumentisexpected.近期用spark跑数据出现这个情况，最后查到问题是sum(if(a.idisnotnull,1,0))asshouldrepay_count,一开始写的是sum(a.idisnotnull,1,0)asshou
圆周率的后六位·2024-01-20 12:35

hive join 很慢

hive跑的很慢原因解析：背景如下将下面4个表join起来，然后在做聚合操作selectcount(1)fromcustomer_merchant_anti_fraud_demand1_1–19864656
圆周率的后六位·2024-01-20 12:35

hadoop运行任务出错，Hive Runtime Error while processing row

Error:java.lang.RuntimeException:org.apache.hadoop.hive.ql.metadata.HiveException:HiveRuntimeErrorwhileprocessingrow
圆周率的后六位·2024-01-20 12:05

【Flink】Flink1.12.0 FlinkSQL消费Kafka 使用 temporal join 关联维表Hive 最新分区数据 join 不上

文章目录1.概述2.场景12.1概述2.2解决1.概述2.场景12.1概述场景是这样的FlinkSQL消费kafka关联Hive维表最新分区刚开始我往Hive维表里筛了10条左右数据运行FlinkSQL
九师兄·2024-01-20 11:27

spark的jdbc接口，类似于hiveserver2

https://spark.apache.org/docs/2.4.0/sql-distributed-sql-engine.html#running-the-thrift-jdbcodbc-serverSparkSQL可以作为一个分布式查询引擎，通过其JDBC/ODBC或命令行接口进行操作。通过JDBC/ODBC接口，用户可以使用常见的数据库工具或BI工具来连接和查询SparkSQL，这使得Sp
zdkdchao·2024-01-20 10:53

Kafka的文件存储机制

在kafka中采用分区来存储数据，每个分区对应一个log文件，生产者每次生产的数据都追加到该文件之后，为了防止文件过大，在分区中又采用了分片索引机制，以提高数据定位的效率，每个个分片称为一个segment，没个segment中包含.index\.log\.timeindex文件，index文件中保存的是稀疏索引，大约没往log中写入4K左右的数据就会生成一条索引，offset采用相对offset以
有人打我·2024-01-20 08:25

3.1 Kafka 工作流程及文件存储机制

kafka学习目录：kafka目录文章目录3.1、Kafka工作流程及文件存储机制3.1.1、工作流程3.1.2、文件存储机制index文件和log文件详解：3.1、Kafka工作流程及文件存储机制3.1.1
悬浮海·2024-01-20 08:53

Kafka文件存储机制

文章目录概述Topic中文件存储方式Partiton中文件存储方式segment文件存储结构在partition中如何通过offset查找message文件存储流程集群partitions和replicas
Java技术债务·2024-01-20 08:22

四、Kafka 工作流程及文件存储机制

1.1、工作流程kafka整体工作流程图：通过这张图可以看出消费者消费生产者产生的消息，消费者有消费者组的概念，消息属于某一个主题topic，并且消息在产生的时候会进行消息的分区存放可以搭建集群，不同分区隶属于不同的节点。一个主题的某一个分区不会放在同一个节点，这是为了防止消息随着服务器的宕机丢失Kafka生产端发送消息的机制是Kafka高吞吐的基础，生产端的基本流程如下图所示：在kafka中，消
努力的布布·2024-01-20 08:51

kafka文件存储机制

不妨先来了解下kafka文件存储机制Topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就是Producer生产的数据；Producer
逆风飞翔的小叔·2024-01-20 08:19

Kafka（二）【文件存储机制 & 生产者】

目录一、Kafka文件存储机制二、Kafka生产者1、生产者消息发送流程1.1、发送原理2、异步发送API2.1、普通异步发送案例演示2.2、带回调函数的异步发送2.3、同步发送API3、生产者分区3.1
让线程再跑一会·2024-01-20 08:17

node.js 实现文件上传 和图片映射 文件下载(multer)

主要功能是将客户端上传的文件存储在服务器的本地文件系统中。它还添加了一个body对象以及file或files对象到express的请求对象中去。
小全upup·2024-01-20 07:59

unzip解压大文件失败提示End-of-central-directory signature not found

unzipfile.zipEnd-of-central-directorysignaturenotfound.Eitherthisfileisnotazipfile,oritconstitutesonediskofamulti-partarchive.Inthelattercasethecentraldirectoryandzipfilecommentwillbe
nudt_qxx·2024-01-20 07:33

使用jQuery播放/暂停 HTML5视频

来源：http://blog.okbase.net/jquery2000/archive/4485.html我尝试用jQuery控制HTML5视频，两个视频分别在两个tab中，我希望点中tab后，该tab
木利·2024-01-20 06:07

Boost Compression Speed with FastLZ

BoostCompressionSpeedwithFastLZAspose.ZIP23.12allowsdeveloperstocompressfileswithFastLZ,improvingperformanceandmemoryuse.Aspose.ZIPofferscomprehensiveZIParchivemanagementcapabilitiesfordevelopersandus
SEO-狼术·2024-01-20 06:25

Windows平台安装配置Hadoop2.7.X

一，准备1.安装jdk1.82.下载hadoop2.7.7.tar.gz官网下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7
sun_十一·2024-01-20 04:23

更新kali linux系统

、获得新的密钥（任选一种即可）推荐第四种1、#apt-keyadv--keyserverkeys.gnupg.net--recv-keysED444FF07D8D0BF62、#wget-q-O-archive.kali.org
TsengYUen·2024-01-20 02:26

Hive表导出成csv文件

先说结论hive-e"sethive.cli.print.header=true;select*fromdata_tablewheresome_query_conditions"|sed's/[\t]/
7ccc099f4608·2024-01-20 01:40

Hive HQL SQL经典练习题50道

基于Hive1.1语法1.四张表结构学生表student(s_id,s_name,s_birth,s_sex)–学生编号,学生姓名,出生年月,学生性别课程表course(c_id,c_name,t_id
HHHBan·2024-01-20 01:37

MySQL之ibdata1删除后恢复，Error1146

data目录的数据库文件夹下ibd文件存储数据，frm文件存放表结构的定义，ibdata1是表空间数据，有关ibdata1的作用详见另一篇Blog，MySQL之表空间。
MyFreeIT·2024-01-20 00:34

R语言【paleobioDB】——pbdb_temporal_resolution()：展示化石数据的时空分辨率

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-19 23:56

R语言【paleobioDB】——pbdb_temp_range()：绘制指定类群的时空范围

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-19 23:56

hive学习笔记之十：用户自定义聚合函数(UDAF)

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos本篇概览本文是《hive学习笔记》的第十篇，前文实践过UDF
程序员欣宸·2024-01-19 22:04

Nginx架构设计

系统架构高并发Nginx七大核心应用场景：反向代理、虚拟主机、域名解析、负载均衡、防盗链、url重定向、https高性能web服务器，负载均衡大型服务器的流量网关，应用网关，日志服务器，文件存储服务器模块化扩展
浪里摸鱼·2024-01-19 22:37

php wordpress 代码模板,WordPress主题模板层次和常用模板函数_php

WordPress主题–判断Tagis_home()：是否为主页is_single()：是否为内容页(Post)is_page()：是否为内容页(Page)is_category()：是否为Category/Archive
weixin_39997173·2024-01-19 21:30

主题模板层次和常用模板函数(WordPress)

WordPress主题-判断Tagis_home()：是否为主页is_single()：是否为内容页（Post）is_page()：是否为内容页（Page）is_category()：是否为Category/Archive
IT人偶·2024-01-19 21:00

DC-2靶机刷题记录

pwd=aqsi提取码：aqsi参考：https://c3ting.com/archives/vulnhnbshua-ti—dc-2http://t.csdnimg.cn/pNSCNhttps://www.vulnhub.com
Fab1an·2024-01-19 20:50

DC-1靶机刷题记录

pwd=9nyo提取码：9nyo参考答案：https://c3ting.com/archives/kai-qi-vulnhnbshua-tiDC-1.pdf【【基础向】超详解vulnhub靶场DC-1】
Fab1an·2024-01-19 20:18

Windows 10 安装 Redis

下载安装包官网上不提供Windows版本的Redis安装包，只能在GitHub上下载下载地址：https://github.com/MicrosoftArchive/redis/releases安装Redis
抚槛兮远望·2024-01-19 18:30

分布式中间件之Redis

下载Rediswindows版本：https://github.com/MicrosoftArchive/redis/tags（官网没有，只能去github下载，也只有3.2版本以下的）linux版本：
田青钊·2024-01-19 17:59

spring-framework源码构建(idea)

版本v5.0.2.RELEASE下载地址https://github.com/spring-projects/spring-framework/archive/v5.0.2.RELEASE.zip目录结构
何冠希·2024-01-19 16:53

某小外包公司线上面试-大数据开发

1.数仓和数据库的区别2.数仓建模3.hive用到的函数4.rank,dense_rank,row_number的区别5.hive数据倾斜的原因有哪些7.如何理解数据质量？
劝学-大数据·2024-01-19 16:03

德拓外包-大数据开发面试

忘了3.hive，两张表的重复数据，怎么去重？回答distinct,groupby，开窗取第一条，开窗函数是哪个？
劝学-大数据·2024-01-19 16:03

大数据学长面试之OPPO面试题

1）技术部分（1）SparkStreaming消费方式及区别，Spark读取HDFS的数据流程（2）Kafka高性能（3）Hive调优，数据倾斜（4）Zookeeper怎么避免脑裂，什么是脑裂。
大数据小理·2024-01-19 16:01

某汽车外包-大数据开发-面试

1.自我介绍2.hivesql的执行流程3.mapreduce的原理。4.spark的提交参数有那些命令5.sparkrdd,dataframe,dataSe解释一下。
劝学-大数据·2024-01-19 16:28
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他