hive云原生

云原生组件笔记 -- ClickHouse

文章目录一、入门1.1简介1.2单机部署1.3高可用集群1.4分布式集群1.5数据类型二、表引擎2.1Log2.2Integration2.3Special2.4MergeTree2.4.1MergeTree2.4.2ReplacingMergeTree2.4.3SummingMergeTree三、SQL操作3.1DML3.2DQL3.3DDL四、优化4.1建表优化4.1.1数据类型4.1.2分区
L小Ray想有腮·2024-01-12 15:46

kylin3集群问题和思考（单机转集群）

hive客户端也是，也要保证有hbase、zookeeper等。需要修改的配置如下（截图官网）：下面说一下需要注意的地方。-name'*jackson*'，需要加在find-hive-de
向他一样rap·2024-01-12 14:38

kylin集群使用nginx反向代理

hive客户端也是，也要保证有hbase、zookeeper等。我在第一台设置的kylin.server.mode=job，第二台配置的kylin.server.mo
向他一样rap·2024-01-12 14:38

首个云原生、分布式、全栈国产化银行核心业务系统投产上线丨TiDB × 杭州银行

新核心系统是业内首个实际投产的云原生、分布式、全栈国产化的银行核心系统，是金融科技领域突破关键核心技术应用的重大实践。
TiDB_PingCAP·2024-01-12 13:25

Dubbo 3.3.0-beta 版本正式发布

3.3.0-beta引入了一些重量级的功能升级，按照社区规划，3.3也将是Dubbo3非常重要的一个里程碑大版本，在3.3.0首个正式版本之后Dubbo3将正式进入长期稳定维护态，即标志着Dubbo3作为面向云原生时代的下一代微服务框架将具备规划的所有核心功能
阿里云云原生·2024-01-12 13:52

金融行业容器平台建设方案

【导读】数字经济时代金融行业面临数字化转型挑战，利用容器云原生技术作为支撑数字经济的数字底座，与公有云云原生采用相同的技术和架构，统一的生态体系，在保障金融机构数据权益和行业监管的同时，能够快速获取大数据
罗伯特之技术屋·2024-01-12 11:45

Hive安装与配置

你需要掌握：1.Hive的基本安装；2.Mysql的安装与设置；3.Hive的配置。注意：Hive的安装与配置建立在Hadoop已安装配置好的情况下。
qq_58647543·2024-01-12 11:50

java多线程文件解压

publicclassCompress{publicstaticvoidunzipWithCommons(FilezipFile,Stringdest)throwsIOException{try(ZipFilearchive
有知识的山巅·2024-01-12 11:02

WiFi7无线路由器TL-7DR6560简单开箱测评

TP-LINKXDR6088WiFi6路由器简单开箱评测：https://blog.zeruns.tech/archives/731.html分享一下我家网络机柜，家庭网络设备推荐：https://blog.zeruns.tech
zeruns·2024-01-12 10:30

深入云原生—基于KubeWharf深度剖析-以公司实际应用场景为例深度解读

各位好，这里是难忘，本人对云原生也是研究了2年多了，算是略有所得，本次就来深入云原生—基于KubeWharf深度剖析场景与解读。
一见已难忘·2024-01-12 09:51

关于hive在运行insert时失败原因刨析

insertintotestvalues('1001');原因虚拟机内存不足。我的虚拟机配置如下解决方案设置yarn容器最大内存、容器最小内存等Theclasstouseastheresourcescheduler.yarn.resourcemanager.scheduler.classorg.apache.hadoop.yarn.server.resourcemanager.scheduler.
Alonzo de blog·2024-01-12 08:57

Hive分区表实战 - 多分区字段

文章目录一、实战概述二、实战步骤（一）创建学校数据库（二）创建省市分区的大学表（三）在本地创建数据文件1、创建四川成都学校数据文件2、创建四川泸州学校数据文件3、创建江苏南京学校数据文件4、创建江苏苏州学校数据文件（四）按省市分区加载学校数据1、加载四川成都学校数据文件到四川成都分区2、加载四川泸州学校数据文件到四川泸州分区3、加载江苏南京学校数据文件到江苏南京分区4、加载江苏苏州学校数据文件到江
howard2005·2024-01-12 08:29

Hive命令调优大全

–explain语法查询**–explain解析执行计划–以下优化为hive层面优化,常开****–读取零拷贝sethive.exec.orc.zerocopy=true;–默认false–关联优化器sethive.optimize.correlation
祈愿lucky·2024-01-12 08:28

【数据库学习】hive

1，HIVEHadoop的数据仓库处理工具，数据存储在Hadoop兼容的文件系统（例如，AmazonS3、HDFS）中。
兔兔西·2024-01-12 08:50

【DolphinScheduler】datax读取hive分区表时，空分区、分区无数据任务报错问题解决

DolphinScheduler的Datax组件时，遇到这么一个问题：之前给客户使用海豚做的离线数仓的分层搭建，一直都运行好好的，过了个元旦，这几天突然在数仓做任务时报错，具体报错信息如下：问题一：datax读取hive
Alex_81D·2024-01-12 08:49

Hive基础

hive的基础部分大致有四部分：Hive数据类型、Hive运算符、Hive数据存储、Hive表存储格式。这四部分是学习hive必须掌握的知识。
冬瓜的编程笔记·2024-01-12 08:16

基于JavaWeb+BS架构+SpringBoot+Vue基于hive旅游数据的分析与应用系统的设计和实现

基于JavaWeb+BS架构+SpringBoot+Vue基于hive旅游数据的分析与应用系统的设计和实现文末获取源码Lun文目录前言主要技术系统设计功能截图订阅经典源码专栏Java项目精品实战案例《500
FREE技术·2024-01-12 07:01

虽然是个去年的旧新闻，但这透露了IBM的新去向

StreamSets定位是云原生DataOps和数据抓取平台，webMethods定位是集成和API管理平台。超过20亿欧元的
阿明观察·2024-01-12 07:56

大数据 Hive - 实现SQL执行

文章目录MapReduce实现SQL的原理Hive的架构Hive如何实现join操作小结MapReduce的出现大大简化了大数据编程的难度，使得大数据计算不再是高不可攀的技术圣殿，普通工程师也能使用MapReduce
善守的大龙猫·2024-01-12 07:37

Rockset 陈博玚：从数据库创新看云原生技术

物联市场线上对谈第三期：Rockset技术负责人陈博玚file云计算产业对整个IT行业产生了革命性的影响，云化的趋势不可逆转，容器、K8s开始成为从业者和投资人口中最常提起的名词，这背后所代表的云原生赛道也成为云时代的下一个方向
KubeShifu·2024-01-12 07:01

9.云原生存储之ceph在k8s中应用及问题处理

文章目录ceph应用场景ceph应用在k8s集群外使用块设备ceph客户端配置创建块挂载使用删除pool在k8s集群内使用块设备创建块池和StorageClass使用存储块存储映射问题处理问题现象事件分析csi-rbdpluginpod日志分析问题小结CentOS7编译安装nbd模块nbd内核模块介绍安装nbd模块重新使用块存储验证升级centos验证验证小结操作系统选择考虑Rocky8替换k8s
野心与梦·2024-01-12 07:31

Spark on Hive及 Spark SQL的运行机制

SparkonHive集成原理HiveServer2的主要作用:接收SQL语句，进行语法检查；解析SQL语句；优化；将SQL转变成MapReduce程序，提交到Yarn集群上运行SparkSQL与Hive
小希 fighting·2024-01-12 07:56

云原生向量数据库Milvus

什么是MilvusMilvus是一款云原生向量数据库，它具备高可用、高性能、易拓展的特点，用于海量向量数据的实时召回。
Whenerver·2024-01-12 07:14

Nacos：发现微服务的未来

二、Nacos有哪些优势1、是一个易于使用的、功能强大的开源平台，用于构建云原生应用和微服务架构。它提供了包括服务发现、
窗台有只猫·2024-01-12 06:14

mysql8 linux安装过程（通用版）

下载：通用版，建议用tar.gz包下载地址：https://downloads.mysql.com/archives/community/注意选项：选linux-Generic以及架构和位数OperatingSystem
Davide~苏·2024-01-12 06:00

Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive

说明Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive完全分布式高可用集群搭建下载https://archive.apache.org/dist/我最终选择Zookeeper3.7.1
nsa65223·2024-01-12 06:08

如何快速了解一个新的领域？

（原文链接请见：http://www.zreading.cn/archives/4604.html）作者介绍要快速进入一个全新的知识领域需要4个步骤：1、大量泛读，以让大脑爆掉为目标，找到所有能找到的关于这个新领域的文章
杜松树·2024-01-12 06:19

apk编译时固定R.id

场景热修复生成补丁时，基线apk和修复后apk中资源id固定，可以有效减少补丁大小创建ids_keep.gradle文件android.aaptOptions{//归档目录:rootProject/archivedStringdirName
yin_xin·2024-01-12 04:40

PandoraNext—一个让你呼吸顺畅的ChatGPT

博客地址PandoraNext—一个让你呼吸顺畅的ChatGPT-雪饼(xue6ing.cn)https://xue6ing.cn/archives/pandora--yi-ge-rang-ni-hu-xi-shun-chang-de-chatgpt
xB77·2024-01-12 04:30

Hive解析json数组

在使用Hive搭建数据仓库，处理数据时，同传统数仓的结构化数据不同，我们经常会遇到一些非结构化的数据，json格式的字符串就是常见的一种类型。
风筝flying·2024-01-12 03:47

常见类型的yaml文件如何编写？--kind: ConfigMap

今天介绍一个高级云原生工程师才用的一种类型：configmap！
shanshan3003·2024-01-12 03:52

MySql海量数据存储与优化

具有支持回滚，提交，崩溃恢复等功能，事务安全myisam:不支持事务和外键，查询速度高Memory：利用内存创建表，访问速度非常快，因为数据在内存，而且默认使用Hash索引，但是一旦关闭，数据就会丢失Archive
softshow1026·2024-01-12 02:44

服务器中Linux（CentOS7.6）安装并启动mysql-8.0.18-el7-x86_64.tar.gz + 问题错误集

https://cdn.mysql.com/archives/mysql-8.0/mysql-8.0.18-el7-x86_64.tar.gzhtt
时光茶馆·2024-01-12 02:41

Linux操作系统下，彻底删除MySQL

背景：部署Hive时，遇到了无法访问数据库的问题；此时Linux中的环境是，已安装MySQL-8.0.35的版本，JDK8和Hadoop-3.3.4版本；然后开始上传Hive-3.1.3版本的的安装包和
zhiweizhang_zzw·2024-01-12 02:59

基于昇腾910B搭建多节点K8s集群

可以说，现在Kubernetes已经没有了实际意义上的竞争对手，它的地位就如同Linux一样，成为了事实上的云原生操作系统，是构建现代应用的基石。
Zain Lau·2024-01-12 01:17

Error: Package: 1:openssl-devel-1.0.2k-19.el7.x86_64 (base) Requires: openssl-libs(x86-64

centos7上由于openssl的版本低导致的错在centos7执行这个命令报的错：yum-yinstallbisonbison-develzlib-devellibcurl-devel\libarchive-develboost-develncurses-develgnutls-devel
哪有天生的学霸，一切都是厚积薄发·2024-01-12 00:43

hive sql 优化-转载csdn

HiveSQL执行流程：InputFormat、OutputFormat、SerDe理清这三者之间的关系：SerDeisashortnamefor"SerializerandDeserializer."
仲間_9ee4·2024-01-11 23:36

第四课 Hive中sql的使用

1、创建表建表语法CREATE[EXTERNAL]TABLE[IFNOTEXISTS]table_name[(col_namedata_type[COMMENTcol_comment],...)][COMMENTtable_comment][PARTITIONEDBY(col_namedata_type[COMMENTcol_comment],...)][CLUSTEREDBY(col_name,
Arroganter·2024-01-11 22:40

Hive数据库：嵌入、本地、远程全攻略（下）

先介绍一下本地模式和远程模式：当使用本地模式时，Hive将其元数据存储在本地数据库（例如MySQL）中，使其成为一个独立的数据处理系统。
小伍_Five·2024-01-11 22:33

Hive数据库：嵌入、本地、远程全攻略（上）

Hive分布式数据仓库工具关系型数据库建立在关系模型之上的数据库称为关系型数据库(关系模型是由埃德加·科德于1970年提出的)，关系型数据库借助集合代数等数学概念处理数据库中的数据。
小伍_Five·2024-01-11 22:03

分布式数据库原理及技术题目汇总（上）

A.HIVE中createtable命令使用时，表类型可以存储为ORC。B.HIVE中createtable命令使用时，必须包含rowformatdelimited。
小伍_Five·2024-01-11 22:03

SpringCloud技术栈——技术词汇

SpringCloud的核心理念是使用轻量级的组件和服务来构建云原生应用。以下是SpringCloud的
刘一说·2024-01-11 21:32

JDBC连接数据库

JDBC连接数据库https://www.cnblogs.com/hongten/archive/2011/03/29/1998311.html创建一个以JDBC连接数据库的程序，包含7个步骤：1、加载
seto__·2024-01-11 20:36

2023年全国职业院校技能大赛（高职组）“云计算应用”赛项赛卷5

某企业根据自身业务需求，实施数字化转型，规划和建设数字化平台，平台聚焦“DevOps开发运维一体化”和“数据驱动产品开发”，拟采用开源OpenStack搭建企业内部私有云平台，开源Kubernetes搭建云原生服务平台
忘川_ydy·2024-01-11 19:25

K8S后渗透横向节点与持久化隐蔽方式探索

前言通常在红蓝对抗中，我们可能会通过各种方法如弱口令、sql注入、web应用漏洞导致的RCE等方法获得服务器的权限；在当前云原生迅猛发展的时代，这台服务器很可能是一个容器，在后续的后渗透由传统的提权变为容器逃逸
杭州默安科技·2024-01-11 19:31

使用Sqoop将Hive数据导出到TiDB

关系型数据库与大数据平台之间的数据传输之前写过一些使用Sqoop将数据在HDFS与MySQL互导使用Sqoop将SQLServer视图中数据导入Hive使用DataX将Hive与MySQL中的表互导使用
光于前裕于后·2024-01-11 19:26

CUDA10.1+cuDNN 超详细版安装教程，步骤清晰不多余

可以看看自己电脑支持CUDA的最高版本，cmd命令控制行输入：nvidia-smi回车后可以看到自己电脑支持CUDA的最高版本，建议安装稍低于电脑版本的CUDA~CUDA下载地址：CUDAToolkitArchive
Q小Q琪·2024-01-11 18:47

ubuntu 16.04 安装 StarUML

Downloadlibgcrypt11_1.5.3from:https://launchpad.net/ubuntu/+archive/primary/+files/libgcrypt11_1.5.3-
林慕空·2024-01-11 18:58

pyspark config设置、增加配置、限制_success文件生成；spark-submit 集群提交参数

1、pyspark增加config设置javaheap错误增加内存spark=(SparkSession.builder.config("spark.hadoop.hive.exec.dynamic.partition
loong_XL·2024-01-11 18:00

云原生linux环境中java运行环境搭建

云原生linuxjava运行环境搭建：1.通过yumsearchjdk指令找到你所需的jdk的运行环境，本文中以jdk1.8为例2.运行yuminstalljava-1.8.0-openjdk.x86_
竺竺牧牧·2024-01-11 18:10
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他