hive云原生

Datax同步（高可用HDFS版本）

这是一个mysql同步到hive的json脚本，hive的底层使用的是HDFS存储，同步到hive，只能用hdfswritermysql->hive{"job":{"setting":{"speed":
暴走的贼宇·2024-01-15 12:59

postgresql12 客户端命令浅析

这里写自定义目录标题potgresql12客户端命令参数浅析pg_archivecleanuppg_configpg_dumpallpg_dumppg_restorepg_basebackuppg_resetwalpg_test_fsyncpg_controldatapg_recvlogicalpg_isreadypg_test_timingpgbenchpg_rewindpg_upgradeva
不上进的菜鸟·2024-01-15 10:03

GZ075 云计算应用赛题第8套

某企业根据自身业务需求，实施数字化转型，规划和建设数字化平台，平台聚焦“DevOps开发运维一体化”和“数据驱动产品开发”，拟采用开源OpenStack搭建企业内部私有云平台，开源Kubernetes搭建云原生服务平台
嘿哈小将·2024-01-15 10:44

GZ075 云计算应用赛题第7套

某企业根据自身业务需求，实施数字化转型，规划和建设数字化平台，平台聚焦“DevOps开发运维一体化”和“数据驱动产品开发”，拟采用开源OpenStack搭建企业内部私有云平台，开源Kubernetes搭建云原生服务平台
嘿哈小将·2024-01-15 10:14

GZ075 云计算应用赛题第9套

某企业根据自身业务需求，实施数字化转型，规划和建设数字化平台，平台聚焦“DevOps开发运维一体化”和“数据驱动产品开发”，拟采用开源OpenStack搭建企业内部私有云平台，开源Kubernetes搭建云原生服务平台
嘿哈小将·2024-01-15 09:38

Zookeeper教程1

Zookeeper翻译过来就是动物园管理员，他是用来管Hadoop（大象）、Hive(蜜蜂)、Pig(小猪)的管理员。简称zkZookeeper是一个分布式的、开源的分布式应用程序的协调服务。
暗雪之格·2024-01-15 09:56

云原生微服务之分布式锁框架 Redisson

作者主页：青花锁简介：Java领域优质创作者、Java微服务架构公号作者简历模板、学习资料、面试题库、技术互助文末获取联系方式系列专栏目录[Java项目实战]介绍Java组件安装、使用；手写框架等[Aws服务器实战]AwsLinux服务器上操作nginx、git、JDK、Vue等[Java微服务实战]Java微服务实战，SpringCloudNetflix套件、SpringCloudAlibaba
青花锁·2024-01-15 09:42

k8s云原生环境搭建笔记——第二篇

目录1、使用普通方式安装prometheus和grafana1.1、安装kube-state-metrics容器1.1.1、下载并修改yaml文件1.1.2、导入kube-state-metrics镜像1.1.3、执行yaml文件目录1.2、安装node-exploer1.2.1、创建名称空间prometheus1.2.2、执行yaml1.3、安装prometheus1.3.1、创建集群角色、账户
明快de玄米61·2024-01-15 09:34

11.云原生分布式数据库之TIDB

云原生专栏大纲文章目录为什么使用TIDB后端视角运维视角基础架构视角TiDBOperator简介软件版本要求部署tidbTIDB工具helm常用命令TIDB学习推荐资料为什么使用TIDB从后端视角、运维视角和基础架构视角来看
野心与梦·2024-01-15 09:02

Cloudera公司的CDH与HDP均无法下载问题（403 Forbidden (varnish) the provided credentials were incorrect）

2.解决方法使用开源的Apache的相关软件包http://archive.apache.org/dist/CDH&Ambari安装包百度云
小宇0926·2024-01-15 07:41

pipeline制品 archiveArtifacts

脚本pipeline{agentanyoptions{timestamps()}stages{stage('getcode'){steps{checkout([$class:'GitSCM',branches:[[name:'*/master']],doGenerateSubmoduleConfigurations:false,extensions:[],submoduleCfg:[],userR
野猪佩挤·2024-01-15 06:54

Hadoop2.9.2在windows上的安装

1、下载hadoop-2.9.2.tar.gz官网下载地址：http://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.
懵懂无知的蜗牛·2024-01-15 06:30

Android Studio 历史版本下载

AndroidStudiodownloadarchives|AndroidDevelopers官网提供的历史版本下载
阿启·2024-01-15 05:39

Hive的Join操作

JOINON和WHERE条件区别7.其他常用SQL操作7.1不同数据类型判断空7.2排序或JOIN或Groupby字段空值导致结果问题7.3JOIN操作导致数据膨胀8.SemiJoin和AntiJoin9.Hive
黄土高坡上的独孤前辈·2024-01-15 04:23

Hive mapreduce的map与reduce个数由什么决定？

3.ReduceTask的数量决定3.1在执行hiveshell的时候可以看到下列日志3.2官网对这三个
黄土高坡上的独孤前辈·2024-01-15 04:22

项目实战-知行教育大数据分析平台-01

什么是事实表与维度表3、事实表与维度表的分类4、维度建模的三种模型5、缓慢渐变维七、本项目数仓架构八、HUE的使用九、自动化调度工具介绍十、通过HUE操作oozie本文将利用前面所学的Linux，Hadoop，Hive
吆喝的翅膀·2024-01-15 04:22

HiveQL快速使用

hive命令包括Hivecli和hiveQL命令Hiveclicli就是命令行界面，可以通过cli创建表，检查模式和查询表。
Tim在路上·2024-01-15 02:31

clickhouse常规的优化方法

一、建表优化1.1日期字段避免使用String存储建表时能用数值型或日期时间型表示的字段就不要用字符串，全String类型在以Hive为中心的数仓建设中常见，但ClickHouse环境不应受此影响。
运维仙人·2024-01-15 01:08

大数据StarRocks(六) ：Catalog

外部数据：指保存在外部数据源（如ApacheHive™、ApacheIceberg、ApacheHudi、DeltaLake、JDBC）中的数据。2.Catalog当前StarRocks提供两
运维仙人·2024-01-15 01:07

Oracle—数据恢复

文档结构1、恢复原理1.1、recyclebin（回收站）相关操作1.2、archivedredo（归档日志）1.3、supplementallog（补充日志）2、恢复场景2.1、定义删除2.2、记录删除
蓝魔Y·2024-01-15 01:46

【大数据进阶第三阶段之Hue学习笔记】Hue简介和架构介绍

通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据、运行MapReduceJob、执行Hive的SQL语句
Allen_lixl·2024-01-15 00:56

iOS工具--解压缩

搜索了一下发现有一个压缩与解压zip文件的第三方“SSZipArchive”：https://github.com/ZipArchive/ZipArchive是用C语言实现的，包装用于OC与swift.
半缘魔君·2024-01-14 22:03

大数据-hive函数与mysql函数的辨析及练习-将多行聚合成一行

目录1.collect_list:聚合-不去重2.collect_set(col):聚合-去重3.mysql的聚合函数-group_concat4.leetcode练习题1.collect_list:聚合-不去重将组内的元素收集成数组不会去重2.collect_set(col):聚合-去重函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生Array类型字段。//创建一张实验用表，
王哪跑nn·2024-01-14 21:29

当 OpenTelemetry 遇上阿里云 Prometheus

01背景在云原生可观测蓬勃发展的当下，想必大家对OpenTelemetry&Prometheus并不是太陌生。
阿里云云栖号·2024-01-14 21:49

云原生消息、事件、流超融合平台——RocketMQ 5.0 初探

今天分享的主题是云原生消息事件流超融合平台RocketMQ5.0初探，内容主要分为三个部分：首先，带大家回顾业务消息领域首选RocketMQ4发展历史以及4.x版本的演进与发展。
阿里云技术·2024-01-14 21:49

云原生改造续篇--服务的调用链路和可观测性

在上阶段云原生改造期间，我们同期还实施了微服务注册及流量管控方案，通过云原生网络2.0模型和Consul微服务注册框架实现服务发现和负载均衡。
foreverccc·2024-01-14 21:17

阿里云基于全新RocketMQ 5.0内核的落地实践

前言在上个月结束的RocketMQSummit全球开发者峰会中，由ApacheRocketMQ社区主办，阿里云天池平台、云原生应用平台承办的首届RocketMQSummit全球开发者峰会拉开帷幕。
跟你说，我爱工作·2024-01-14 21:47

【云原生】springboot 整合 OpenTelemetry

目录一、前言二、应用可观测性概述2.1什么是可观测性2.2可观测性三大指标2.2.1指标（Metrics）2.2.2日志（log）2.2.3追踪(Traces)三、OpenTelemetry介绍3.1什么是OpenTelemetry3.2OpenTelemetry架构和组件四、OpenTelemetry与OpenTracing4.1OepnTracing优势与特点4.2OpenCensus4.3O
小码农叔叔·2024-01-14 21:46

mysql 批量别名_mysql - 批量将别名应用于MYSQL中的表列 - 堆栈内存溢出

.`',column_name,'`AS`',column_name,'_',replace(TABLE_NAME,'archive_day_',''),'`')SEPARATOR',\r\n')FROMinformat
李大锤同学·2024-01-14 20:08

技术学习周刊第 2 期

从传统的HTTPS加密通信，到云原生架构下零信任网络所要求的mTLS双向认证，TLS协议已经是服务通信的必备要求了。公司PaaS平台的指标上报也采用了mTLS进行身份识别和加密。
艾希逐月·2024-01-14 19:34

Hive配置元数据库为PostgreSQL

前一篇文章说了怎样搭建Hive环境，但是Hive使用的是默认Derby数据库作为元数据库，今天说说怎样把Hive的元数据库从默认的Derby改成PostgreSQL数据库。
kongxx·2024-01-14 19:33

mysql8.0.34，win7安装配置全流程

1.下载地址：MySQL::DownloadMySQLInstaller(ArchivedVersions)2.选择安装版本和操作系统，再下载第二个进行安装，第一个是在线安装，我这边选择的是最新版本，操作系统
niuniu_666·2024-01-14 18:17

Gaia数据在线交叉

首先打开Gaia数据的网址GaiaArchive，然后选择search然后选择第二个，Advanced(ADQL)左边的就是Gaia全部的数据名称了，点击加号之后可以看到包括
夜观天象昼编程·2024-01-14 18:19

根据Debug和Release状态的变化来屏蔽日志输出

原文：http://www.cnblogs.com/springfield/archive/2011/05/04/2037089.html今天在这里分享一个很实用的小技巧。
lcdxwhj2003·2024-01-14 14:04

Python错误集锦：with方法打开文件提示：ValueError: I/O operation on closed file.

原文链接：http://www.juzicode.com/archives/2749错误提示：使用with方法打开文件后，再次read()文件时提示：ValueError:I/Ooperationonclosedfile
桔子code·2024-01-14 13:40

2023年第十四届中国数据库技术大会（DTCC2023）：核心内容与学习收获（附大会核心PPT下载）

重点围绕HTAP与多模数据库应用、图数据技术、海量数据架构下的应用实践、云原生数据库、异构环境下的数据管理工具创新等内容展开分享和探讨。一、大会核心内容1、数据库技术的发展与趋势DTCC
百家峰会·2024-01-14 12:28

#工具# 最简单的anaconda安装教程！

anaconda安装安装https://repo.anaconda.com/archive/选择安装位置并记住，全部点击next，不用安装vscode插件，直接skip。
向日葵花籽儿·2024-01-14 11:57

Nocalhost 为 KubeSphere 提供更强大的云原生开发环境

1应用商店安装NocalhostServer已集成在KubeSphere应用商店，直接访问：设置应用「名称」，确认应用「版本」和部署「位置」，点击「下一步」：在「应用设置」标签页，可手动编辑清单文件或直接点击「安装」。建议把service.type设置为ClusterIP，以确保安装不受Kubernetes网络环境影响。可结合自身研发环境来选择使用NodePort或LoadBalancer服务类型
JavaEdge.·2024-01-14 11:46

Archive打包编译报错 Command PhaseScriptExecution failed with a nonzero exit code

打包编译报错，网上找了好多方法不适用。找到Pods-Runner文件夹下，Pods-Runner-frameworks.sh文件，具体请看下图：全局搜索：source="$(readlink-f"${source}")"替换为source="$(readlink"${source}")"。解决了我打包编译出错问题。
Buger123·2024-01-14 09:17

计算机毕业设计吊炸天spark+hive+nlp慕课在线教育课程数据分析可视化大屏 知识图谱课程推荐系统 课程爬虫 文本分类 LSTM情感分析 大数据毕业设计

将.csv上传到hdfs中，并使用hive建表后导入.csv数据；9个指标，一半使用spark/scala去做实时计算分析。一半使用hive_sql进行分层离线处
计算机毕业设计大神·2024-01-14 09:48

Hive基础知识（十四）：Hive的八种Join使用方式与优缺点

1.等值JoinHive支持通常的SQLJOIN语句。
依晴无旧·2024-01-14 09:33

Hive基础知识（十三）：Hive的Group by语句与Having语句

1）案例实操：（1）计算emp表每个部门的平均工资hive(default)>selectdeptno,avg(sal)fromempgroupbydeptno;（2）计算emp每个部门中平均薪资大于2000
依晴无旧·2024-01-14 09:58

MQTT 客户端和代理以及 MQTT 服务器连接建立说明 - MQTT 要点：第 3 部分

MQTT客户端和代理以及MQTT服务器连接建立说明-MQTT要点：第3部分HiveMQ现在是开源的。HiveMQ社区版实现了MQTT代理规范，兼容MQTT3.1、3.1.1和MQTT5。
_半夏曲·2024-01-14 08:33

开源医学影像存档与检索系统(PACS)之Dcm4che-arc-light安装部署详细教程（适用于windows平台）

它是基于Dcm4che项目的一个子项目，专注于实现轻量级而功能强大的医学影像存档与检索（ARCHIVE）功能。
_半夏曲·2024-01-14 08:33

Kafka的安装、管理和配置

Kafka的安装、管理和配置1.Kafka安装官网:https://kafka.apache.org/downloads下载安装包,我这里下载的是https://archive.apache.org/dist
llp1110·2024-01-14 08:02

记csv、parquet数据预览一个bug的解决

二、实现过程1.业务流程如图：hiveSQL读取数据数据写入csv或parquet文件预览csv或parquet文件top100数据2.业务逻辑为了便于测试，
爱码少年·2024-01-14 08:49

物理机本地和集群部署Spark

文档查看地址：https://spark.apache.org/docs/3.1.3/3）下载地址：https://spark.apache.org/downloads.htmlhttps://archive.apache.org
DIY……·2024-01-14 07:43

物理机搭建单节点Flume

flumeFlume官网地址：http://flume.apache.org/文档查看地址：http://flume.apache.org/FlumeUserGuide.html下载地址：http://archive.apache.org
DIY……·2024-01-14 07:43

hivesql小技巧

hivesql日志、执行计划怎么看/用DAG图，看多少个stage，每个stage的执行内容，mr任务，执行顺序，过滤条件，是否有按预期做数据裁剪如何判断长尾通过执行日志，查看卡住的任务，记录数、数据量远大于其它的任务
时光赠予·2024-01-14 07:40

单机物理机部署Datax

一、概述DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
DIY……·2024-01-14 07:34
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他