欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；《hive

//blog.jjonline.cn/userInterFace/173.html1900年至2100年公历、农历互转Js代码http://www.cnblogs.com/qintangtao/archive

作者|司徒放责编|阿秃出品|CSDN云计算（ID：CSDNcloud）阿里巴巴的应用架构演进分享阿里巴巴在云原生应用方面的探索之前，先和大家介绍一下阿里巴巴在整个应用架构方面的演进历程。

非交互式：printf"%b""rkt/root/keytab/hdfs.keytab\nrkt/root/keytab/hive.keytab\nwkt/root/keytab/merged.keytab

/usr/bin/bashktutil<hive用户，生成

Docker学习笔记前言一、Docker概述1.1Docker为什么会出现？1.2Docker的历史1.3Docker为什么这么火爆？1.4虚拟机技术与容器化技术的区别二、Docker安装2.1Docker的基本组成2.2Docker安装2.3阿里云镜像加速2.4dockerrun的执行流程2.5Docker工作原理三、Docker命令3.1镜像命令3.2容器命令3.3其他常用命令3.4小结3.5

内容预知1.Compose的相关知识1.Compose的相关概念2.为何需要docker-composedocker镜像管理的问题DockerCompose的解决方案3.Compose的特征2.Docker-compose的安装3.Compose配置常用字段和YAML文件编写3.1YAML文件格式及编写注意事项（1）YAML序列（2）YAML映射(3)序列的映射（4）映射的映射（5）序列的序列（6

✅作者简介：CSDN内容合伙人，全栈领域新星创作者，阿里云专家博主，华为云云享专家博主，掘金后端评审团成员前言：最近云原生领域热火朝天，那么云原生是什么？何为云原生？云原生用来干什么的？

背景：承接上文云原生容器化-1Linux虚拟网络介绍，本文以netfilter/iptables框架内容为主题，介绍框架原理和实践操作；由于后续介绍的Docker网络原理不涉及MAC层，因此本文内容聚焦在

1.登录和退出docker仓库使用dockerlogin和dockerlogout分别用于登录和退出docker仓库。#登录时携带用户名、密码、仓库地址信息[email protected]:8000dockerlogin--usernameseong--password3er4#ER$192.168.0.22:8000#

wgethttps://archive.apache.org/dist/maven/maven-3/3.8.6/binaries/apache-maven-3.8.6-bin.tar.gz解压文件：使用

第一种办法参考docker中ubuntu容器更换apt源_ubuntu更改apt源withdockerfile-CSDN博客sed-is@/archive.ubuntu.com/@/mirrors.aliyun.com

这正是SpringCloud的登场时机：一个全面的框架，用于构建云原生应用程序。2SpringCloud简介SpringCloud

转载地址：http://www.cnblogs.com/xiaoao808/archive/2008/07/31/1257624.html在用户登录输入密码时，常常会有因为大写锁定开启而造成输入密码错误的情况

同时支持在线事务处理与在线分析处理(HybridTransactionalandAnalyticalProcessing,HTAP)的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时HTAP、云原生的分布式数据库

从Debug或Tools菜单项打开Options窗体，勾选下面的选项：http://www.cnblogs.com/findcaiyzh/archive/2011/03/31/2000529.html

前言介绍`pt-archiver是用来归档表的工具，可以做到低影响、高性能的归档工具，从表中删除旧数据，而不会对OLTP查询产生太大影响。可以将数据插入到另一个表中，该表不需要在同一台服务器上。

1.介绍之前处理mysql历史数据归档，直接写存储过程实现的（《mysql历史数据自动归档》），换新东家后，还是决定研究下主流的pt-archiver并实施。

逐行进行)4.2表归档到表(批量进行)4.2.1归档到当前实例，并删除数据4.2.2归档到远程实例，不删除数据4.3仅清除表数据4.4表自增字段处理5.总结1.引言2.工具说明2.1使用方式pt-archiver

文章目录一、前言关于Percona二、PerconaToolkit安装percona-toolkit：pt-archiver归档命令的使用格式：示例：三、归档步骤：1）、创建归档数据库和归档表方式一(推荐

关于GitOps的更多详细内容可以查看本公众号过往的文章：云原生时代，你还不懂GitOps？让KAS给GitOps插上腾飞的翅膀极狐GitLab和ArgoCD

1.1.1行存储的特点1.1.2列存储的特点1.2TextFile1.3SequenceFile1.4Parquet1.5ORC二、数据压缩2.1数据压缩-概述2.1.1压缩的优点2.1.2压缩的缺点2.2Hive

背景基于前面搭建的3节点Kubernetes集群，今天我们使用Registry2搭建私有镜像仓库，这在镜像安全性以及离线环境下运维等方面具有重要意义。Note:由于是测试环境，以下创建了一个local-storage的StorageClass，并使用本地磁盘的方式创建使用PV，实际建议使用NFS。虚机资源共用到了三台虚机，1台作为Master节点，2台Worker节点。主机名IP说明k8s-mas

背景前面采用minikube作为Kubernetes环境来体验学习Kubernetes基本概念与操作，这样避免了初学者在裸金属主机上搭建Kubernetes集群的复杂度，但是随着产品功能的逐渐完善，我们需要过渡到生产环境中的K8S集群模式；而在实际上生产环境之前，我们先在本地虚拟机上进行了环境搭建与流程验证，作为新的起点，今天就先搭建一个3节点的Kubernetes集群。虚机资源共用到了三台虚机，

云原生月度动态云原生是企业数字创新的最短路径。《阿里云云原生每月动态》，从趋势热点、产品新功能、服务客户、开源与开发者动态等方面，为企业提供数字化的路径与指南。

同时，开发人员在考虑如何通过云原生技术，以统一架构、统一技术堆栈支撑更多类型的工作负载，从而进一步降低企业服务的运维成本。

1.简介前面文章我们讲Docker、DockerCompose和DockerSwarm都是在Linux系统上手工命令行去操作，在第一次安装的时候可以命令行，以后运维和CICD流程操作中，如果还要命令行去各个节点操作，操作就麻烦了，工作效率就低了，我们需要有一个集中管理的系统，而且是web界面化的管理系统，而且是开源的，Portainer正是这样的系统。Portainer是一款开源的容器管理工具系统

1.前言同为虚拟化技术，Docker相对于VMWare有什么特点，或者最吸引我的特点？我认为最主要的是DockerImage技术，它让我们非常方便地把应用程序包和其依赖环境打包成一个Docker镜像文件，而且这个文件相对来说还非常小，一般就是几M到几十M，然后不管是开发环境、测试环境、预发布环境还是各个线上环境，只要环境里安装了DockerEngine就可以行为一致地运行起来，不需要去考虑烦人的目

可以定义和运行多容器应用程序，用一个YAML配置文件来声明式管理服务，在一台安装了Dockerengine的Linux系统上可以很好的工作，但是现实中不可能只有一台Linux系统，一台Linux系统不可能有足够的资源运行所有的云原生应用系统

tar，全称TapeArchive，最初被设计用于在磁带存储设备上存储文件，但现在已经广泛用于在硬盘驱动器上存储和分发文件。

来自阿里云智能、蚂蚁金服、字节跳动、芒果TV、快手、美团、华为、美的、Shopee、米哈游、腾讯、同程旅行、汽车之家、网易等全球30+各行业一线厂商的嘉宾，围绕核心技术、行业实践、生产实践、平台建设、流式湖仓、云原生等多个时下热门方向

目录前言一、什么是数据倾斜二、发生数据倾斜的表现2.1MapReduce任务2.2Spark任务三、如何定位发生数据倾斜的代码四、发生数据倾斜的原因3.1key分布不均匀3.1.1某些key存在大量相同值3.1.2存在大量异常值或空值3.2业务数据本身的特性3.3SQL语句本身就有数据倾斜3.4建表时考虑不周四、触发数据倾斜的SQL操作五、数据倾斜的解决方案5.1Map长尾优化5.1.1Map读取

01Go微服务体系发展与选型随着微服务技术的快速发展，其在各个领域都形成了一系列事实标准，在Kubernetes和容器技术加持下，云原生微服务已经成为了主流解决方案。

但是很多的场景中（尤其是云原生场景），我们出于避免重复造轮子、更快的迭代速度、运行时安全等原因，会选择go语言来进行开发，ebpf-go2这个库就是当前最好的选择。

PulsarStandalone服务搭建说明简介ApachePulsar是Apache软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体。

一句话说：是一个云原生的批流一体的在诸多场景优于Kafka的新一代的消息队列中间件。ApachePulsar有哪些特性？

1.1Hive是什么？Hive是一个开源的数据仓库工具，主要用于处理大规模数据集。它是建立在Hadoop生态系统之上的，利用Hadoop的分布式存储和计算能力来处理和分析数据。

Fatalerroroccurredwhennodetriedtocreatetoomanydynamicpartitions.Themaximumnumberofdynamicpartitionsiscontrolledbyhive.exec.max.dynamic.p

离线数仓开发过程中经常会对数据去重后聚合统计，而对于大数据量来说，count(distinct)操作消耗资源且查询性能很慢，以下是调优的方式。解决方案一：groupby替代原sql如下：#=====7日、14日的app点击的用户数（user_id去重统计）selectgroup_id,app_id,--7日内UVcount(distinctcasewhendt>='${7d_before}'the

目录一、架构及组件介绍1.1Hive整体架构1.2Hive组件1.3Hive数据模型（DataModel）1.3.1Databases1.3.2Tables1.3.3Partitions1.3.4Buckets

目录一、Hive分区表1.1分区表的概念1.2分区表的创建1.3分区表数据加载及查询1.3.1静态分区1.3.2动态分区1.4分区表的本质及使用1.5分区表的注意事项1.6多重分区表二、Hive分桶表2.1

目录0问题现象1问题解决解决方案一：调整动态分区数方案一弊端：小文件剧增解决方案二：distributeby方案二弊端：数据倾斜解决方案三：distributeby命令2思考3小结0问题现象现象：报错errorr如下：[Error20004]:Fatalerroroccurredwhennodetriedtocreatetoomanydynamicpartitions.Themaximumnumb

目录一、前言二、hive普通表查询原理2.1操作演示说明2.1.1创建一张表，并加载数据2.1.2统计3月24号的登录人数2.1.3查询原理过程总结2.2普通表结构带来的问题三、hive分区表设计3.1

前提条件1、安装好Hive，参考：Hive安装部署-CSDN博客2、下载好Spark安装包，链接：https://pan.baidu.com/s/1plIBKPUAv79WJxBSbdPODw?

配置hiveonspark1、上传Spark纯净版jar包到HDFS：hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改

常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode

一Java环境部署：1.1官网下载jdkJava下载官网https://www.oracle.com/cn/java/technologies/javase/javase8u211-later-archive-downloads.html1.12

前言本篇文章主要整理hive-3.1.2版本的企业调优经验，有误请指出~一、性能评估和优化1.1Explain查询计划使用explain命令可以分析查询计划，查看计划中的资源消耗情况，定位潜在的性能问题

2023年已经过去，TiDB经过了一年的迭代，又往前进步了一点点，我们非常自豪的看到，TiDB正在不断地帮助我们的客户成功，包括但不限于：○首个云原生、分布式、全栈国产化银行核心业务系统投产上线丨TiDB

参考链接(https://www.codersrc.com/archives/6732