hive云原生

大数据技术之Hive

ApacheHive概述分布式SQL计算1.以分布式的形式，执行SQL语句，进行数据统计分析2.对数据进行统计分析，SQL是目前最为方便的编程工具。
我走之後·2024-02-02 14:55

Hive函数--窗口函数

窗口函数介绍:概述:窗口函数指的是over()函数,它可以结合特定的函数一起使用,完成不同的功能.目的、作用:窗口函数=给表新增一列,至于新增的内容是什么,取决于窗口函数和什么函数一起使用.格式:能和窗口函数一起使用的函数over(partitionby分组字段orderby排序字段rowsbetween起始行and结束行)，能和窗口函数一起使用:聚合函数:count(),sum(),max(),
我走之後·2024-02-02 14:55

Hive核心优化

数据采样分桶表概述:分桶就是分文件,在创建表的时候,指定分桶字段,并设置分多少个桶,在添加数据的时候,hive会根据设置分桶字段,将数据划分到N个桶(文件)中,默认情况采用HASH分桶方案,分多少个桶,
我走之後·2024-02-02 14:54

生产环境踩坑系列::Hive on Spark的connection timeout 问题

起因7/16凌晨，钉钉突然收到了一条告警，一个公司所有业务部门的组织架构表的ETL过程中，数据推送到DIM层的过程中出现异常，导致任务失败。因为这个数据会影响到第二天所有大数据组对外的应用服务中组织架构基础数据，当然，我们的Pla-nB也不是吃素的，一旦出现错误，后面的权限管理模块与网关会自动配合切换前一天的最后一次成功处理到DIM中的组织架构数据，只会影响到在前一天做过组织架构变化的同事在系统上
dclar_·2024-02-02 13:08

spark livy hue

为Spark提供了REST接口，有如下特性:*提供交互式shell*批量提交*多用户使用用一个服务(用户模拟)*可以从任何地方使用REST的方式提交*无需对代码进行任何修改wgethttp://archive.cloudera.com
bigdataf·2024-02-02 13:08

生产环境_Spark接收传入的sql并替换sql中的表名与解析_非常NB

在爷们开发这段生产中的代码，可适配mysql,hive,hbase，gbase等等等等，基本涉及到数据库的情况基本可以进行。可以说是非常之NB！！！！！
Matrix70·2024-02-02 13:06

读写Word的组件DocX介绍与入门

本文为转载内容：文章原地址：http://www.cnblogs.com/asxinyu/archive/2013/02/22/2921861.html开源Word读写组件DocX介绍与入门阅读目录1.
uiwgi·2024-02-02 13:29

云原生 API 网关链路追踪能力重磅上线

云原生API网关介绍云原生API网关是腾讯云基于开源网关推出的一款高性能高可用的云原生API网关产品，作为云上流量入口，集成请求分发、API管理、流量监控、访问限制等功能，是微服务架构和容器架构中的重要组件
腾讯云中间件·2024-02-02 13:12

精准对接企业云原生需求 “云原生技术实践大会“筹备进入冲刺期

“2018云原生技术实践峰会”，将为中国云原生领域顶尖用户和顶尖厂商搭建对话平台，以全球化的技术视角、标杆企业的云原生实践，帮助您掌握云原生先机，助力企业顺利实现数字化蝶变。
weixin_33862041·2024-02-02 13:09

云原生与低代码：加速提效，为行业拓荒期构建生态

本文讨论了云原生和低代码技术在当前技术行业中的重要性和应用，分析了它们如何协同作用来提高效率并推动行业发展。虽然面临高成本和生态建设方面的挑战，但云原生和低代码仍然被视为行业的重要驱动力。
工业甲酰苯胺·2024-02-02 13:36

Debezium系列之：深入理解GTID全局事务标识，并记录一次数据库重启造成数据丢失的原因和解决方案

Debezium系列之：深入理解GTID，并记录一次数据库重启造成数据丢失的原因和解决方案一、背景二、深入理解什么是GTID三、深入理解gtid的uuid部分四、判断GTID之间的顺序大小五、解决方案一、背景hive
最笨的羊羊·2024-02-02 12:51

【奇思妙想】不妨大胆一点 自己做一个Nacos（用JAVA实现）

什么是NacosNacos是DynamicNamingandConfigurationService的首字母简称，一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。
乐乐家的乐乐·2024-02-02 12:43

实时数据湖：Flink CDC流式写入Hudi

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜1.环境准备•Flink1.12.2_2.11•Hudi0.9.0-SNAPSHOT(master分支)•Spark2.4.5、Hadoop3.1.3、Hive3.1.22
王知无(import_bigdata)·2024-02-02 12:01

Hive基本操作

hive操作启动hivebin/hive创建数据库createdatabasedb_hivedb_hive使用数据库usedb_hive创建表createtablestudent(idint,namestring
明明德撩码·2024-02-02 11:19

云原生--数据库第二次作业

完成MySQL主从复制。主库设置1.设置server-id值并开启binlog参数[root@server~]#vim/etc/my.cnf.d/mysql-server.cnf[mysqld]log_bin=mysql-binserver_id=120重启数据库2.建立同步账号（1）创建用户并给予权限mysql>createuserhjjidentifiedwithmysql_native_pa
小朋友呀（sy）·2024-02-02 10:11

多云和多集群环境下的云原生应用交付实践

张海宁介绍了应用交付的模型，面临的主要问题，以及如何使用云原生的方法实现应用的定义和交付。裴明明则通过网易轻舟云原生应用交付平台的设计与实践，分享了多云和跨集群环境下的应用
亨利笔记·2024-02-02 10:06

mysql常见的存储引擎有哪些？

MySQL中常用的四种存储引擎分别是：MyISAM、InnoDB、MEMORY、ARCHIVE。MySQL5.5版本后默认的存储引擎为InnoDB。
宇亲·2024-02-02 09:16

字节跳动新一代云原生消息队列实践

作者：火山引擎云原生计算研发工程师｜雷丽媛上文我们了解了在字节跳动内部业务快速增长的推动下，经典消息队列Kafka的劣势开始逐渐暴露，在弹性、规模、成本及运维方面都无法满足业务需求。
字节跳动云原生计算·2024-02-02 09:53

【云原生kubernetes系列】---亲和与反亲和

1、亲和和反亲和node的亲和性和反亲和性pod的亲和性和反亲和性1.1node的亲和和反亲和1.1.1ndoeSelector（node标签亲和）#查看node的标签root@k8s-master1:~#kubectlgetnodes--show-labels#给node节点添加标签root@k8s-master1:~#kubectllabelnodes172.17.1.107disktype=
优质&青年·2024-02-02 09:53

《云原生安全攻防》-- 云原生安全概述

从本节课程开始，我们将正式踏上云原生安全的学习之旅。在深入探讨云原生安全的相关概念之前，让我们先对云原生有一个全面的认识。什么是云原生呢?
Bypass--·2024-02-02 09:44

【云原生之kubernetes系列】--污点与容忍

污点与容忍污点（taints)：用于node节点排斥Pod调度，与亲和效果相反，即taint的node排斥Pod的创建容忍（toleration)：用于Pod容忍Node节点的污点信息，即node节点有污点，也将新的pod创建到改node上1.1污点配置NoSchedule:硬限制,不将新创建的Pod调度到具有该污点的Node上.PreferNoSchedule:软限制.避免k8s将尽量避免将Po
优质&青年·2024-02-02 07:32

MySQL 8.0 安装脚本

1下载安装包首先，我们下载MySQL8.0.25的安装包：wgethttps://downloads.mysql.com/archives/get/p/23/file/mysql-8.0.25-linux-glibc2.12
only°夏至besos·2024-02-02 07:35

【Hive】配置

目录Hive参数配置方式参数的配置方式1.文件配置2.命令行参数配置3.参数声明配置配置源数据库配置元数据到MySQL查看MySQL中的元数据Hive服务部署hiveserver2服务介绍部署启动远程连接
返返返·2024-02-02 07:33

hive学习笔记

安装配置安装hive下载hive解压重命名添加环境变量Vi/etc/proflie使环境变量生效Source/etc/profile修改配置文件cphive-env.sh.templatehive-env.shHiveMetastore
一加六·2024-02-02 06:58

Java技术栈 —— Hive与HBase

Java技术栈——Hive与HBase一、什么是Hive与HBase二、如何使用Hive与HBase？
键盘国治理专家·2024-02-02 06:23

Unity 内置着色器下载方法

Unity内置着色器下载方法官方下载GitHub下载官方下载需要科学上网官方下载链接https://unity3d.com/get-unity/download/archiveGitHub下载更新到2019.4.1Unity-Built-in-Shadershttps
SlowFeather·2024-02-02 06:55

Methodot低代码实战教程（一）——熟悉可视化Echart组件

一、产品介绍：Methodot是行云创新旗下一款面向研发使用的一站式云原生开发及应用托管平台，产品内有大量开箱即用的服务和开发工具，例如：支持开发团队进行微服务架构设计（例如一个袜子商店管理系统），服务参数以模块的形式传递配置微服务参数支持绑定
Methodot·2024-02-02 04:03

深度学习Pytorch框架搭建

记录下安装anaconda并配置GPU版本的pytorch1.清华镜像安装anaconda1.1安装地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive
不想学习的Lucy·2024-02-02 04:56

华为云容器和微服务是什么？

华为云全栈容器与微服务，业务创新快人一步敏捷、高效、智能是Cloud2.0时代企业数字化转型核心诉求，华为云全栈容器和微服务全面拥抱云原生，提供全栈云原生应用开发与管理，包括容器、微服务框架、云中间件、
舒意从生·2024-02-01 23:02

云可观测性在应用领域的主要作用

随着云计算的不断发展，云原生应用的复杂性和规模不断增加，这使得对应用性能、健康状况以及用户体验的监测变得至关重要。
掌动智能·2024-02-01 23:59

OpenHarmony—开发及引用静态共享包（API 9）

HAR(HarmonyArchive）是静态共享包，可以包含代码、C++库、资源和配置文件。通过HAR可以实现多个模块或多个工程共享ArkUI组件、资源等相关代码。
码牛程序猿·2024-02-01 22:53

Zookeeper单机版/伪集群搭建

(如java8)2使用wget命令或者xshelleditplus工具远程上传tar包到Linux(1)使用wget命令下载zookeeper安装包到linux环境下命令:wgethttp://archive.apac
我不是吴彦祖i·2024-02-01 20:43

Zookeeper单机环境和集群环境搭建

官方下载地址：https://archive.apache.org/dist/zookeeper/#wgethttps://archive.apache.org/dist/zookeeper/zookeeper
数字游牧人0v0·2024-02-01 20:12

【Linux】VMware Workstation16安装银河麒麟高级服务器操作系统V10 SP3 AMD64

麒麟服务器概述银河麒麟高级服务器操作系统V10是针对企业级关键业务，适应虚拟化、云计算、大数据、工业互联网时代对主机系统可靠性、安全性、性能、扩展性和实时性等需求，依据CMMI5级标准研制的提供内生本质安全、云原生支持
阿龙先生啊·2024-02-01 20:48

安装配置hive

1、下载上传apache-hive-2.3.7-bin.tar.gz到虚拟机/root目录下或在虚拟机正常联网的情况下使用下面的wget命令下载文件。
m0_69595107·2024-02-01 19:28

重塑云上的 Java 语言

云原生亦如此。虽没有限定的编程语言，但应用所使用的编程语言已经决定了应用部署运行的行为。
阿里云技术·2024-02-01 19:31

阿里云中间件开源往事

分布式架构和云原生重塑了中间件的游戏规则，这给国内开发者提供了重新定义中间件的历史机遇。
阿里巴巴中间件·2024-02-01 19:30

阿里巴巴闲鱼架构负责人王树彬：万亿交易规模技术架构实践

中生代技术链接技术大咖，分享技术干货全文：5000字预见未来的最好方式就是创造未来，用「云原生Talk」记录云原生时代下每个造梦者的故事。
中生代技术·2024-02-01 19:58

yolov8上使用gpu教程

nvidia-smi2.网址：https://developer.nvidia.com/cuda-toolkit-archive3.安装细节安装的前提基础是，有vs的C++环境。
论搬砖的艺术·2024-02-01 17:04

[ubuntu]add-apt-repository 添加以及移除

add-apt-repository是一个用于添加PPA（PersonalPackageArchive）存储库的命令。
FL1623863129·2024-02-01 15:52

Flink消费kafka写入hive，报错GC

报错信息Flink消费kafka写入hive，报错GC。Taskmanager内存加到16GB。不起作用。
dgbcf·2024-02-01 15:55

MYSQL的配置和安装

下载安装打开官网MYSQL官网点击DOWNLOADS滑到最低下点击：MYSQLCommunity(GPL)Downlads点击DownloadArchives点击MySQLCommunityServer
白色的生活·2024-02-01 15:18

GO 的 Web 开发系列（四）—— 静态资源文件访问的几种方式

全文链接：https://blog.nineya.com/archives/155.html一、路由组配置一般情况下，通过路由需要完成两个事情，一是通过HTML模板完成前端页面的渲染，二是实现Api接口调用
玖涯菜菜子·2024-02-01 14:31

大数据开发流程图

1、大数据流程图2、大数据各个环节主要技术2.1、数据处理主要技术Sqoop：（发音：skup）作为一款开源的离线数据传输工具，主要用于Hadoop(Hive)与传统数据库（MySql,PostgreSQL
xyzkenan·2024-02-01 14:30

高压电机控制系统的主要设计考虑因素

[转载于]http://blog.21ic.com/user1/5585/archives/2009/56468.html作者xgywinner日期2009-3-118:56:00在现代机器人设计中，头部
iteye_14847·2024-02-01 13:26

大数据学习(32)hive优化方法总结

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦Hive优化主要从以下几个方面考虑：数据倾斜：对于数据倾斜问题，
viperrrrrrr·2024-02-01 12:08

Kubernetes核心实战

kubernetes（一）概述与架构kubernetes（二）创建集群云原生实战·语雀官网Kubernetes文档|KubernetesB站课程：https://www.bilibili.com/video
Shinka-深深·2024-02-01 12:13

tar 命令

tar命令介绍tartar是tapearchive(磁带归档)的缩写,用来创建和提取档案文件。该命令是linux中很重要的命令，提供了存档的功能。
pipu·2024-02-01 12:39

bigtable: A Distributed Storage System for Structured Data

ADistributedStorageSystemforStructuredDatahttp://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/en//archive
weixin_33978044·2024-02-01 12:35

NCBI SRA数据库使用详解----学习笔记

SRA(SequenceReadArchive)数据库是用于存储二代测序的原始数据，包括454，Illumina,SOLiD,lonTorrent,Helicos和CompleteGenomics。
盲人骑瞎马5555·2024-02-01 12:22
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他