hive分布式

hive —— map join和common join（reduce join）

Hive中的Join可分为CommonJoin（Reduce阶段完成join）和MapJoin（Map阶段完成join）。简单介绍一下两种join的原理和机制。
程序猿劝退师·2024-02-20 20:36

Spring Cloud Alibaba

此项目包含开发分布式应用服务的必需组件，方便开发者通过SpringCloud编程模型轻松使用这些组件来开发分布式应用服务。
杨健kimyeung·2024-02-20 20:53

hive如何确定map数量和reduce数量?

因为Hive底层就是MR,所以问题实际是MR如何确定map数量和reduce数量.map数量map数量逻辑如下map数量=split数量split数量=文件大小/splitsizesplitszie=Math.max
鸭梨山大哎·2024-02-20 20:35

粉丝：什么情况下，hive 只会产生一个reduce任务，而没有maptask

今天下午，在微信群里看到粉丝聊天，提到了一个某公司的面试题：什么情况下，hive只会产生一个reduce任务，而没有maptask这个问题是不是很神奇？
浪尖聊大数据-浪尖·2024-02-20 20:04

hive中mr个数判断

对于JOIN操作：Map：以JOINON条件中的列作为Key，如果有多个列，则Key是这些列的组合以JOIN之后所关心的列作为Value，当有多个列时，Value是这些列的组合。在Value中还会包含表的Tag信息，用于标明此Value对应于哪个表。按照Key进行排序。Shuffle：根据Key的值进行Hash，并将Key/Value对按照Hash值推至不同对Reduce中。Reduce：Redu
qq_18219755·2024-02-20 20:03

Hive 基于MapReduce引擎 map和reduce数的参数控制原理与调优经验

1.概述主要对基于MR的map数和reduce数测试与调优2.数据准备（1）表信息本次测试的表和sql都是使用的TPC-DS，表文件存储格式为text表名是否压缩总数占用空间文件数date_dim否730499.8M1item否4800012.9M1store否11830.5K1store_sales否230396418723109G8000store_sales_compress是2303964
abcdggggggg·2024-02-20 20:03

hive中控制map和reduce数量的简单实现方法

0、先说结论：由于mapreduce中没有办法直接控制map数量，所以只能曲线救国，通过设置每个map中处理的数据量进行设置；reduce是可以直接设置的。控制map和reduce的参数setmapred.max.split.size=256000000;    --决定每个map处理的最大的文件大小，单位为Bsetmapred.min.split.size.per.node=1;    --节点
数仓大山哥·2024-02-20 20:02

Hive拉链表设计、实现、总结

水善利万物而不争，处众人之所恶，故几于道文章目录环境介绍实现1.初始化拉链表2.后续拉链表数据的更新总结彩蛋-想清空表的数据：转成内部表，清空数据后，再转成外部表，将分区目录删掉，然后再次跑脚本，其他表都没问题就拉链表新算出过期分区的数据拉不进去，这是啥原因？有高人指点一下吗？环境介绍  拉链表可以用来记录数据的声明周期，适合那种数据量大但新增和修改频率不是很高的场景。比如总共100万条数据，每天
阿年、嗯啊·2024-02-20 20:28

(17)Hive ——MR任务的map与reduce个数由什么决定？

的数量由以下参数决定文件个数文件大小blocksize一般而言，对于每一个输入的文件会有一个mapsplit，每一个分片会开启一个map任务，很容易导致小文件问题（如果不进行小文件合并，极可能导致Hadoop集群资源雪崩）hive
爱吃辣条byte·2024-02-20 20:27

清华架构师整理分布式系统文档：从实现原理到系统实现，收藏吧

微服务、云原生、Kubernetes、ServiceMesh是分布式领域的热点技术，它们并不是凭空出现的，一定继承了某些“前辈”的优点。
java架构师联盟·2024-02-20 20:40

【LeetCode+JavaGuide打卡】Day03| 203.移除链表元素 、707.设计链表 、206.反转链表

学习目标：203.移除链表元素707.设计链表206.反转链表分布式常见面试题(下)学习内容：203.移除链表元素题目链接&&文章讲解给你一个链表的头节点head和一个整数val，请你删除链表中所有满足
WhoAmI\·2024-02-20 20:48

【LeetCode+JavaGuide打卡】Day02| 977.有序数组的平方、209.长度最小的子数组、59.螺旋矩阵II

学习目标：977.有序数组的平方209.长度最小的子数组59.螺旋矩阵II分布式常见面试题(上)学习内容：977.有序数组的平方题目链接&&文章讲解给你一个按非递减顺序排序的整数数组nums，返回每个数字的平方组成的新数组
WhoAmI\·2024-02-20 20:47

美团面试：Kafka如何处理百万级消息队列？

特别是在消息队列领域，ApacheKafka作为一个分布式流处理平台，因其高吞吐量、可扩展性、容错性以及低延迟的特性而广受欢迎。
·2024-02-20 20:07

Java使用Documents4j实现Word转PDF(知识点+案例)

涵盖技术内容：Java后端、算法、分布式微服务、中间件、前端、运维、
长路 ㅤ   ·2024-02-20 19:00

单反相机机身马达的作用

如果相机不带机身马达，那么只能用带马达的镜头，不然只能手动调整光圈来对焦，麻烦一点转载于:https://www.cnblogs.com/NICKBLOG/archive/2013/02/05/2892901
weixin_34133829·2024-02-20 19:50

Hadoop生态圈

生态圈1.HBase的数据存储在HDFS里2.MapReduce可以计算HBase里的数据，也可以计算HDFS里的数据3.Hive是数据分析数据引擎，也是MapReduce模型，支持SQL4.Pig也是一个数据分析引擎
陈超Terry的技术屋·2024-02-20 19:47

程序员们的三高：高并发、高性能、高可用！

01高并发1.1简介高并发（HighConcurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。
技术灭霸·2024-02-20 19:18

极狐GitLab Geo 主从多活架构

基本原理极狐GitLabGeo是极狐GitLab的一项功能，允许您通过创建地理分布式只读镜像实例（称为“Geo节点/从节点”）来提高性能和可用性，或用做数据热备份，且支持一主多从。
极小狐·2024-02-20 19:28

[4G+5G专题-133]: 部署 - 4G/5G常见的室内部署方案

/HiWangWenBing/article/details/121554032目录第1章概述第2章用室外宏基站进行覆盖室内2.1什么是宏基站2.2宏基站的室内覆盖场景2.3宏基站室内覆盖的不足第3章分布式天线系统
文火冰糖的硅基工坊·2024-02-20 19:54

Elasticsearch基础知识与架构概述

1.背景介绍Elasticsearch是一个基于分布式搜索和分析引擎，它可以处理大量数据并提供实时搜索功能。
禅与计算机程序设计艺术·2024-02-20 18:17

【MFC】MFC消息响应机制|消息映射表|MFC程序框架/VC 程序运行框架/VC运行顺序 从哪运行 |VC程序快捷键的添加...

目录MFC消息响应机制分析MFC消息响应机制分析http://www.cnblogs.com/dsky/archive/2012/05/28/2520853.html【MFC快捷键】VC程序快捷键的添加
bdview·2024-02-20 18:16

http协议

万维网：WWW（worldwideweb）万维网并非某种特殊的计算机网络，是一个大规模的、联机式的信息贮藏库，使用链接的方法能非常方便地从因特网上的一个站点访问另一个站点（超链技术），具有提供分布式服务的特点
小蜜蜂~嗡嗡嗡~·2024-02-20 18:55

Django下使用celery 异步发送短信验证码

celery1.celery介绍1.1celery应用举例Celery是一个基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理，如果你的业务场景中需要用到异步任务，就可以考虑使用
.@d·2024-02-20 18:18

【Java程序员面试专栏 分布式中间件】Redis 核心面试指引

关于Redis部分的核心知识进行一网打尽，包括Redis的基本概念，基本架构，工作流程，存储机制等，通过一篇文章串联面试重点，并且帮助加强日常基础知识的理解，全局思维导图如下所示基础概念明确redis的特性、应用场景和数据结构什么是Redis，Redis有哪些应用场景Redis是一个开源的、内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。Redis支持多种类型的数据结构，如字符串（s
存在morning·2024-02-20 18:39

视野 | OpenSearch，云厂商的新选择？

|最流行的全文搜索引擎Elasticsearch是一款广泛使用的开源分布式全文搜索引擎，源于ApacheLucene[1]，许可证为Apache2.0。由于出色的搜索引擎、高扩
RadonDB·2024-02-20 17:02

2022-01-13另一个嵌入Mirai 碎片的物联网僵尸网络可以从 10 万台设备执行 DDoS

碎片的物联网僵尸网络可以从10万台设备执行DDoS名为Persirai的Bot-herding软件结合了Mirai僵尸网络代码，可以征用已知150,000个易受Mirai攻击的IP摄像机的重要部分，并使用它们来发起分布式拒绝服务攻击
Eliza_卓云·2024-02-20 17:25

游戏行业洞察：分布式开源爬虫项目在数据采集与分析中的应用案例介绍

我们构建了一个基于开源分布式爬虫技术的自动化平台，实现了高效、准确的数据采集。通过自然语言处理技术，我们确保了数据的质量和一致性，并采用分布式架构大幅提升了处理速度。
思通数科x·2024-02-20 17:21

分布式事务实战方案汇总

分布式事务实战方案汇总1.最终一致性1.1本地事务表+轮询补偿交互流程场景：重构业务新老系统双写库同步项目背景分布式事务设计方案场景Q&A场景：第三方认证核验项目背景分布式事务设计方案场景Q&A1.2本地事务表
大摩羯先生·2024-02-20 17:48

分布式商城项目07-分布式唯一ID实战

在电商业务系统中，对ID生成的系统的可用性要求极高，如果生成系统不稳定，大量依赖ID生成系统，比如订单生成等关键动作都无法完成。一般情况下，我们使用数据库自增主键作为数据ID，但是在大量数据的情况下，尤其是在分库分表之后，这样就会出现ID大量重复，难以满足业务的需求，此时一个能够生成全局唯一ID的系统是非常必要的。概括下来，那业务系统对ID号的要求有哪些呢？全局唯一性：不能出现重复的ID号，既然是
java__1024·2024-02-20 17:17

redis分布式锁实战

分布式锁是什么分布式锁是控制分布式系统或不同系统之间共同访问共享资源的一种锁实现;如果不同的系统或同一个系统的不同主机之间共享了某个资源时，往往通过互斥来防止彼此干扰;Redis分布式锁的底层实现是利用
bijian-bijian·2024-02-20 17:47

分布式id实战

目录常用方式特征潜在问题信息安全高性能UUID雪花算法数据库生成美团Leaf方案Leaf-segment数据库方案Leaf-snowflake方案常用方式uuid雪花算法数据库主键特征全局唯一趋势递增信息安全潜在问题信息安全如果id连续递增,容易被爬虫,批量下载数据如果订单id是连续递增,容易被竞争对手推算出日交易量,这时候需要ID不规则可能泄漏本机mac地址高性能保证在高qps时候,系统也高可用
kk_0910·2024-02-20 17:15

消息中间件：Puslar、Kafka、RabbigMQ、ActiveMQ

以下是提到的几种消息中间件的概述：Pulsar：Pulsar是一个由Apache软件基金会管理的开源分布式发布-订阅消息系统。
MarkHD·2024-02-20 17:08

ElasticSearch（一）

Elaticsearch，简称为ES，ES是一个开源的高扩展的分布式全文搜索引擎，是整个ElasticSta
xxxxxxxpp·2024-02-20 17:32

87-分布式前端微信操作

微信登录和微信支付在上一章我们初步的完成了前端的编写，接下来我们来操作微信的登录和微信的支付微信开放平台（针对开发者和公司）：对应的微信官方文档：https://developers.weixin.qq.com/doc/oplatform/Website_App/WeChat_Login/Wechat_Login.html登录用，对应的AppID和AppSecret需要申请才可操作，需要在管理中心
各个方面都自在·2024-02-20 17:52

分布式商城设计与实现

功能模块介绍本购物系统需要实现商品信息的显示、基本的购物流程、商品的管理等基础功能。下图表示具体的功能及各功能之间的联系：数据库E-R模型购物商城系统的ER模型描述如下图所示：注册登录模块设计此模块的主要目的为实现用户的账号注册与账号登陆功能。注册通过获取用户输入的信息，向后端发送表单，并调用后端productServlet中的register方法，在register方法中，首先将前端传来的表单存
林坰·2024-02-20 16:45

项目简介-分布式基础-环境搭建

分布式基础与环境搭建一、项目简介二、分布式基础概念1、微服务2、集群&分布式&节点3、远程调用4、负载均衡5、常见的负载均衡算法6、服务注册/发现&注册中心7、配置中心8、服务熔断&服务降级9、API网关三
南波塞文·2024-02-20 16:10

应对DDoS攻击：快速恢复网站正常运行的关键步骤

当网站遭受DDoS（分布式拒绝服务）攻击时，可能会导致网站停机、性能下降和用户无法访问等问题，处理DDoS攻击需要采取一系列措施来应对和缓解攻击。
·2024-02-20 16:51

分布式场景怎么Join | 京东云技术团队

考虑到我的领域是在处理分库分表或者其他的分区模式，这让我开始不由得联想我们怎么在分布式场景应用这个Join逻辑，对于两个不同库里面的不同表我们是没有办法直接进行Join操作的。
·2024-02-20 16:14

企业场景中大语言模型的应用实践探索丨Fabarta 技术专栏

从最早的文件系统到现在的分布式图
·2024-02-20 16:42

分布式场景怎么Join | 京东云技术团队

考虑到我的领域是在处理分库分表或者其他的分区模式，这让我开始不由得联想我们怎么在分布式场景应用这个Join逻辑，对于两个不同库里面的不同表我们是没有办法直接进行Join操作的。
·2024-02-20 16:04

OpenHarmony JS和TS三方组件使用指导

OpenHarmonyJS和TS三方组件介绍OpenHarmonyJS和TS三方组件使用的是OpenHarmony静态共享包，即HAR(HarmonyArchive)，可以包含js/ts代码、c++库、
·2024-02-20 16:00

LeetCode、435. 无重叠区间【中等，贪心 区间问题】

涵盖技术内容：Java后端、算法、分布式微服务、中间件、前端、运维、ROS等。博主所有博客文件目录索引：博客目录索引(持续更新)视频平台：b站-Coder
长路 ㅤ   ·2024-02-20 16:24

跨界协作：借助gRPC实现Python数据分析能力的共享

在gRPC中，客户端可以像调用本地对象一样直接调用另一台不同的机器上服务端应用的方法，使得您能够更容易地创建分布式应用和服务。
工业甲酰苯胺·2024-02-20 16:53

OSDI 2023: ExoFlow A Universal Workflow System for Exactly-Once DAGs

系统范围：总体分布式系统使用通用机制处理所有在其上运行的应用程序的恢复。这简化了开发，但牺牲了更细粒度、应用程序优化的恢复的可能性。2.性能/恢复权衡优先级以性能为中心：使用这种方法
结构化文摘·2024-02-20 16:48

区块链之光：揭秘Web3时代的创新契机

1.区块链技术的兴起区块链技术作为一种去中心化的分布式账本技术，旨在实现信息的安全、透明和不可篡改。
Roun3·2024-02-20 16:04

Ansible 自动化运维工具的使用

command模块shell模块cron模块user模块group模块copy模块file模块hostname模块ping模块yum模块service/systemd模块script模块mount模块archive
GnaW1nT·2024-02-20 16:03

JMeter非GUI模式使用

非GUI模式适用场景：1、更省资源，更容易实现多工具集整合；2、当访问的接口服务需要通过代理服务器才能完成的；3、当一台机器产生的压力不够时，采用分布式多机远程执行模式，使得一台主控机可以控制多台压力机
想飛の烏龜·2024-02-20 15:28

Elasticsearch使用场景说明

它提供了一个分布式多租户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。
车马去闲闲丶·2024-02-20 15:18

中转站

图片发自App图片发自Apphttps://archiveofourown.org/works/22160275#comments
我搞得怎么可能是假的·2024-02-20 15:58

HarmonyOS移动应用学习笔记——1.初识HarmonyOS

架构和安全HarmonyOS架构内核层系统服务层框架层应用层HarmonyOS应用服务智能分发HarmonyOS系统安全正确的人正确的设备正确地使用数据1.3HarmonyOS关键特性硬件互助，资源共享分布式软总线分布式设备虚拟化分布式数据管理分布式任务调度一次开发
WMX_0121·2024-02-20 15:10
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他