hadoop那点事

Hive高级SQL技巧及实际应用场景

Hive高级SQL技巧及实际应用场景引言ApacheHive是一个建立在Hadoop之上的数据仓库基础设施，它提供了一个用于查询和管理分布式存储中的大型数据集的机制。
小技工丨·2025-03-14 07:40

hive 数字转换字符串_Hive架构及Hive SQL的执行流程解读

基于Hadoop做一些数据清洗啊(ETL)、报表啊、数据分析可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
weixin_39756416·2025-03-13 22:10

信息学奥赛一本通 1395：烦人的幻灯片(slides) 第四章 图论

不幸的事他不是一个非常爱整洁的人，他把自己演讲要用的幻灯片随便堆在了一起。因此，演讲之前他不得不去整理这些幻灯片。作为一个讲求效率的学者，他希望尽可能简单地完成它。
长春高老师编程·2025-03-13 22:38

ios 侧滑返回传值卡死_iOS 侧滑返回的那点事

前言对于iOS用户来说，右滑返回是一个比较常见的。那么对于一个开放者来说，怎么去实现？其中又有哪些坑呢？目前的侧滑效果有两种：1.边缘触发侧滑(苹果原生)2.全屏触发侧滑而实现目前有三种方式：1.系统自带(不自定义导航)2.使用系统动画去实现3.自定义导航，默认开启系统的返回手势参考文章：iOS侧滑返回的三种实现方式正文至于两种侧滑效果孰好孰坏没有办法说，这就需要根据公司的产品需求去衡量。对于全屏
weixin_39946364·2025-03-13 20:01

在hadoop上运行python_hadoop上运行python程序

数据来源：http://www.nber.org/patents/acite75_99.zip首先上传测试数据到hdfs：[root@localhost:/usr/local/hadoop/hadoop
廷哥带你小路超车·2025-03-13 12:58

ranger集成starrock报错

org.apache.ranger.plugin.client.HadoopException:initConnection:UnabletoconnecttoStarRocksinstance,pleaseprovidevalidvalueoffield
蘑菇丁·2025-03-13 09:01

开发那点事（十一）微信小程序地图聚合功能实现

写在前面的话公司项目需求要在微信小程序上实现地图marker点聚合的功能，百度苦寻无果，故自己实现。最终效果示例代码点我获取核心思路marker标签中的callout属性用来显示聚合点的数量点击聚合点时，以聚合点为中心放大地图，不需要再次请求后台接口根据map组件scale缩放级别将地图分成一个一个的小格子，计算小格子中marker点的数量由于小程序无法像网页端那样处理庞大的数据量，为了提高用户体
开发那点事·2025-03-13 05:04

深入大数据世界：Kontext.TECH的Hadoop之旅

深入大数据世界：Kontext.TECH的Hadoop之旅winutils项目地址:https://gitcode.com/gh_mirrors/winut/winutils在大数据的浩瀚宇宙中，Hadoop
钱桦实Emery·2025-03-13 04:58

Spring：事务

每个事务都要满足ACID特性：原子性（Atomicity）：表示事
啊Q老师·2025-03-13 03:52

大数据学习（61）-Impala与Hive计算引擎

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦一、impala与yarn资源管理YARN是ApacheHadoop
viperrrrrrr·2025-03-12 21:38

大数据学习（62）- Hadoop-yarn

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦一、YARN概述1.YARN简介Hadoop-YARN是ApacheHadoop
viperrrrrrr·2025-03-12 21:38

HBase2.6.1部署文档

1、HBase概述ApacheHBase是基于Hadoop分布式文件系统（HDFS）之上的分布式、列存储、NoSQL数据库。
CXH728·2025-03-12 17:10

Hive-4.0.1版本部署文档

Hadoop：Hive需要依赖Hadoop进行分布式存储，建议安装Hadoop3.x版本（本实验采用的是hadoop3.3.6）。
CXH728·2025-03-12 16:10

hive-3.1.3部署文档

提前准备一个正常运行的hadoop集群java环境hive安装包下载地址：https://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3
CXH728·2025-03-12 16:09

为什么要使用JUnit 开发规范

目录命名规范：让代码一目了然测试类命名测试方法命名测试方法结构规范：遵循AAA原则Arrange（准备）Act（执行）Assert（断言）一个测试方法只做一件事断言使用规范：精准验证结果选择合适的断言方法提供有意义的错误信息测试数据管理规范
潜意识Java·2025-03-12 13:21

Java集成消息队列实战：从RabbitMQ到Kafka的完整解决方案 [特殊字符]

1.2技术选型指南消息队列吞吐量延迟可靠性适用场景RabbitMQ万级微秒级★★★★★金融交易、实时通知Kafka百万级毫秒级★★★★☆日志收集、流处理RocketMQ十万级毫秒级★★★★★电商订单、事
添砖Java中·2025-03-12 09:51

mySQL和Hive的区别

SQL和HQL的区别整体1、存储位置：Hive在Hadoop上；Mysql将数据存储在设备或本地系统中；2、数据更新：Hive不支持数据的改写和添加，是在加载的时候就已经确定好了；数据库可以CRUD；3
iijik55·2025-03-12 00:41

flink-cdc实时增量同步mysql数据到elasticsearch

1.环境准备mysqlelasticsearchflinkonyarn说明：如果没有安装hadoop，那么可以不用yarn，直
大数据技术派·2025-03-11 19:51

搭建分布式Hive集群

title:搭建分布式Hive集群date:2024-11-2923:39:00categories:-服务器tags:-Hive-大数据搭建分布式Hive集群本次实验环境：Centos7-2009、Hadoop
逸曦玥泱·2025-03-11 18:17

Hadoop、Spark和 Hive 的详细关系

Hadoop、Spark和Hive的详细关系1.ApacheHadoopHadoop是一个开源框架，用于分布式存储和处理大规模数据集。
夜行容忍·2025-03-11 18:46

Windows系统下解压".tar"文件出错，提示：无法创建符号链接，可能需要以管理器身份运行winrar

1、解压文件出错，如下信息：D:\tools\hadoop-3.1.2.tar.gz:无法创建符号链接D:\tools\hadoop-3.1.2\hadoop-3.1.2\lib\native\libhadoop.so
ruangaoyan·2025-03-11 18:45

大数据技术生态圈：Hadoop、Hive、Spark的区别和关系

大数据技术生态圈：Hadoop、Hive、Spark的区别和关系在大数据领域中，Hadoop、Hive和Spark是三个常用的开源技术，它们在大数据处理和分析方面发挥着重要作用。
雨中徜徉的思绪漫溢·2025-03-11 17:07

ZooKeeper学习总结（1）——ZooKeeper入门介绍

1.概述Zookeeper是Hadoop的一个子项目，它是分布式系统中的协调系统，可提供的服务主要有：配置服务、名字服务、分布式同步、组服务等。
一杯甜酒·2025-03-11 17:03

Zookeeper+kafka学习笔记

Zookeeper是Apache的一个java项目，属于Hadoop系统，扮演管理员的角色。
CHR_YTU·2025-03-11 16:01

麒麟arm架构系统_安装nginx-1.27.0_访问500 internal server error nginx解决_13: Permission denied---Linux工作笔记072

[root@hadoop173nginx1.27.0]#wget-chttp://nginx.org/download/nginx-1.27.0.tar.gz--2024-07-0509:47:00--
添柴程序猿·2025-03-11 16:54

Zookeeper与Kafka学习笔记

一、Zookeeper核心要点1.核心特性分布式协调服务，用于维护配置/命名/同步等元数据采用层次化数据模型（Znode树结构），每个节点可存储<1MB数据典型应用场景：HadoopNameNode高可用
上海研博数据·2025-03-11 15:51

phoenix无法连接hbase shell创建表失败_报错_PleaseHoldException: Master is initializing---记录020_大数据工作笔记0180

今天发现,我的phoenix,去连接hbase集群,怎么也连不上了,奇怪了...弄了一晚上org.apache.hadoop.hbase.PleaseHoldException:Masterisinitializing
添柴程序猿·2025-03-11 00:52

认知提升—只筛选，不教育

健康的关系大多都是筛选出来的，遇到无法解决的问题其实换个人它就能解决，事不强求人不强留人，你有你的立场我有我的底线
程序员共鸣·2025-03-11 00:52

如何将安卓手机投屏到Windows 10电脑上

诸神缄默不语-个人CSDN博文目录我之所以要干这个事是为了用手机直播的时候在电脑上看弹幕……文章目录1.方法一：直接用Win10内置的投影到此电脑2.方法二：用AirDroidCast投屏到电脑上1.方法一
诸神缄默不语·2025-03-10 15:51

Hadoop的运行模式

Hadoop的运行模式1、本地运行模式2、伪分布式运行模式3、完全分布式运行模式4、区别与总结Hadoop有三种可以运行的模式：本地运行模式、伪分布式运行模式和完全分布式运行模式1、本地运行模式本地运行模式无需任何守护进程
对许·2025-03-10 09:35

0基础认识C语言（理论+实操 2）

万事开头难，越学到后面越轻松~话不多说，开始正题~前提回顾：接上次博客，我们学到了转义字符，最后留下两个转义字符不知道大家有没有动手尝试了一遍，在这里给大家演示一遍\ddd表示1~3个八进制的数字\xdd
Re.不晚·2025-03-10 04:55

数据库二三事（13）

故障管理四大类故障：事务内部故障，系统故障，介质故障，计算机病毒故障事物内部：分为预期与非预期故障，需要强制回滚事物恢复状态，自动完成且透明系统故障：软故障，因为软件意外导致非正常终止，影响所有事物，导致易失性存储器内容丢失，需要回滚所有未完成事务结果介质故障：硬故障，因为物理意义意外导致数据库数据丢失，采用备份（有局限性）和双物理存储设备，双系统方式进行保存病毒：杀死程序或备份文件恢复重点：建立
一只鱼玉玉·2025-03-10 04:54

Hadoop的mapreduce的执行过程

一、map阶段的执行过程第一阶段：把输入目录下文件按照一定的标准逐个进行逻辑切片，形成切片规划。默认Splitsize=Blocksize（128M），每一个切片由一个MapTask处理。（getSplits）第二阶段：对切片中的数据按照一定的规则读取解析返回对。默认是按行读取数据。key是每一行的起始位置偏移量，value是本行的文本内容。（TextInputFormat）第三阶段：调用Mapp
画纸仁·2025-03-10 01:34

Hadoop：分布式计算平台初探

Hadoop是一个开发和运行处理大规模数据的软件平台，是Apache的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。
dccrtbn6261333·2025-03-10 01:32

【Hadoop】如何理解MapReduce？

MapReduce是一种用于处理大规模数据集的编程模型和计算框架。它的核心思想是将复杂的计算任务分解为两个简单的阶段：Map（映射）和Reduce（归约）。通过这种方式，MapReduce可以高效地并行处理海量数据。一.MapReduce的核心概念1.Map（映射）：将输入数据分割成小块，并对每个小块进行初步处理。输出键值对（key-valuepairs），例如。2.Shuffle和Sort（洗牌
2302_79952574·2025-03-10 00:30

Hadoop：全面深入解析

Hadoop是一个用于大规模数据处理的开源框架，其设计旨在通过集群的方式进行分布式存储和计算。
CloudJourney·2025-03-09 21:29

Hadoop介绍：什么是Hadoop？了解Hadoop的应用

一、认识Hadoop框架Hadoop是一个提供分布式存储和计算的开源软件框架，使用Java语言编写，具有高扩展性、高容错性、无共享和高可用（HA）等特点，非常适合处理海量数据。
Zzzxt007·2025-03-09 21:55

Hbase在hdfs上的archive目录占用空间过大

hbase版本：1.1.2hadoop版本：2.7.3Hbase在hdfs上的目录/apps/hbase/data/archive占用空间过大，导致不停地发出hdfs空间使用率告警。
宝罗Paul·2025-03-09 13:50

Hadoop、Spark、Flink Shuffle对比

一、Hadoop的shuffle前置知识：Map任务的数量由Hadoop框架自动计算，等于分片数量，等于输入文件总大小/分片大小，分片大小为HDFS默认值128M，可调Reduce任务数由用户在作业提交时通过
逆袭的小学生·2025-03-09 10:55

早上一上班发现产品出现重大事故，作为产品经理该怎么办？

作为产品经理，工作日常最怕的三件事估计是：评审会、突然加需求、产品出现重大事故。（事件严重顺序不分前后）其中最猝不及防，最挑战产品经理承压力和行动力的莫过于早上一上班发现产品出现重大事故。
产品设计大观·2025-03-09 09:49

【Hadoop】什么是Zookeeper？如何理解Zookeeper？

ZooKeeper是一个开源的分布式应用程序协调服务，可以为分布式应用提供一致性的服务，功能包括：配置维护、名字服务、分布式同步、组服务等等。ZooKeeper的目标是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。1.Zookeeper的特点最终一致性：Client不论连接到哪个Server,展示给它的都是同一个视图。可靠性：如果某个消息被一台服务器接受，那么它
2302_79952574·2025-03-09 09:46

【Hadoop】详解HDFS

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统，它是一个高度容错性的系统，适合部署在廉价的机器上，能够提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
2302_79952574·2025-03-09 09:13

教你学会2分钟搭建Node后台服务

当你想真正做些有意思的事，比如为自己最近着迷的某个游戏做一个资料站，或者写个私人博客当树洞的时候，却发现自己不会后端寸步难行？别怕，只要你开始了，什么时候都不晚，这篇文章就可以带你分分钟搞定。
Naaaano·2025-03-09 08:56

Qt/C++中的多线程同步机制详解

同步操作就像排队一样，你做一件事，得等到它完成才能继续做下一件事。比如你在电商网站购物，点了“购买”按钮后，系统会马上查库存，这时候你会看到一个加载的提示，必须等到库存查完才能继续支付。
王者级废铁·2025-03-09 06:25

HDFS的设计架构

HDFS是Hadoop生态系统中的分布式文件系统，设计用于存储和处理超大规模数据集。它具有高可靠性、高扩展性和高吞吐量的特点，适合运行在廉价硬件上。
F_0125·2025-03-09 05:21

大数据Flink（六十四）：Flink运行时架构介绍_flink中涉及到的大数据组件

从以Greenplum为代表的MPP（MassivelyParallelProcessing，大规模并行处理）架构，到Hadoop、Spark为代表的批处理架构，再到Storm、Flink为代表的流处理架构
2401_84181942·2025-03-09 03:39

大数据运维实战指南：零基础入门与核心技术解析（第一篇）

大数据运维实战指南：零基础入门与核心技术解析（第一篇）系列文章目录第一篇：大数据运维概述与核心技能体系第二篇：Hadoop生态体系与集群部署实战第三篇：分布式存储系统运维与优化第四篇：资源调度框架YARN
emmm形成中·2025-03-09 01:19

hadoop框架与核心组件刨析（四）MapReduce

MapReduce是一种用于大规模数据处理的编程模型和计算框架，最初由Google提出，后来由ApacheHadoop实现并广泛应用。
小刘爱喇石( ˝ᗢ̈˝ )·2025-03-09 00:42

vue按钮字体大小设置_用Vue模仿antd的样式造UI组件之button

一、环境的配遇新是直朋能到置1.新建一个遇新是直朋能到分览文件夹mkdireassyui2.使用npm作为包管理新直能分支调二浏页器朋代说，工具npminit-y3件览客需和下于有快都业视的事一房望站是有
喻以流年·2025-03-09 00:57

通俗版解释：分布式和微服务就像开餐厅

解决方案：拆分成多个小厨房（分布式）：切菜间：专门处理食材准备炒菜间：只管炒菜甜品站：专注做蛋糕优势：效率暴增：每个小厨房专注做一件事抗风险：炒菜间着火了，其他厨房还能工作代价：需要传菜员（网络通信）在各厨房跑腿要协调各厨房的进度
斗-匕·2025-03-08 19:12
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他