浅谈Hadoop

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

【大数据面试题】006介绍一下Parquet存储格式的优势

同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python
Jiweilai1·2024-02-19 13:34

Sqoop 入门基础

简介Sqoop（SQLtoHadoop）是一个开源工具，用于在关系型数据库和Hadoop之间传输数据。
香菜的开发日记·2024-02-19 13:17

浅谈在公众场合如何克服紧张心理

写在前面：笔者今天下午要去参加院里的比课，心里有些紧张，所以写了这篇文章，希望书友们能多提建议。文前三问：1.在公众场合讲话时，你会感到紧张或者焦虑吗？2.生活中碰到紧张的情况，你是如何克服这些情绪的？3.笔者一直不明白：有社恐的心理壁障和在公众场合讲话之间是否存在必然联系？或者说社恐和公讲二者之间是否存在因果关系？文：一、撞墙法很多书友看到这个方法，肯定也是很纳闷，这个方法是笔者参加乒乓球比赛的
书宣共读·2024-02-19 13:03

hadoop硬件配置 高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。500字节一个块假设我们有5000个平均大小为20GB的文件并且使用默认的分布式文件系统分块大小（64MB）同时副本因子为3，5000*20GB=102400000M=97T那么NameNode需要保存5千万个分块的信息，这些分块的大小加上文件系统的开销总共需要1.5GB的内存。但是一
xcagy·2024-02-19 13:07

收获继续

赵文威老师带来《浅谈天中文化课程的构建与实施》。毫无疑问，他，年轻的他有深厚的文化底蕴，尤其难得的是他深爱天中文化。课外他带着孩子们参观许慎文化园，孩子们唱《80000!》。
双月芽儿·2024-02-19 12:57

浅谈企业应用架构

一、什么是架构在牛津高阶词典（第7版）中，架构（architecture）一词的解释是：thedesignanstructureofacomputersystem，而架构师（architect）一词的解释是：apersonwhoisresponsibleforplanningorcreatinganidea,aneventorasituation。针对于企业应用，依据不同的关注点，架构可以分为如下
huifeng773950918·2024-02-19 12:24

【大数据】HADOOP-YARN-ContainerExecutor容器启动器详解

在NodeManager中，有三种运行Container的方式，它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中，我们就能看得出来，默认情况下，一定使用的是DefaultContainerExecutor。而一般情况下，DefaultContainerExecutor也确实能够满足我
笑起来贼好看·2024-02-19 11:38

学习篇-Hadoop-YARN-环境搭建

文章目录一、Hadoop-YARN-环境搭建一、Hadoop-YARN-环境搭建官网参考：https://hadoop.apache.org/docs/stable/hadoop-project-dist
东东爱编码·2024-02-19 11:08

【大数据】HADOOP-Yarn集群界面UI指标项详解（建议收藏哦）

目录首页（Cluster）节点信息SchedulerMetrics：集群调度信息节点信息详解（Nodes）应用列表信息（applications）队列详情页（Scheduler）指标详细说明（非常重要）首页（Cluster）集群监控信息指标详解AppsSubmitted：已提交的应用AppsCompleted：已完成的应用AppsRunning：正在运行的应用ContainersRunning：正
笑起来贼好看·2024-02-19 11:08

Hadoop-Yarn-NodeManager都做了什么

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中已经简要的分析了NodeManager
隔着天花板看星星·2024-02-19 11:00

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。
BigBigFlower·2024-02-19 11:56

Hadoop搭建之 start-yarn.sh 报错

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪·2024-02-19 11:58

hadoop-2.7.4-nodemanager无法启动问题解决方案

近期新配了hadoop-274版本的集群，发现有一个小问题，DataNode无法顺利启动。
半肉哥·2024-02-19 11:27

hadoop-yarn资源分配介绍-以及推荐常用优化参数

如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为Hadoop2.x的一部分，YARN采用MapReduce中的资源管理功能并对其进行打包，以便新引擎可以使用它们。
Winhole·2024-02-19 11:26

Hadoop-Yarn-NodeManager如何计算Linux系统上的资源信息

NodeResourceMonitorImpl）时只是提了下SysInfoLinux，下面我们展开讲下SysInfoLinux是用于计算Linux系统上的资源信息的插件二、SysInfoLinux源码packageorg.apache.hadoop.util
隔着天花板看星星·2024-02-19 11:48

node命令yarn --version指向了java

问题描述本地安装了java、hadoop和nodejs，并配置了环境变量，但是hadoop的bin目录下存在yarn命令，所以使用nodejs的yarn命令启动项目会出现找不到类，此时键入yarn-version
码学弟·2024-02-19 11:43

企业级大数据安全架构（一）平台安全隐患

1缺乏统一的访问控制机制大数据平台由Hadoop生态体系众多组件组成，而每个组件都会提供相应的WebUI界面和RESTful接口，例如Nam
·2024-02-19 11:48

浅谈电商场景中的扣除库存问题

库存一、场景二、扣减时机1.下单时扣库存2.支付完成扣库存3.预扣除三、库存存储方案1.数据库存储2.数据库缓存混合存储四、整体方案1.单数据库方案2.主从数据库方案3.主从数据库缓存方案4.数据库缓存混合存储五、其他情况1.秒杀QPS过高2.RedisQPS过高3.MasterDBQPS过高4.MasterDB单SKU库存过热总结一、场景现在网购变得非常普遍，各大网购平台除了正常售卖商品之外，还
临江蓑笠翁·2024-02-19 10:34

浅谈SPI机制之ServiceLoader的原理

大家好，我是G探险者。今天我们聊聊SPI机制，先从JDK的ServiceLoader类谈起。1.ServiceLoader介绍ServiceLoader类是JavaDevelopmentKit(JDK)的一部分，用于加载服务提供者。这个类是Java的服务提供者加载机制（SPI，ServiceProviderInterface）的核心部分，允许服务提供者被动态地加载到应用程序中。这里的"服务"是指一
G探险者·2024-02-19 10:18

MapReduce

MapReduce定义mapReduce是一个分布式运算程序的编程框架，是用户开发基于hadoop的数据分析应用的核心框架。
诺冰1314·2024-02-19 10:46

Hive入门，Hive是什么？

它是建立在Hadoop生态系统之上的，利用Hadoop的分布式存储和计算能力来处理和分析数据。
JayGboy·2024-02-19 10:31

浅谈iPaaS对企业转型的重要性

面对数字化转型的大浪潮，众多企业都期望着能快速实现全面的数字化转型，让企业在日益激烈的竞争中拥有更稳的市场地位，提升自身的实力及能力，奠定更坚实的基底。但在数字化转型过程中，部分企业数字化基础水平较薄弱，集成方面更多的是采用传统的集成方式，集成结构单一、功能间不能复用、往往需要大量的定制化开发，不仅增加了开发成本，也增加了维护难度，让企业集成的周期长、效率低，需要耗费大量的人力和物力；最后，由于不
·2024-02-19 10:50

Hive on Spark配置

pwd=66663、将Spark安装包通过xftp上传到/opt/software安装部署Spark1、解压spark-3.3.1-bin-without-hadoop.tgz进入安装包所在目录cd/opt
在下区区俗物·2024-02-15 10:51

配置hive on spark

hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改hive-site.xml文件，添加如下配置：spark.yarn.jarshdfs://hadoop
空白格2519·2024-02-15 10:51

hive on spark配置经验

常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode
小五冲冲冲·2024-02-15 10:21

浅谈linux - vs code搭建运行调试环境

概述在Linux开发过程中，用不惯vim的用户往往会选择vscode软件或者sourceinsight软件编写相关的源代码，由于vscode对linux系统的支持及界面的美观，所以小编往往会选择使用vscode来编写代码，但是，代码编写完成后，需要进行调试，除了gdb还有没有其它方式呢？答案是肯定有，vscode结合gdb就可以实现在线调试功能。操作点击调试运行按钮点击创建launch.json文
不只会拍照的程序猿·2024-02-15 09:40

浅谈Linux环境

冯·诺依曼体系结构：绝大多数的计算机都遵守冯诺依曼体系结构在冯诺依曼体系结构下各个硬件相互配合处理数据并反馈结果给用户其中控制器和运算器统称为中央处理器（CPU），是计算机硬件中最核心的部分，像人类的大脑操控其他器官一样来控制其他硬件资源存储器指的是内存（磁盘不是存储器，而是输入输出设备）输入设备和输出设备有很多具体例子，例如键盘、显示器、磁盘等等。如果不涉及控制命令，我们认为中央处理器只从存储器
Shall#·2024-02-15 09:09

分布式缓存上—浅谈缓存的理解

文章目录1.概述1.1概念1.2作用1.3原理2.缓存的分类2.1CDN缓存应用场景优点2.2反向代理缓存应用场景2.3本地应用缓存应用场景缓存介质实现1.通过编程实现2.Ehcahe缓存数据过期策略3.分布式缓存3.1Memcached基本介绍特点基本架构缓存数据过期策略数据淘汰内部实现分布式集群实现数据存储步骤：分布式算法3.2Redis基本介绍数据模型数据淘汰策略数据淘汰内部实现持久化方式底
ZNineSun·2024-02-15 09:39

浅谈缓存最终一致性的解决方案

1引言对于互联网业务来说，传统的直接访问数据库方式，主要通过数据分片、一主多从等方式来扛住读写流量，但随着数据量的积累和流量的激增，仅依赖数据库来承接所有流量，不仅成本高、效率低、而且还伴随着稳定性降低的风险。鉴于大部分业务通常是读多写少（读取频率远远高于更新频率），甚至存在读操作数量高出写操作多个数量级的情况。因此，在架构设计中，常采用增加缓存层来提高系统的响应能力，提升数据读写性能、减少数据库
简说Linux·2024-02-15 09:09

（三十八）大数据实战——Atlas元数据管理平台的部署安装

本节内容是关于ApacheAtlas的部署安装，在开始安装Atlas之前我们需要提前安装好Atlas需要集成的组件，如hadoop、zo
厉害哥哥吖·2024-02-15 09:09

浅谈Android视频缓存库

背景我们都了解播放器的作用就是把音视频压缩数据转换成原始的音视频数据渲染出来，这样我们就可以看到画面、听到声音了。这里的播放器就存在两个问题，第一个问题是视频源存在云端，我们每次看完视频之后重新观看，需要重新请求远端视频数据，这就会造成带宽的浪费。第二个问题是视频的秒开体验当我们从Feed流点击视频播放的时候，由于需要从云端获取视频，造成秒开体验较差。我们该如何去解决这两个问题呢？这就是我们今天要
BetterDaZhang·2024-02-15 08:39

浅谈redis缓存及缓存雪崩的处理

目录前言代码分析第一种代码案例：第二种方案，加锁第三种方案：semaphore实现共享锁第四种方案：基于DCL（DoubleCheckLock）模式，结合Semaphore，再次进一步对代码进行优化。第五种方案，进一步容错降级前言现在随着redis应用的越来越广泛，以及高并发情况的出现，在大多数的springboot项目中，使用redis作为缓存，越来越普遍了，而伴随而来的，在项目中应用redis
白不懂黑的静·2024-02-15 08:08

缓存服务器 性能指标,浅谈服务端的缓存

隔离，重要的cache资源，或者量大的要进行物理隔离。降低耦合，减少互相影响。做localcache，有时候可以解决热点问题，而且走unixsock更快，尤其单次请求大量key的时候更靠谱。当然实时性看怎么保证，如果时间太短可能会影响命中率。db和cache很难做成事务，所以可能会存在各种各样的不一致的坑。比如当需要异步更新cache数据时，如果是delcache的方式，须优先更新数据源，再更新c
恶魔公子维吉尔·2024-02-15 08:38

浅谈本地缓存的应用

前言缓存的本质是内存的读写速度优于磁盘，加速数据处理、加快请求响应，在并发场景下，减轻DB读的压力。本地缓存的使用，是缓存架构的基石。无论系统简单还是复杂，都离不开本地缓存的使用。本地缓存的选择本地缓存可选择：JVM堆/Ehcache/GuavaCache（1）Ehcache：支持堆外缓存，持久化。以前集中式架构，尤其是企业IT系统，用物理机或虚拟机部署，需要缓存的数据量很大，为了合理利用机器资源
梦之救赎·2024-02-15 08:38

浅谈项目的缓存使用

背景以Springboot1.x为例，结合redis做数据缓存，下面将讲述Spring缓存与java对象缓存。Spring缓存@Cacheable方法，关于用法，网上已经有很多这样的例子，这里不展开了，主要要注意Springboot1.x与2.x的调用区别、统一命名格式的定义、默认使用JDK序列化还是JSON序列化。JDK序列化：优点：反序列化不需指定类型缺点：速度慢、无序列化类型不能使用JSON
u013323965·2024-02-15 08:08

浅谈redis(四)——使用redis做缓存的常见问题

一、缓存与数据库数据一致性问题如果缓存中已经存在的数据，在数据库中做了修改，那么，缓存中的数据也需要修改，否则从缓存中拿到的数据就是旧数据，造成数据不一致的问题。解决方案有修改类解决方案和删除类解决方案。修改类解决方案就是，在修改数据库数据的同时，修改缓存中的数据。分为两种情况:先修改缓存数据，再修改数据库数据此种方案可能出现的情况是缓存数据修改成功了，但是数据库数据修改失败了。如果接受BASE理
敲代码的小小酥·2024-02-15 08:38

浅谈分布式缓存解决方案！

接口高并发的解决思路：加缓存数据静态化集群分布式同步转异步限流、降级适合加缓存的场景：读多写少的数据，不经常需要修改的数据、一致性要求不高（数据只能保持最终一致性，不能保证数据同步一致性）缓存的概念1）外存外存储器是指除计算机内存及CPU缓存以外的存储器，断电后仍然能保存数据。常用的有硬盘、u盘等。2）内存内存是计算机组成部分。被称为内存存储器，其作用是暂时存放CPU运算数据，以及与外存之间交互的
肥肥技术宅·2024-02-15 08:37

浅谈Redis缓存和数据库一致性问题

最近面试季节，估计「如何保证缓存和数据库一致性」这个问题经常会被问到，这是一个老生常谈的话题了。但很多人对这个问题，依旧有很多疑惑：到底是更新缓存还是删缓存？到底选择先更新数据库，再删除缓存，还是先删除缓存，再更新数据库？为什么要引入消息队列保证一致性？延迟双删会有什么问题？到底要不要用？...这篇文章，我们就来把这些问题讲清楚。这篇文章干货很多，希望你可以耐心读完。引入缓存提高性能我们从最简单的
90后小伙追梦之路·2024-02-15 08:07

浅谈高性能缓存架构

单纯依靠存储系统的性能提升不够的，典型的场景有：需要经过复杂运算后得出的数据，存储系统无能为力例如，一个论坛需要在首页展示当前有多少用户同时在线，如果使用MySQL来存储当前用户状态，则每次获取这个总数都要“count(*)”大量数据，这样的操作无论怎么优化MySQL，性能都不会太高。如果要实时展示用户同时在线数，则MySQL性能无法支撑。读多写少的数据，存储系统有心无力绝大部分在线业务都是读多写
风清扬鍀师傅·2024-02-15 08:07

浅谈缓存一致性问题

浅谈缓存一致性问题一、为什么使用缓存？二、保证缓存一致性的方案(写操作)1.先操作数据库，再删缓存2.先删缓存，再操作数据三、总结一、为什么使用缓存？
KK小哥·2024-02-15 08:36

浅谈业务场景中缓存的使用

业务场景中缓存的使用一、背景二、缓存分类1.本地缓存2.分布式缓存三、缓存读写模式1.读请求2.写请求四、缓存穿透1.缓存空对象2.请求校验3.请求来源限制4.布隆过滤器五、缓存击穿1.改变过期时间2.串行访问数据库六、缓存雪崩1.避免集中过期2.提前更新缓存七、缓存与数据库一致性1.设置缓存过期时间2.更新缓存/更新数据库2.1先更新数据库再更新缓存2.2先更新缓存再更新数据库3.先删除缓存再更
临江蓑笠翁·2024-02-15 08:05

【0321践行笔记】对学思践悟的思考

今天浅谈一下我对学思践悟的初步理解，让自己从今后能够更好的加以应用反思。001.学这要从三方面去学，向书本学、向牛人学、向实践学。
正本·2024-02-15 07:27

Hadoop手把手逐级搭建 第二阶段: Hadoop完全分布式(full)

前置步骤:1).第一阶段：Hadoop单机伪分布(single)0.步骤概述1).克隆4台虚拟机2).为完全分布式配置ssh免密3).将hadoop配置修改为完全分布式4).启动完全分布式集群5).在完全分布式集群上测试
郑大能·2024-02-15 04:07

java集合框架:浅谈如何使用LInkedList实现队列(Queue)和堆栈(Stack)

Java中的LinkedList是采用双向循环列表实现的。利用LinkedList可以实现栈（stack）、队列（queue）下面写两个例子学生类:intstuId;publicintgetStuId(){returnstuId;}publicvoidsetStuId(intstuId){this.stuId=stuId;}publicStringgetStuName(){returnstuNam
java菜·2024-02-15 04:04

“身”的审判与“心”的快感——浅谈施蛰存小说的身体审美和心理叙写

发掘人物的深层心理和潜意识，集中揭示人物精神状态的复杂性是新感觉派小说的一大特点。新感觉派作家善于捕捉人物微妙的心理波动，从无意识的角度入手，通过描写人物的变态心理与变态行为，展示其心理性格的矛盾冲突。他们往往以感觉化的叙事方式——心理叙写见长，以感性认识论为出发点，剖析人物心理变化。其中，施蛰存的小说运用了许多心理分析的方法，充斥大量的潜意识语言，将对人性的探究推进到隐秘幽僻的潜意识、无意识的生
雨声笙笙·2024-02-15 04:07

浅谈孩子晨起咳嗽

在推拿临床中非常常见，有的孩子经常在清晨咳嗽几声，听着似乎咽部有痰，可是孩子不会吐，过几分钟痰声就没有了。孩子的精神，食欲，大小便均正常，也不发烧。有的家长担心有“炎症”，赶紧吃消炎药。其实正确的认知不是这样的。晨起咳嗽是因为：人的鼻腔、喉、气管、支气管的黏膜上皮上排列着许多纤毛，并且含有很多黏液腺和淋巴组织。黏液腺经常分泌一些黏液，使得呼吸道保持湿润。当吸进的空气和一些杂质经过这些部位时，通过纤
菲物语·2024-02-15 03:21

浅谈财产提前赠予之罪

今天，改革大潮中诞生的创一代普遍都在50岁上下了，科技迭代越来越快，新商业形态不断产生，很多传统行业行将消失，财富保全与传承已经是大家不得不面临的一个难事。这位母亲明明是赠予女儿的房产，女儿意外离世，房产竟然要和最恨的两个男人平分？只能眼睁睁看着自己的2/3财产被他人分走，令人叹息周女士是个北京人，婚后生育一女，因为丈夫家庭要男孩，而周女士只生了一个女儿，并且再也不能生育，因此被前夫抛弃。伤心的周
保承商学院李坤强·2024-02-15 03:04

浅谈数字钱包交易系统开发_区块链技术市场应用系统开发

浅谈数字钱包交易系统开发_区块链技术市场应用系统开发钱包有四种类型，也可以说是四个发展阶段：阶段一、传统意义上的钱包，以现金的方式来管理财富。
贫穷限制不了我的想象·2024-02-15 03:41

一面数据： Hadoop 迁移云上架构设计与实践

背景一面数据创立于2014年，是一家领先的数据智能解决方案提供商，通过解读来自电商平台和社交媒体渠道的海量数据，提供实时、全面的数据洞察。长期服务全球快消巨头（宝洁、联合利华、玛氏等），获得行业广泛认可。公司与阿里、京东、字节合作共建多个项目，旗下知乎数据专栏“数据冰山”拥有超30万粉丝。一面所属艾盛集团（Ascential）在伦敦证券交易所上市，在120多个国家为客户提供本地化专业服务。公司在2
JuiceFS·2024-02-15 01:48
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他