HDFS源码解析

【Spring源码分析】推断构造方法

推断构造方法源码解析一、确认候选构造——AutowireAnnotationBeanPostProcessor#determineCandidateConstructors二、autowireConstructor
假正经的小柴·2024-02-11 20:38

【Spring源码分析】@Resource注入的源码解析

@Resource注入的源码解析一、绪论二、CommonAnnotationBeanPostProcessor源码分析postProcessMergedBeanDefinition源码解析postProcessProperties
假正经的小柴·2024-02-11 20:37

【Spring源码分析】Spring的启动流程源码解析

】执行流程之非懒加载单例Bean的实例化逻辑【Spring源码分析】从源码角度去熟悉依赖注入（一）【Spring源码分析】从源码角度去熟悉依赖注入（二）【Spring源码分析】@Resource注入的源码解析
假正经的小柴·2024-02-11 20:07

HBase知识点总结

是建立在HDFS之上，提供高可靠性、高性能、列存储、可伸缩、实时读写NoSql的数据库系统。
·2024-02-11 17:17

Java并发集合之LinkedBlockingDeque使用与原理，附源码解析

LinkedBlockingDeque简介LinkedBlockingDeque是一个线程安全的双向并发阻塞队列，同时支持FIFO（先进先出）和FILO（先进后出）两种模式，并且为防止数据无限膨胀，可以设置阻塞队列的容量，默认不设置的话容量大小为Integer.MAX_VALUELinkedBlockingDeque特性继承AbstractQueue，是一个同时支持FIFO和FILO的双向队列线程
不烦来了·2024-02-11 14:08

Java线程池队列LinkedBlockingDeque的详细原理分析-刘宇

二、LinkedBlockingDeque类的关系图三、BlockingDeque介绍四、LinkedBlockingDeque源码解析1、字段解析2、入队操作2.1、putFirst方法2.2、offerFirst
Brycen Liu·2024-02-11 14:07

Java并发包源码学习系列：阻塞队列实现之LinkedBlockingDeque源码解析

文章目录LinkedBlockingDeque概述类图结构及重要字段linkFirstlinkLastunlinkFirstunlinkLastunlink总结参考阅读系列传送门：Java并发包源码学习系列：AbstractQueuedSynchronizerJava并发包源码学习系列：CLH同步队列及同步资源获取与释放Java并发包源码学习系列：AQS共享式与独占式获取与释放资源的区别Java并
天乔巴夏丶·2024-02-11 14:37

【大数据】Flume-1.9.0安装➕入门案例

目录前言一、Flume概述Flume基础架构二、Flume-1.9.0安装➕入门案例1.下载1.9.0解压2.监控端口数据官方案例3.实时读取本地文件（hive.log）到HDFS案例4.实时读取目录文件到
欧叶冲冲冲·2024-02-11 09:34

大数据入门--Flume（一）安装教程与案例

Flume（一）安装教程与案例安装教程案例监控端口数据官方案例(netcat-logger)实时监控单个追加文件(exec-hdfs)进阶版存在的问题实时监控目录下多个新文件(taildir)实时监控目录下多个新文件
许中宝·2024-02-11 09:34

Hive与ClickHouse的区别

Hive的存储引擎使用HDFS，计算引擎使用MapReduce或Spark。Hive本质上是一个元数据管理平台，通过对存储于HDFS上的数据文件附加元数据，赋予HDFS上的文件以数据库表的语义。
晓之以理的喵~~·2024-02-11 08:18

Hadoop（三）通过C#/python实现Hadoop MapReduce

MapReduceHadoop中将数据切分成块存在HDFS不同的DataNode中，如果想汇总，按照常规想法就是，移动数据到统计程序：先把数据读取到一个程序中，再进行汇总。
dotNET跨平台·2024-02-11 08:17

ClickHouse的特征,性能,优点,缺点,应用场景以及什么是OLAP,Clickhouse的相关优化

可以存储海量数据;因为clickhouse是分布式存储海量数据,所以解决了高并发的问题;clickhouse中的数据底层是列式存储clickhouse不仅可以管理自己的数据,也可以读取别人的数据,比如masql,hdfs
晓晓很可爱·2024-02-11 08:15

【flink脚本系列】pyflink-shell.sh 功能用法示例源码解析

pyflink-shell.sh文章目录pyflink-shell.sh脚本主要功能脚本加上中文注释该脚本多种用法及其代码示例flink中其他类似脚本脚本主要功能该脚本用于启动PyFlink的交互式Shell。它设置必要的环境变量，并调用pyflink.shell模块来执行PyFlinkShell。脚本加上中文注释bin=`dirname"$0"`bin=`cd"$bin";pwd`."$bin"
BigDataMLApplication·2024-02-11 07:25

Spark编程题

现有100W+条数据存储在hdfs中的userinfo文件夹中的多个文件中,数据格式如下：张三|男|23|未婚|北京|海淀李四|女|25|已婚|河北|石家庄求：1.数据中所有人的平均年龄2.数据中所有男性未婚的人数和女性未婚人数
不愿透露姓名的李某某·2024-02-11 07:09

RocketMQ 源码分析 —— 集成 Spring Boot

源码精品专栏原创|Java2020超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
公众号-芋道源码·2024-02-11 06:33

Tiny Http源码解析

相关概念源码HTTPCGIgetsockname()函数说明accept_request:处理从套接字上监听到的一个HTTP请求，在这里可以很大一部分地体现服务器处理请求流程。bad_request:返回给客户端这是个错误请求，HTTP状态吗400BADREQUEST.cat:读取服务器上某个文件写到socket套接字。cannot_execute:主要处理发生在执行cgi程序时出现的错误。err
一天开始了·2024-02-11 06:26

并发编程--线程池源码解析

文章目录一、背景与介绍1）何为线程池？2）什么时候使用？3）优点二、executor1）继承与实现UML图2）源码三、ExecutorService1）execute:履行Ruannable类型的任务2）submit:可用来提交Callable或Runnable任务，并返回代表此任务的Future对象3）shutdown:在完成已提交的任务后封闭办事，不再接管新任务4）shutdownNow：停止
心心念念的小鼠标·2024-02-11 01:01

C#系列-C#访问hadoop API（9）

在C#中访问Hadoop通常涉及到与Hadoop分布式文件系统（HDFS）进行交互，以及可能执行MapReduce作业或其他Hadoop生态系统组件（如HBase或Hive）。
管理大亨·2024-02-10 22:27

大数据测试-Hive DML语句与函数使用2

一、HiveSQLDML语法之加载数据HiveSQL-DML-Load加载数据回顾在Hive中建表成功之后，就会在HDFS上创建一个与之对应的文件夹，且文件夹名字就是表名；文件夹父路径是由参数hive.metastore.warehouse.dir
Yasar.l·2024-02-10 22:55

hadoop-HDFS

架构图在这里插入图片描述2.读写的流程图在这里插入图片描述2.操作1.使用MAVEN集成对应的jar包org.apache.hadoophadoop-common2.7.1org.apache.hadoophadoop-hdfs2.7.12
炽热_3a57·2024-02-10 22:45

报表任务治理计划

先给大家介绍我们我们公司的报表产出组件图：报表产出图底层平台由HDFS、Yarn分别提供存储和计算支持在这之上我们提供了一套支持MR、Spark任务开发、依赖执行的调度系统BI业务同学利用调
liujianhuiouc·2024-02-10 12:46

vue3 源码解析之Reactive实现的原理

第一节：vue3响应式的API；reactive（响应）：shallowReactive（浅响应）:readonly（只读）:shallowReadonly（浅的只读），浅相当于第一层。import{reactive,readonly,shallowReactive,shallowReadonly}from'vue'constobj=reactive（{name:'张三',list:;[{like
h960822·2024-02-10 12:49

计算机毕业设计PyFlink+Hadoop+Hive民宿数据分析可视化大屏 民宿推荐系统 民宿爬虫 民宿大数据 知识图谱 机器学习 大数据毕业设计

流程1.selenium自动化爬虫框架采集民宿数据约10万条存入.csv文件作为数据集；2.使用pandas+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs；3
计算机毕业设计大神·2024-02-10 10:56

HDFS常用命令

HDFS常用命令hdfs命令最常用的就是：hdfsdfs-[linux的命令]通过查看Hadoop的命令与hdfs的命令并不相同，且不存在包含关系。仅仅是hadoopfs与hdfsdfs可以等价。
昱东i·2024-02-10 06:30

could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running

学习使用Hadoop-3.2.2APIIDEA中使用Java向hdfs写入文件时出现如下错误：couldonlybereplicatedto0nodesinsteadofminReplication(=
昱东i·2024-02-10 06:30

NSGA-II 源码解析

ifyouwanttounderstandthesourcecode,youcouldreferto多目标遗传算法——NSGA-II（部分源码解析）介绍thecorecodeofnsga2isfor(i
谭树杰的博客·2024-02-10 05:09

（十八）springboot实战——spring securtity注解方式的授权流程源码解析

前言在上一节内容中，我们介绍了如何在FilterSecurityInterceptor过滤器中处理用户的授权流程，并分析了其源码，springsecurity还提供了方法级别的授权方式，通过@EnableMethodSecurity注解启用权限认证流程，只需要在方法名上使用@PreAuthorize、@PostAuthorize、@Secured等注解就可以实现具体方法请求的权限配置，是一种更加灵
厉害哥哥吖·2024-02-10 02:43

京东面试总结

2hdfs上传文件有哪几种方式？3Hive的优化问题？4Hive的数据倾斜问题？5数据分析？概念和总结6Django源码？7python的浅拷贝和深拷贝？
小小少年Boy·2024-02-09 21:45

hdfs支持lzo压缩配置

1安装linux的lzo库需要在集群的每一个节点都安装lzo库，假定都64位的机器。1）安装lzo操作如下：wgethttp://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz2）解压tar-zxvflzo-2.10.tar.gz3.进入解压后的目录：cdlzo-2.104.编译参数配置：本例lzo安装在/usr/local/lz
机灵鬼鬼·2024-02-09 20:28

Excel百万级数据导入导出，EasyExcel 才是 yyds

每天14:00更新文章，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ
Java基基·2024-02-09 16:28

Spark SQL（十一）：与Spark Core整合

1、筛选出符合查询条件（城市、平台、版本）的数据2、统计出每天搜索uv排名前3的搜索词3、按照每天的top3搜索词的uv搜索总次数，倒序排序4、将数据保存到hive表中3、实现思路：1、针对原始数据（HDFS
雪飘千里·2024-02-09 06:34

java线程池源码解析

主要介绍线程池相关知识，关于线程池，首先我们思考下为什么要用线程池。如果单纯的使用线程，线程的创建和销毁都是自己来完成，如果并发请求过多，可能造成资源耗尽。线程池可以对线程进行统一分配，调优和监控。本篇文章为《图灵学院》课程笔记降低资源消耗（线程无限制地创建，然后使用完毕后销毁）提高响应速度（无须创建线程）提高线程的可管理性java是如何实现和管理线程池的，jdk5开始把工作单元和任务执行分离，工
ajajaj·2024-02-09 03:37

redisson源码解析

由于synchronized跟ReetrantLock是JVM级别的锁，在分布式情况下失效，这时候我们通常会选择redisson基于redis封装好的分布式锁。下面我们一起来分析以下redisson的源码。使用方式流程getLock源码给命令执行器赋值给看门狗时间赋值，默认30秒给发布订阅器赋值-生成UUIDtryLock源码publicbooleantryLock(longwaitTime,lo
码农dls·2024-02-08 23:27

Vue 生命周期

文章目录一、Vue2的生命周期函数Vue2请求接口一般放在哪个生命周期Vue2生命周期运行解析源码解析初始化阶段模板编译阶段挂载阶段mountComponent()Watcher_update()销毁阶段什么时候会调用
fmk1023·2024-02-08 20:32

（十七）springboot实战——spring securtity的授权流程源码解析

前言本节内容是关于springsecurity安全框架授权流程的源码分析，springsecurity的授权流程主要是在FilterSecurityInterceptor过滤器中实现的。我们会通过源码层级的分析，了解清楚springsecurity的底层是如何实现用户授权的。正文1.配置一个请求路径的权限为USER_DEL，真实的用户只包含USER_LIST和USER_ADD权限-配置请求路径权限
厉害哥哥吖·2024-02-08 17:19

（十六）springboot实战——spring securtity的认证流程源码解析

前言本节内容是关于springsecurity安全框架认证流程的源码分析，springsecurity的认证流程主要是在UsernamePasswordAuthenticationFilter过滤器中实现的。我们会通过源码层级的分析，了解清楚springsecurity的底层是如何实现用户的认证的。正文1.发起post方式的登录请求/login-请求首先会进入抽象的认证授权处理过滤器Abstrac
厉害哥哥吖·2024-02-08 17:47

深度了解LinkedBlockingQueue底层实现原理

2.方法add、remove、element、clear、addAll的实现原理三、BlockingQueue接口定义解析1.入列操作2.出列操作3.其他操作四、LinkedBlockingQueue源码解析
对酒当歌丶人生几何·2024-02-08 17:16

Java中的Future源码讲解

JAVAFuture源码解析文章目录JAVAFuture源码解析前言一、传统异步实现的弊端二、whatisFuture?
对酒当歌丶人生几何·2024-02-08 17:16

深度解析ScheduledThreadPoolExecutor源码之DelayedWorkQueue

1.2堆的基本操作1.2.1插入节点元素1.2.2删除节点元素1.2.3构建二叉堆1.3堆特性总结二、DelayedWorkQueue源码解析2.1DelayedWorkQueue参数解析2.2DelayedWorkQueue
对酒当歌丶人生几何·2024-02-08 17:16

Spring 事件发布机制

目录事件驱动使用事件机制Java事件使用Spring事件使用使用Aware不使用AwareSpring事件发布流程及源码解析ApplicationEventApplicationListener监听者注册
夜光下丶·2024-02-08 14:43

No.2大数据入门 | 环境搭建：jdk1.8安装及环境配置

Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem)，简称HDFS，Hadoop的框架最核心的设计就是:HDFS和MapReduce：HDFS为海量的数据提供了存储
滚滚红尘_8133·2024-02-08 11:43

Hadoop多次格式化后如何解决

产生原因我们在配置hadoop中的hdfs时，会设置元数据的存储位置，如图所示要想解决此问题，先停止所有启动的服务stop-all.sh然后删除上图画出来的配置文件，这里三台机器都要删，最后进入hadoop
(((φ(◎ロ◎;)φ)))牵丝戏安·2024-02-08 11:50

基于注解的SpringAOP源码解析（三）

注意，读完本篇文章需要很长很长时间在之前的2篇文章：AOP源码分析（一）AOP源码分析（二）中，我们搭建了SpringAOP源码分析的环境，介绍了@EnableAspectJAutoProxy注解和postProcessBeforeInstantiation方法是如何加载所有增强的。本篇文章则将描述一下AOP中剩余的实现逻辑postProcessAfterInitialization这个方法是在b
Java学习录·2024-02-08 08:18

Hadoop生态漏洞修复记录

Hadoop常用端口介绍HDFSNameNode50070dfs.namenode.http-addresshttp服务的端口50470dfs.namenode.https-addresshttps服务的端口
不会吐丝的蜘蛛侠。·2024-02-08 08:30

Hadoop2.7配置

core-site.xmlfs.defaultFShdfs://bigdata/ha.zookeeper.quorum192.168.56.70:2181,192.168.56.71:2181,192.168.56.72
不会吐丝的蜘蛛侠。·2024-02-08 08:59

HDFS执行balance报错：hdfs balance java.io.IOException: Another Balancer is running.. Exiting

现象：1、大数据Hadoop集群，HDFS扩容后，为了使各节点数据均衡，执行balance操作。2、启动hdfsbalance时，一直出现其他的balance在执行中，其实并没有执行。
不会吐丝的蜘蛛侠。·2024-02-08 08:29

hadoop调优-hdfs配置优化

配置文件hdfs-site.xml生产环境建议优化：dfs.permissions.enabledtruedfs.namenode.handler.count90dfs.ha.automatic-failover.enabledtrue
不会吐丝的蜘蛛侠。·2024-02-08 08:28

hive自定义UDF依赖第三方jar包

上传jar包到HDFS上hdfsdfs-putxxxx.jar/tmp/hive/创建永久函数：createfunctionmy_funas'com.test.TestUDF'usingjar'hdfs
不会吐丝的蜘蛛侠。·2024-02-08 08:28

spark运行失败The directory item limit of /spark_dir/spark_eventLogs is exceeded: limit=1048576 items=104

报错：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException
不会吐丝的蜘蛛侠。·2024-02-08 08:58

删除和清空Hive外部表数据

外部表和内部表区别未被external修饰的是内部表（managedtable），被external修饰的为外部表（externaltable）；区别：内部表数据由Hive自身管理，外部表数据由HDFS
SunnyRivers·2024-02-08 08:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他