E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
MapReduce源码分析
源码分析
:高性能限流器Guava RateLimiter
主题本章我们来分析GuavaRateLimiter是如何解决高并发场景下的限流问题的Guava是Google开源的Java类库,提供了一个工具类RateLimiter。使用时候必须加入以下依赖:com.google.guavaguava${version}其中${version}参考https://search.maven.org/search?q=g:com.google.guava%20AND
逗逼程序员
·
2024-01-25 01:19
Python requests网络库
源码分析
(第三篇:通过学习异常模块,了解http协议)
前言作者在requests包下,定义了exceptions模块,该模块中定义执行http请求过程中常见的错误,熟悉这些错误有助于我们写出健壮的业务程序,同时还能温习http的知识点,本文基于的requests版本为2.27.1exceptions模块,位于requests包中exceptions模块中又定义了很多类,每个类创建的对象,代表一个http错误,可见作者对于http协议有多熟悉逐个介绍一
叫我王员外就行
·
2024-01-25 00:03
Python
requests网络库源码分析
学习
flask_apscheduler
源码分析
前言遵循flask框架的标准的库,称为flask扩展,flask_apscheduler模块就是一个flask扩展,它使用了flask编程上下文,同时内部完全依赖apscheduler。我近期使用flask_apscheduler遇到了一个所有job全部死亡的bug。现象:job平时是正常启动的,突然某个时刻全部挂了,所以需要分析一遍源码,找出解决方案,同时也能提高自己的代码阅读能力,大家一起学习
叫我王员外就行
·
2024-01-25 00:32
flask
python
后端
JS进阶-内置构造函数(二)
静态方法就是只有构造函数Object可以调用的)Object.keysObject.valuesObject.assign•Array1.数组常见实例方法-核心方法编辑forEach()filter()
mapreduce
smilehjl
·
2024-01-25 00:57
js
javascript
开发语言
ecmascript
ThreadLocal
image.pngThreadLocal的
源码分析
Thread类中有个变量threadLocals,
程序员札记
·
2024-01-24 23:42
linuxPWM子系统
源码分析
--Apple的学习笔记
一,前言所谓学习,那么就和单纯完成任务是不同的,我的学习也是有目标的,那么从linux驱动开发的角度来说,若只是配置下就能用了,这样有点知其然而不知其所以然,所以我的目标就是先会用,然后学习框架及源码,便于将来遇到问题后调试定位和代码优化。另外,最主要的就是学习linux中面向对象的抽象设计思路。所以做完了SG90的PWM后,那么就要分析PWM源码了。并且发现了看源码有助于我在写驱动的时候对函数的
applecai
·
2024-01-24 21:03
Spark基本架构及原理
Hadoop和Spark的关系Spark运算比Hadoop的
MapReduce
框架快的原因是因为Hadoop在一次
MapReduce
运算之后,会将数据的运算结果从内存写入到磁盘中,第二次Mapredue
李飞_fd28
·
2024-01-24 20:50
死磕以太坊
源码分析
之p2p节点发现
死磕以太坊
源码分析
之p2p节点发现在阅读节点发现源码之前必须要理解kadmilia算法,可以参考:KAD算法详解。节点发现概述节点发现,使本地节点得知其他节点的信息,进而加入到p2p网络中。
mindcarver
·
2024-01-24 18:18
Android 计时器Chronometer 使用及
源码分析
ChronometerChronometer是一个「简单的计时器」组件,继承自TextView。但是Chronometer「不显示当前时间」,它显示的是从某个起始时间开始,一共过去了多长时间。主要XML属性如下:「android:countDown」是否倒计时,默认false。「android:format」设置显示时间格式。如果指定,第一个「"%s"」替换为"MM:SS"或"H:MM:SS"形式
大渔歌_
·
2024-01-24 18:58
Android
android
Linux网卡接收数据包过程图详细总结
简介本文对代码的详细实现过程不做过多的讲解,重点让读者熟悉数据的接收过程,如需进一步熟悉源码,可根据下面的链接做进一步学习:1、网卡驱动
源码分析
2、网卡结构和基础知识详解收包过程总览从TCP/IP网络分层模型中可以清楚当数据帧从网卡
快乐的学习
·
2024-01-24 16:17
驱动
驱动开发
tcp
网络协议
通过hadoop jar命令运行提交
MapReduce
到YARN中
实现Wordcount大概流程:给定数据输入的路径,给定结果输出的路径;将输入路径内的数据中的单词进行计数,将结果写到输出路径如下:在hadoop下找hadoop-
mapreduce
-examples-
%HelloWorld%
·
2024-01-24 13:28
hadoop
大数据
分布式
MapReduce
配置 & YARN集群部署
1:编辑mapred-env.sh;添加如下配置#设置jdk路径exportJAVA_HOME=/opt/module/jdk#设置JobHistoryServer进程内存为1GexportHADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000#设置日志级别为INFOexportHADOOP_MAPRED_ROOT_LOGGER=INFO,RFA2:编辑mapred-site
%HelloWorld%
·
2024-01-24 13:28
mapreduce
数据库
大数据
Spring Bean的生命周期
目录一、知识点二、
源码分析
三、扩展1、InstantiationAwareBeanPostProcessor2、AwareBeanFactory类型的容器ApplicationContext类型的容器3
xiaoyu_alive
·
2024-01-24 10:23
spring
spring
java
后端
spring
boot
Hive 优化总结
Hive优化本质:HDFS+
MapReduce
问题原因:倾斜:分区:有的分区没有数据,有的分区数据堆积。(若按天分区,每一天数据差别大就叫倾斜。)
Byyyi耀
·
2024-01-24 10:25
hive
hadoop
数据仓库
Hive优化
Go语言 标准容器
源码分析
类似于Java的集合:list,map,set等,Go语言中也提供了类似的标准容器,在标准包container包含了conatiner/list,container/heap,container/ring三种标准容器。(1)conatiner/list容器在conatiner/list源码包中提供了相关的示例,比如下面这个示例packagelist_testimport("container/li
小杰的快乐时光
·
2024-01-24 09:15
Spring Security 6.x 系列【72】授权篇之角色分层
gitee.com/pearl-organization/study-spring-security-demo文章目录1.前言2.RoleHierarchy3.案例演示3.1期望3.2集成3.2测试4.
源码分析
云烟成雨TD
·
2024-01-24 05:08
Spring
Security
6.x
spring
spring
security
spring
boot
以太坊
源码分析
:共识(3)Ethash
前言Ethash实现了PoW,PoW的精妙在于通过一个随机数确定,矿工确实做了大量的工作,并且是没有办法作弊的。接下来将介绍:Ethash的挖矿本质。Ethash是如何挖矿的。如何验证Ethash的随机数。Ethash的挖矿本质挖矿的本质是找到一个随机数,证明自己做了很多工作(计算)。在Ethash中,该随机数称为Nonce,它需要满足一个公式:Rand(hash,nonce)≤MaxValue/
大彬_一起学Golang
·
2024-01-24 05:00
【Linux 内核
源码分析
】堆内存管理
堆堆是一种动态分配内存的数据结构,用于存储和管理动态分配的对象。它是一块连续的内存空间,用于存储程序运行时动态申请的内存。堆可以被看作是一个由各个内存块组成的堆栈,其中每个内存块都有一个地址指针,指向下一个内存块。当程序需要分配内存时,堆会根据分配算法找到一块足够大的连续内存空间,并将其分配给程序。程序可以在堆中动态创建和销毁对象,而不需要在编译时确定对象的数量或大小。与静态分配的栈不同,堆的内存
攻城狮百里
·
2024-01-24 03:19
Linux
linux
【Linux 内核
源码分析
】RCU机制
RCU基本概念Linux内核的RCU(Read-Copy-Update)机制是一种用于实现高效读取和并发更新数据结构的同步机制。它在保证读操作不被阻塞的同时,也能够保证数据的一致性。RCU的核心思想是通过延迟资源释放来实现无锁读取,并且避免了传统锁带来的争用和开销。具体而言,RCU维护了一个“回收”过程,在该过程中,当没有任何读者引用时,才会真正释放资源。这样就可以避免等待所有读者完成或者互斥锁对
攻城狮百里
·
2024-01-24 03:48
Linux
linux
【Linux 内核
源码分析
】内存屏障
内存屏障内存屏障的作用是强制对内存的访问顺序进行排序,保证多线程或多核处理器下的内存访问的一致性和可见性。通过插入内存屏障,可以防止编译器对代码进行过度优化,也可以解决CPU乱序执行引起的问题,确保程序的执行顺序符合预期。Linux内核提供了多种内存屏障,包括通用的内存屏障、数据依赖屏障、写屏障、读屏障、释放操作和获取操作等。Linux内核中的内存屏障源码主要位于include/linux/com
攻城狮百里
·
2024-01-24 03:48
Linux
linux
技术方案评审
from:http://www.infoq.com/cn/news/2012/02/
MapReduce
Patterns新年开始,大部分公司都在启动大量新功能的规划及设计、技术人员同时在设计对应实现方案、
sunvince
·
2024-01-24 01:06
architecture
文档
扩展
optimization
服务器
cache
全文检索
String
源码分析
功能简介String可以代表字符串,在代码中的字符串常量,如"abc",实现上都是String类的实例。String是常量,是不可变的,线程安全的。如果需要可变的字符串,可以使用StringBuffer。Stringstr="abc"等价于chardata[]={'a','b','c'};Stringstr=newString(data);下面还有一些常见用法System.out.println(
shalk
·
2024-01-24 01:47
Spring Cloud Netflex Eureka Server
源码分析
(一)
前言上一篇文章《SpringCloudNetflexEurekaClient
源码分析
》通过源码知道,eurekaClient是通过httprest来与eurekaserver交互,实现注册服务,续约服务
程序员L札记
·
2024-01-24 00:53
Zuul
源码分析
目标明确Zuul的执行流程和重要类的分析Zuul过滤器的生命周期zuul.jpg
源码分析
zuul怎么拦截我们的请求?
鱼da王
·
2024-01-23 20:36
MapReduce
案例(五)
案例一:求订单的最大金额1、数据源Order_000001Pdt_01223.8Order_000001Pdt_0525.8Order_000002Pdt_03522.8Order_000002Pdt_04122.4Order_000002Pdt_06722.8Order_000003Pdt_02122.8Order_000003Pdt_07222.8其中第一列是订单编号,第二列是商品编号,第三列
maplea2012
·
2024-01-23 15:10
Hadoop
mapreduce
hadoop
大数据
MapReduce
数据处理流程(四)
一图胜千言①MapTask调用run方法②③循环调用LineRecordReader,读取文件中的数据,具体读取方式取决于InputFormat的类型(默认是TextInputFormat)④返回数据,其中key为数据偏移量,value为某一行数据⑤⑥⑦读取到的数据,序列化后写入环形缓冲区。写满80%之后,环形缓冲区会发生溢出,在这之前需要按照Key对数据进行排序,然后将数据写出到本地磁盘(包含k
maplea2012
·
2024-01-23 15:09
Hadoop
hadoop
Zookeeper
源码分析
ZooKeeperServer
ZooKeeperServer实现了单机版zookeeper服务端功能,子类实现了更加丰富的分布式集群功能:ZooKeeperServer|--QuorumZooKeeperServer|--LeaderZooKeeperServer|--LearnerZooKeeperServer|--FollowerZooKeeperServer|--ObserverZooKeeperServer|--Rea
softshow1026
·
2024-01-23 12:58
zookeeper
debian
分布式
emacs
源码分析
(三)
emacs
源码分析
(三)这次来分析TAG_PTR宏定义(将指针变成Lisp_Object),首先看LISP_INITIALLY在gdb中展开的样子:(gdb)macroexpLISP_INITIALLY
遍地是牛
·
2024-01-23 12:24
emacs
c语言
emacs
源码分析
(五)
emacs
源码分析
(五)因为emacs的C源码中有大量的宏,在gdb中调试是非常痛苦的,所以有下面的内容:一个更方便的调试emacs源码的方式就像在“emacs
源码分析
(四)”中提到的那样,要么是定义这么复杂的宏
遍地是牛
·
2024-01-23 12:24
emacs
emacs
源码分析
(六)
关于emacs源码中的Qtop_level和Vtop_level有时候光顾着调试看流程,忽略了代码中的细小差别,如果不特别留意的话很难发现这是两个不同的变量Qtop_level和Vtop_level,它们是如此相似:(gdb)pQtop_level$1=(structLisp_X*)0xdd70(gdb)xtypeLisp_Symbol(gdb)pVtop_level$2=XIL(0x6fffff
遍地是牛
·
2024-01-23 12:24
emacs
编辑器
MapReduce
概述
文章目录1.分布式系统的驱动力和挑战2.分布式系统的抽象和实现工具3.可扩展性、可用性、一致性4.
MapReduce
基本工作方式5.Map函数和Reduce函数1.分布式系统的驱动力和挑战分布式系统的核心是通过网络来协调
小帅吖
·
2024-01-23 11:06
分布式系统
mapreduce
大数据
云计算
分布式系统
大厂大数据面试题收录(1)
8.Hivesql到
MapReduce
转化的流程清楚吗?
后季暖
·
2024-01-23 11:49
java
开发语言
多核编程(erlang 学习笔记)(二)
首先,我们要来看看高阶函数
mapreduce
,然后我们会在一个简单的索引引擎中使用这种技术。
夲撻鲎龇
·
2024-01-23 10:22
erlang
学习
笔记
大数据分布式实时大数据处理框架Storm,入门到精通!
首先,Storm由Twitter开源,它解决了Hadoop
MapReduce
在处理实时数据方面的高延迟问题。
知识分享小能手
·
2024-01-23 09:42
学习心得体会
大数据
大数据
分布式
storm
Hadoop基本介绍
1、Hadoop的整体框架Hadoop由HDFS、
MapReduce
、HBase、Hive和ZooKeeper等成员组成,其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(HadoopDistributedFileSystem
w蕾丝
·
2024-01-23 08:53
SpringBoot
源码分析
:prepareEnviroment()
prepareEnviroment做了什么?主要作用按顺序加载命令行参数,系统参数和外部配置文件,创建并配置Web环境,获取profiles.active属性,并发布ApplicationEnvironmentPreparedEvent事件,之后获取属性时,按顺序获取,获取到就立即返回,实现了属性之间的合理加载与替换//准备环境privateConfigurableEnvironmentprepa
weixin_44145526
·
2024-01-23 07:36
spring
boot
后端
java
RocketMQ
源码分析
----长轮询
废话这篇文章主要讲RocketMQ的长轮询,为什么叫长轮询我也不清楚....主要别人这样叫我也这样叫吧,大家明白意思就好。正文RcocketMQ消费者的模式是pull模式,也就是会定时向Broker请求消息进行消费。在源码中实现是开启了后台线程不停的去pull(当然会先从队列去PullRequest,队列为空会阻塞),刚研究RocketMQ消费者pull的代码之后不久,有个问题:如果长时间没有消息
_六道木
·
2024-01-23 05:50
《Linux高性能服务器编程》笔记05
raichen/LinuxServerCodes豆瓣:Linux高性能服务器编程文章目录Linux高性能服务器编程第12章高性能I/O框架库Libevent12.1I/O框架库概述12.2Libevent
源码分析
阿正的梦工坊
·
2024-01-23 04:26
Linux
Server
服务器
linux
PostgreSQL
源码分析
:postgres.c阅读笔记
postgres.c是PostgreSQL后端的重要源代码文件,负责管理查询的整体流程。本文以PostgreSQL-12.2为例,首先对postgres.c的功能、包含的函数及函数间的调用关系进行简单概述;然后详细介绍其中的入口函数PostgresMain,并且对于PostgresMain函数涉及的通信协议将做进一步展开说明。1.postgres.c概况PostgreSQL是典型的C/S的模式,服
fufufunny
·
2024-01-23 03:19
数据库
数据库
postgresql
源码
Spark运行流程
Spark相对于Hadoop的优势Hadoop虽然已成为大数据技术的事实标准,但其本身还存在诸多缺陷,最主要的缺陷是其
MapReduce
计算模型延迟过高,无法胜任实时、快速计算的需求,因而只适用于离线批处
Cool_Pepsi
·
2024-01-23 02:12
大数据
spark
Hadoop -- HDFS
1.什么是Hadoophadoop中有3个核心组件:分布式文件系统:HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架:
MAPREDUCE
——实现在很多机器上分布式并行运算分布式资源调度平台
Cool_Pepsi
·
2024-01-23 02:42
大数据
hdfs
hadoop
Spring Security
源码分析
三:Spring Social实现QQ社交登录
OAuth2.0的认证流程示意图http://dandandeshangni.oss-cn-beijing.aliyuncs.com/github/Spring%20Security/OAuth2-Sequence.png请求第三方应用第三方应用将用户请求导向服务提供商用户同意授权服务提供商返回codeclient根据code去服务提供商换取令牌返回令牌获取用户信息在标准的OAuth2协议中,1-
淡淡的伤你
·
2024-01-23 00:38
Redisson分布式锁源码篇
❤️文章目录Redisson分布式锁源码篇一、使用Redisson分布式锁1.1引入依赖1.2调用API二、源码解析2.1可重入锁原理(1)原理解释(2)
源码分析
①尝试获取锁②
欧克小奥
·
2024-01-22 23:13
Redis
分布式
Redisson
vector的模拟实现
vector的使用以及对一些常见bug的认识有了string类的模拟实现,vector的模拟实现我们上手起来就简单一点了:首先为了和库里面的vector混淆视听,放入自己命名的空间里,并且根据vector的
源码分析
我们得出了三个成员变量
只是雪豹
·
2024-01-22 21:00
c++
算法
c++
开发语言
数据结构
源码分析
->解密Lifecycle(1)之监听
关键字:Lifecycle
源码分析
基于androidx.appcompat:appcompat:1.2.01.什么是Lifecycle?
杨0612
·
2024-01-22 21:23
MapReduce
实战:将统计结果按照手机归属地不同省份输出到不同文件中(Partitioner)
1.需求:将上次实战(统计手机号耗费的总上行流量和下行流量)的统计结果按照手机归属地不同省份输出到不同文件中(分区)2.分析:(1)
Mapreduce
中会将map输出的kv对,按照相同key分组,然后分发给不同的
Movle
·
2024-01-22 20:05
hadoop之
mapreduce
教程+案例学习(一)
第1章
MapReduce
概述目录第1章
MapReduce
概述1.1
MapReduce
定义
MapReduce
是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。
菜瓜技术联盟
·
2024-01-22 19:04
Hadoop
mapreduce
hadoop
Hadooop和Hbase是什么关系
HBase通过Hadoop的HDFS(Hadoop分布式文件系统)和
MapReduce
实现了水平扩展和处理分布式数据。本文将详细介绍hbase和hadoop有什么关系。
wwwyx12138
·
2024-01-22 17:50
hbase
数据库
大数据
Spark简介
它是一个快速通用的集群计算平台.Spark扩展了流行的
MapReduce
模型.Spark提供的主要功能之一就是能够在内存中运行计算,但对于在磁盘上运行的复杂应用程序,系统也比
MapReduce
更有效。
shinelord明
·
2024-01-22 17:17
大数据
引擎
spark
大数据
hadoop
SpringBoot @Schedule未按时执行问题解决
检查@Schedule的源码(Spring@Schedule
源码分析
),发现Schedule定时任务时串行的(定义的线程池是核心线
黄国海Argo
·
2024-01-22 13:57
spring
boot
上一页
11
12
13
14
15
16
17
18
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他