E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark大数据平台源码分析
消息中间件之RocketMQ
源码分析
(七)
并行消费和顺序消费ConsumeMessageService是一个通用的消费服务接口,它包含两个实现类org.apache.rocketmq.client.impl.consumer.ConsumeMessageConcurrentlyService和org.apache.rocketmq.client.impl.consumer.ConsumeMessageOrderlyService,这两个实
coffee_babe
·
2024-02-19 22:58
消息中间件
rocketmq
java
消息中间件
消息中间件之RocketMQ
源码分析
(九)
NamesrvNamesrv核心数据结构和API.Namesrv中保存的数据被称为Topic路由信息,Topic路由决定了Topic消息发送到哪些Broker,消费者从哪些Broker消费消息,那么路由信息都包含哪些数据呢?路由数据结构的实现代码都在RouteInfoManager类中BROKER_CHANNEL_EXPIRED_TIME:Broker存活的事件周期,默认为120stopicQUe
coffee_babe
·
2024-02-19 22:58
消息中间件
rocketmq
java
消息中间件之RocketMQ
源码分析
(二)
生产者的消息发送流程业务层:通常指直接调用RocketMQClient发送API的业务代码消息处理层:指RocketMQClient获取业务发送的消息对象后,一系列的参数检查、消息发送准备、参数包装等操作通信层:指RocketMQ基于Netty封装的一个RPC通信服务,RocketMQ的各个组件之间的通信全部使用该通信层首先RocketMQ客户端接收业务层消息,然后通过DefaultMQProdu
coffee_babe
·
2024-02-19 22:57
消息中间件
rocketmq
java
消息中间件之RocketMQ
源码分析
(十)
Namesrv启动流程第一步:脚本和启动参数配置。启动命令nohup./bin/mqnamesrv-c./conf/namesrv.conf>dev/null2>&1&通过脚本配置启动基本参数,比如配置文件路径、JVM参数,调用NamesrvStartup.main()方法,解析命令行的参数,将处理好的参数转化为Java实例,传递给NamesrvController实例第二步:new一个Names
coffee_babe
·
2024-02-19 22:55
消息中间件
rocketmq
java
消息中间件
Linux下
Spark
offline安装graphframes包
文章目录背景安装步骤背景GraphX是
Spark
中用于图计算的模块.
Spark
安装包中内置Scala语言的GraphX库,但是对于Python语言的安装包,需要额外进行安装.对于内网服务器,不能访问外网
ithiker
·
2024-02-19 22:45
spark
linux
spark
详解tomcat中的jmx监控
目录1.概述2.如何开启tomcat的JMX3.tomcat如何实现JMX的
源码分析
1.概述本文是博主JAVA监控技术系列文章的第二篇,前面一篇文章中我们介绍了JAVA监控技术的基石——jmx:【JMX
_BugMan
·
2024-02-19 20:01
JAVA
EE
运维
tomcat
java
【STM32 CubeMX】GPIO_HAL库
源码分析
文章目录前言一、GPIO_HAL库
源码分析
1.1初始化GPIO1.2HAL_GPIO_Init
源码分析
GPIO_InitTypeDef初始化结构体HAL_GPIO_Init函数总结前言提示:这里可以添加本文要记录的大概内容
人才程序员
·
2024-02-19 20:23
stm32
嵌入式硬件
单片机
c
c++
AWS Serverless Py
Spark
指定 Python 版本(qbit)
的最新版本是6.15,自带的Python版本是3.7,尝试上传使用Python3.11Python环境打包技术栈Ubuntu22.04(x86)Linuxversion5.15Python3.11.5py
spark
3.4.1conda23.10.0conda-pack0.7.1
·
2024-02-19 16:05
【Spring
源码分析
】解析配置类-ConfigurationClassPostProcessor
源码分析
阅读此需阅读下面这些博客先【Spring
源码分析
】Bean的元数据和一些Spring的工具【Spring
源码分析
】BeanFactory系列接口解读【Spring
源码分析
】执行流程之非懒加载单例Bean
假正经的小柴
·
2024-02-19 15:49
Java源码分析
spring
数据库
前端
Quick introduction to Apache
Spark
什么是
Spark
Apache
Spark
是一种快速通用的集群计算系统。它提供Java,Scala,Python和R中的高级API,以及支持通用执行图的优化引擎。
Liam_ml
·
2024-02-19 13:29
Spark
中多分区写文件前可以不排序么
背景
Spark
3.5.0目前
Spark
中的实现中,对于多分区的写入默认会先排序,这是没必要的。
鸿乃江边鸟
·
2024-02-19 13:10
分布式
spark
大数据
spark
大数据
分布式
Flink 细粒度滑动窗口性能优化
大数据技术AIFlink/
Spark
/Hadoop/数仓,数据分析、面试,源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口(窗口长度远远大于滑动步长)时,
hyunbar
·
2024-02-19 13:39
Flink
大数据
flink
java
数据库
【大数据面试题】006介绍一下Parquet存储格式的优势
同时一般查询使用时不会使用所有列,而是只用到几列,所以查询速度会更快压缩比例高因为是列式存储,所以可以对同一类型的一段做压缩,压缩比例高支持的平台和框架多在Hadoop,
Spark
,Presto,Python
Jiweilai1
·
2024-02-19 13:34
一天一道面试题
大数据
spark
hadoop
七天爆肝flink笔记
一.flink整体介绍及wordcount案例代码1.1整体介绍从上到下包含有界无界流支持状态特点与
spark
对比应用场景架构分层1.2示例代码了解了后就整个demo吧数据源准备这里直接用的文本文件gradle
我才是真的封不觉
·
2024-02-19 13:01
flink
笔记
大数据
Axios学习
的其他使用4.Axios响应结果的结构分析5.Axios配置对象详细说明6.axios的默认配置7.axios创建实例对象(create)8.axios拦截器1.请求拦截器2.响应拦截器9.取消请求10.
源码分析
Kiwi23333
·
2024-02-19 12:15
学习
读TiDB源码聊设计:浅析HTAP的SQL优化器
版本日期备注1.02024.2.18文章首发本文的的
源码分析
全部基于TiDB6.5来做分析。1.引子如果让你做一个分布式数据库的优化器,面对以下的SQL,你会想到什么好的方法去执行他们呢?
·
2024-02-19 11:23
tidbgo性能优化分布式系统
企业级大数据安全架构(一)平台安全隐患
作者:楼高引言当谈到企业级
大数据平台
时,安全性是一个至关重要的方面。随着数据规模的不断增长和信息的敏感性,
大数据平台
面临着多种安全隐患,需要得到充分的关注和解决,以确保其在生产环境中可靠可用。
·
2024-02-19 11:48
大数据企业级安全性
Owin Katana 的底层
源码分析
usingMicrosoft.Owin;23[assembly:OwinStartup(typeof(Owin.Analysis.Startup))]4namespaceOwin.Analysis5{6publicclassStartup7{8publicvoidConfiguration(IAppBuilderapp)9{10app.Run(context=>11{12context.Respo
金色888
·
2024-02-19 11:49
(15)Hive调优——数据倾斜的解决指南
目录前言一、什么是数据倾斜二、发生数据倾斜的表现2.1MapReduce任务2.2
Spark
任务三、如何定位发生数据倾斜的代码四、发生数据倾斜的原因3.1key分布不均匀3.1.1某些key存在大量相同值
爱吃辣条byte
·
2024-02-19 11:50
#
Hive
大数据
hive
大数据平台
红蓝对抗 - 磨利刃,淬精兵! | 京东云技术团队
随着平台业务越来越复杂,红蓝对抗的作用愈来愈明显,下面将详细介绍
大数据平台
在本次双十一大促备战工作中是如何开展红蓝对抗的。图1.大促备战常见工作示意首先我们先了解一下什么是红蓝对抗,它都有哪些好处?
·
2024-02-19 10:27
大数据压力测试测试
【网页设计】web前端期末大作业html+css
获取更多优质源码】web前端期末大作业:【毕设项目精品实战案例(1000套)】程序员有趣的告白方式:【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码:【echarts大屏展示
大数据平台
可视化
web学生网页设计
·
2024-02-15 10:47
web前端
css
dreamweaver
html
html5期末作业
BugKu-Web-矛盾
BugKu-Web-矛盾题目链接:https://ctf.bugku.com/challenges/detail/id/72.html考点:PHP弱类型比较漏洞题目
源码分析
:$num=$_GET['num
H_u_p
·
2024-02-15 10:53
网络安全
Hive on
Spark
配置
前提条件1、安装好Hive,参考:Hive安装部署-CSDN博客2、下载好
Spark
安装包,链接:https://pan.baidu.com/s/1plIBKPUAv79WJxBSbdPODw?
在下区区俗物
·
2024-02-15 10:51
hive
spark
hadoop
配置hive on
spark
配置hiveon
spark
1、上传
Spark
纯净版jar包到HDFS:hdfsdfs-mkdir/
spark
-jarshdfsdfs-put/opt/
spark
/jars/*/
spark
-jars2、修改
空白格2519
·
2024-02-15 10:51
数据采集
big
data
hive
spark
hadoop
hive on
spark
配置经验
常规配置配置完,开启hadoop,开启
spark
(如果在hdfs上上传了纯净版的
spark
则不需要开启),开启hive注:当前节点一定要是namenode的active节点,因为hadoop长时间不用namenode
小五冲冲冲
·
2024-02-15 10:21
Spark
hive
spark
hadoop
HTTP2:netty http2 StreamChannel多流实现与Http2StreamFrame解码器的
源码分析
nettyhttp2server侧的核心逻辑个人认为,主要在编解码处理器和StreamTransformChannel这块,分别处理Http2消息帧的编解码,以及连接的多流处理机制。对应用的处理类分别:ChannelHandlerDescio.netty.handler.codec.http2.Http2FrameCodec负责http2帧和消息的编解码io.netty.handler.codec
Saleson
·
2024-02-15 10:45
http2
netty
iTop-4412 裸机程序(三)- 点亮一颗LED灯
源码分析
目录代码文件分析led原理图分析start.Slink.ldsmkbl1Makefile代码文件分析root@ubuntu:~/4412NoOS/led/1.0_点亮一颗led#lslink.ldsMakefilemkbl1.cs3c4412_gpio.hstart.Sstart.S:汇编文件,编译生成最后的led.bin文件s3c4412_gpio.h:Exynos4412上的GPIO寄存器地址
Kilento
·
2024-02-15 08:26
Exynos4412
exynos
嵌入式
iTop-4412 裸机程序(四)- 流水灯
目录流水灯
源码分析
流水灯
源码分析
相对于上篇博客,流水灯的代码仅增加了delay延时函数,其他文件不变,代码我已经上传到GitHub上:https://github.com/Kilento/4412NoOS
Kilento
·
2024-02-15 08:26
Exynos4412
exynos
嵌入式
jdk1.8中的hashmap实现原理和
源码分析
文章目录Hashmap内部结构常用方法putgetremove内部方法hashresize相似数据结构参考HashmapHashMap可以根据键值存取数据。HashMap位于java.util包下,继承AbsractMap,实现Map,Cloneable,Serializable接口。publicclassHashMapextendsAbstractMapimplementsMap,Cloneab
娟宝宝萌萌哒
·
2024-02-15 08:16
java
jdk1.8
hashmap
原理
Hbase - 自定义Rowkey规则
中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制TableInputFormat来实现我们的需求了,我们还可以采用Flink的DataSet的方式读取,另外下面还有
Spark
kikiki2
·
2024-02-15 06:39
(免费领源码)python+mysql+
spark
手机销售数据的可视化分析系统44127-计算机毕业设计项目选题推荐
摘要信息化社会内需要与之针对性的信息获取途径,但是途径的扩展基本上为人们所努力的方向,由于站在的角度存在偏差,人们经常能够获得不同类型信息,这也是技术最为难以攻克的课题。针对手机销售数据管理等问题,对手机销售数据管理进行研究分析,然后开发设计出手机销售数据可视化系统以解决问题。手机销售数据可视化系统主要功能模块包括系统首页、轮播图、公告信息、资源管理(新闻资讯、新闻分类)交流管理(交流论坛、论坛分
2301_3224142804
·
2024-02-15 00:40
python
mysql
spark
java
spring
boot
php
c#
实习语雀文章
源码分析
React可以抽象的看成一个公式:UI=f(state)。函数f是React和基于React的代码,传给函数的参数就是state,最终在页面上绘制出来的UI是函数运行结果。作为state管理的重要方法,setState至关重要,在使用过程中发现该方法的几个关键点:1.setState不会立刻改变React组件中state的值组件读取状态时使用this.state,更新状态使用this.setSta
Chasingcar_501
·
2024-02-14 20:36
Gunicorn
源码分析
(四)入口
前面的博客已经将Gunicorn的核心流程给讲完了,剩下的最后其实就是Gunicorn的启动入口了下面是Gunicorn入口函数:defrun():"""\The``gunicorn``commandlinerunnerforlaunchingGunicornwithgenericWSGIapplications."""fromgunicorn.app.wsgiappimportWSGIAppli
喵帕斯0_0
·
2024-02-14 19:46
基于Kafka的实时计算引擎如何选择?
以Flink和
Spark
为首的实时计算引擎,成为实时计算场景的重点考虑对象。那么,今天就来聊一聊基于Kafka的实时计算引擎如何选择?Flinkor
Spark
?2.为何需要实时计算?
java菜
·
2024-02-14 19:37
调用讯飞火星AI大模型WebAPI
getWebsocketUrl(){returnnewPromise((resolve,reject)=>{varapiKey=API_KEYvarapiSecret=API_SECRETvarurl='ws://
spark
-api
雲墨知秋
·
2024-02-14 18:54
javascript
开发语言
ecmascript
Spark
通过jdbc性能调优--采用分区的方式从oracle读数据
spark
通过jdbc读取Oracle,当数据量很大的时候会出现两个问题:读取数据异常缓慢,甚至卡死大表中进行操作也会出现OOM的问题调优常规的读取数据库的方式如下ods_bdz=
spark
.read.format
korry24
·
2024-02-14 18:08
oracle
spark
mysql
spring步步前行(IOC)-整理篇
从之前的ioc部分的
源码分析
等,我们对spring-ioc部分的相关已经有了一部分认识和了解,但是还是有很多人对里面一些部分的理解还是很模糊,好比既然有了beanFactory那factoryBean是干什么的
7868758c6196
·
2024-02-14 16:16
【Canal
源码分析
】Canal Instance启动和停止
一、序列图1.1启动instance启动.png1.2停止instance停止.png二、
源码分析
2.1启动这部分代码其实在ServerRunningMonitor的start()方法中。
端木轩
·
2024-02-14 15:42
Py
Spark
介绍及其安装教程
一、Py
Spark
是什么PythonPy
Spark
是
Spark
官方提供的一个Python类库,其中内置了完全的
Spark
API,使得Python用户在导入这个类库后,可以使用自己熟悉的Python语言来编写
文景大大
·
2024-02-14 14:58
Spark
(四十二)数据倾斜解决方案之使用随机数以及扩容表进行join
一、背景当采用随机数和扩容表进行join解决数据倾斜的时候,就代表着,你的之前的数据倾斜的解决方案,都没法使用。这个方案是没办法彻底解决数据倾斜的,更多的,是一种对数据倾斜的缓解。原理,其实在上一讲,已经带出来了。扩容表(RDD)步骤:1、选择一个RDD,要用flatMap,进行扩容,将每条数据,映射为多条数据,每个映射出来的数据,都带了一个n以内的随机数,通常来说,会选择10。2、将另外一个RD
文子轩
·
2024-02-14 14:36
Spark
编程实验六:
Spark
机器学习库MLlib编程
目录一、目的与要求二、实验内容三、实验步骤1、数据导入2、进行主成分分析(PCA)3、训练分类模型并预测居民收入4、超参数调优四、结果分析与实验体会一、目的与要求1、通过实验掌握基本的MLLib编程方法;2、掌握用MLLib解决一些常见的数据分析问题,包括数据导入、成分分析和分类和预测等。二、实验内容1.数据导入从文件中导入数据,并转化为DataFrame。2、进行主成分分析(PCA)对6个连续型
Francek Chen
·
2024-02-14 14:48
Spark编程基础
spark
mllib
大数据
机器学习
算法
ShuffleManager 原理
在
Spark
的源码中,负责shuffle过程的执行、计算、处理的组件主要是ShuffleManager。在
Spark
1.2以前,默认的shuffle计算引擎是HashShuffleManager。
stone_zhu
·
2024-02-14 10:03
Hadoop+
Spark
+MongoDB+MySQL+C#大数据开发项目最佳实践
一、前言随着IT技术的飞速发展,各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务。目前,医疗IT系统收集了大量极具价值的数据,但这些历史医疗数据并没有发挥出其应有的价值。为此,本文拟利用医院现有的历史数据,挖掘出有价值的基于统计学的医学规则、知识,并基于这些信息构建专业的临床知识库,提供诊断、处方、用药推荐功能,基于强大的关联推荐能力,极大地提高医疗服务质量,减轻医疗人员的工作强度。二、
yiyidsj
·
2024-02-14 07:08
大数据
人工智能
互联网
spark
Hadoop
MySQL
大数据开发
大数据学习
基于 C# 的 ETL 大数据并行编程
Apache
Spark
是一个用于Extract(提取),
dotNET跨平台
·
2024-02-14 07:07
c#
数据库
编程语言
java
大数据
Spark
- 动态注册UDF
昨天有位大哥问小弟一个
Spark
问题,他们想在不停
Spark
程序的情况下动态更新UDF的逻辑,他一问我这个问题的时候,本猪心里一惊,
Spark
**还能这么玩?
kikiki2
·
2024-02-14 06:33
ButterKnife使用方式
源码分析
+手写一个IOC注解框架
概述我在之前的一篇文章xUtils
源码分析
+手写一个IOC注解框架讲过IOC的概念,并自己实现过一个IOC注解框架。其实这也是根据xUtils框架的
源码分析
而写的,是基于注解+反射来实现事件注入的。
碧云天EthanLee
·
2024-02-14 05:58
Netty Review - ServerBootstrap源码解析
文章目录概述
源码分析
小结概述ServerBootstrapbootstrap=newServerBootstrap();bootstrap.group(bossGroup,workerGroup).channel
小小工匠
·
2024-02-14 04:39
【Netty】
ServerBootstrap
Netty
Netty Review - NioServerSocketChannel
源码分析
文章目录概述入口NioServerSocketChannel类继承关系实例化过程中做的事情小结概述入口ChannelFuturechannelFuture=serverBootstrap.bind(9000).sync();我们进入bind方法/***Createanew{@linkChannel}andbindit.*/publicChannelFuturebind(intinetPort){/
小小工匠
·
2024-02-14 02:10
【Netty】
netty
serversocket
从0到1搭建自助分析平台
一、什么是自助分析平台自助分析平台是构建在
大数据平台
之上的,依托于
大数据平台
的数据研发能力,通过统一的数据服务,实现对数据查询、分析的统一管理,为企业业务分析提供高效的数据决策支持,同时也避免数据工程师陷入繁杂的提数需求中
数据不吹牛
·
2024-02-13 20:43
可视化
数据库
大数据
数据可视化
数据分析
Spark
Authorizer支持最新版本
Spark
2.3.0
今天
Spark
社区为大家带来了最新的
Spark
2.3.0
Spark
Release2.3.0Apache
Spark
2.3.0isthefourthreleaseinthe2.xline.ThisreleaseaddssupportforContinuousProcessinginStructuredStreamingalongwithabrandnewKubernetesSchedulerbacke
Kent_Yao
·
2024-02-13 20:52
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他