大数据平台-源码解析

OkHttp源码解析

应用拦截器和网络拦截器以前其实就有一直在使用okhttp,也有听说过拦截器这东西,但是一直没有去深入了解。最近看《安卓进阶之光》刚好看到okhttp拦截器的内容,然后自己也去挖了下源码,才发现其巧妙之处。拦截器有两种,应用拦截器和网络拦截器。用法可以看下面的代码:classLogInterceptorimplementsInterceptor{privateStringmName;LogInter
嘉伟咯·2024-02-07 14:57

阿里首次披露自研飞天大数据平台技术架构

9月26日，阿里云飞天大数据平台在云栖大会第二天主论坛上正式对外发布，这也是阿里首次对外披露飞天大数据平台的整体架构。
DP29syM41zyGndVF·2024-02-07 11:13

MxNet源码解析(1) KVStore，pslite源码解析

1.前言从毕业开始工作已经两个多月，这期间相当一部分的时间都用在了对MxNet的学习上，而在MxNet的众多部分中，又是pslite这一部分接触最多。因此，今天将我一直以来的学习过程中的心得和收获总结在这里，也为以后对MxNet的继续学习做一个铺垫2.MxNet构成MxNet作为一个深度学习框架，它最大的特点应该是分布式训练的支持了。从初次接触MxNet到现在的两个多月里，我认为MxNet主要有以
Junr_0926·2024-02-07 11:37

NCCL源码解析: 共享内存连接的建立

文章目录前言概括详解1.shmCanConnect()2.shmSendSetup3.shmRecvSetup前言NCCL源码解析总目录我尽量在每个函数之前介绍每个函数的作用，建议先不要投入到函数内部实现
Happy_Enger·2024-02-07 08:25

NCCL源码解析: proxy 线程

2.2proxyProgressAsync()4.ncclProxyConnect()4.1ncclProxyCallBlocking()4.2ncclPollProxyResponse()前言NCCL源码解析总目录我尽量在每个函数之前介绍每个函数的作用
Happy_Enger·2024-02-07 08:24

NCCL源码解析: P2P 连接的建立

文章目录前言概括详解ncclTransportP2pSetup()前言NCCL源码解析总目录我尽量在每个函数之前介绍每个函数的作用，建议先不要投入到函数内部实现，先把函数作用搞清楚，有了整体框架，再回归到细节
Happy_Enger·2024-02-07 08:18

android下自定义相机com.otaliastudios.cameraview源码解析(二)

目录android下自定义相机com.otaliastudios.cameraview源码解析(一)android下自定义相机com.otaliastudios.cameraview源码解析(二)这里要分析是
快乐前进·2024-02-07 07:50

android下自定义相机com.otaliastudios.cameraview源码解析(一)

目录android下自定义相机com.otaliastudios.cameraview源码解析(一)android下自定义相机com.otaliastudios.cameraview源码解析(二)前言最近在
快乐前进·2024-02-07 07:20

Flink cdc debug调试动态变更表结构

Cannotfindfactorywithidentifier"mysql"intheclasspath.2.JsonFactory异常3.NoSuchMethodError异常其他结尾前言接着上一篇Flinkcdc3.0动态变更表结构——源码解析
yyoc97·2024-02-07 06:05

架构学习(五)：scrapy实现自定义代理中间件

scrapy实现自定义代理中间件前言关卡：实现自定义代理中间件代理中间件源码解析代理池自定义代理中间件结束前言ip检测是比较常规的反爬手段，一般站点会限制ip的访问频率，或者根据ip的访问规律和频率来识别异常访问
九月镇灵将·2024-02-07 06:46

【Flink】FlinkSQL实现数据从Kafka到MySQL

简介未来Flink通用化，代码可能就会转换为sql进行执行，大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台，去提交FlinkSQL实现任务，学习Flinksql势在必行。
一杯咖啡半杯糖·2024-02-07 06:39

spark sql上线前的调试工作实现

背景每个公司应该都有大数据的平台的吧，平台的作用就是可以在上面执行各种sparksql以及定时任务，不过一般来说，由于这些sparksql的上线不经过测试，所以可能会影响到生产的数据，这种情况下大数据平台提供一个上线前的调试功能也就非常好了
lixia0417mul2·2024-02-07 05:22

Spark Chapter 8 Spark SQL

【参考以慕课网日志分析为例进入大数据Sparksql】0导读SQL：MySQL，Oracle，DB2，SQLServer在大数据平台上实现大数据计算：Hive/SparkSQL/SparkCore直接使用
深海suke·2024-02-07 01:34

libevent源码解析--evconnlistener, evconnlistener_event

1.概述前面我们分析了libevent中event，event_callback及event_base，有了这些设施，我们便可利用event_base的实现事件循环。基于实现循环实现事件监听，自动分发，手动分发处理。最基础的网络库由服务端，客户端组成。服务端需要通过监听套接字监听，并通过监听套接字的可读事件，取出新的被动连接，用于和客户端进行后续通信。这里，我们分析libevent中如何处理服务端
raindayinrain·2024-02-07 01:49

libevent源码解析--event，event_callback，event_base

1.概述实现一个基础tcp网络库，以基于tcp网络库构建服务端应用，客户端应用为起点，我们的核心诉求有：a.tcp网络库管理工作线程。b.tcp网络库产生服务端对象，通过启动接口，开启服务端监听。进一步，对于服务端对象我们希望：b.1.网络库内部帮助我们监控监听描述符可读事件，自动帮我们处理此事件，产生被动连接。b.2.可以在被动连接产生，被动连接关闭时触发我们提供得事件回调函数，通知应用层执行必
raindayinrain·2024-02-07 01:16

Redis实现分布式锁的原理：常见问题解析及解决方案、源码解析Redisson的使用

0、引言：分布式锁的引出锁常常用于多线程并发的场景下保证数据的一致性，例如防止超卖、一人一单等场景需求。通过加锁可以解决在单机情况下安全问题，但是在集群模式下就不行了。集群模式，即部署了多个服务器、并配置了负载均衡后，原来加的锁会失效，具体原因如下：由于现在我们部署了多个tomcat，每个tomcat都有一个属于自己的jvm，那么假设在服务器A的tomcat内部，有两个线程，这两个线程由于使用的是
好奇的7号·2024-02-06 22:43

OkHttp3.6.0源码解析

前言OkHttp是一个非常流行的框架，已经被谷歌加入开源库中，Retrofit目前也是采用OkHttp实现的，此文章纯属个人笔记。github地址https://github.com/square/okhttp基本使用valhttpClient=OkHttpClient()valrequest=Request.Builder().url("www.baidu.com").build()//同步请求
Wocus·2024-02-06 14:54

Spring事务源码解析

Spring的事务属于逻辑事务。不是物理事务。Spring并不直接管理事务，而是提供了多种事务管理器，它们将事务管理的职责委托给JDBC或者JTA等持久化机制所提供的相关平台框架的事务来实现。例如JDBC的事物管理器就是DataSourceTransactionManager。Spring事务管理器的接口是org.springframework.transaction.PlatformTransa
zero__007·2024-02-06 14:05

React 错误边界组件 react-error-boundary 源码解析

文章目录捕获错误hook创建错误边界组件Provider定义错误边界组件定义边界组件状态捕捉错误渲染备份组件重置组件通过useHook控制边界组件捕获错误hookgetDerivedStateFromError返回值会作为组件的state用于展示错误时的内容componentDidCatch创建错误边界组件Provider错误边界组件其实是一个通过Context.Provider包裹的组件，这样使
神奇大叔·2024-02-06 13:20

大数据TensorFlow深度学习——基于BERT+LSTM+CRF深度学习识别模型医疗知识图谱问答可视化系统(完整系统源码+PPT+详细开发文档+论文+源码解析)

文章目录大数据TensorFlow深度学习——基于BERT+LSTM+CRF深度学习识别模型医疗知识图谱问答可视化系统(完整系统源码+PPT+详细开发文档+论文+源码解析)获取项目资料方式在文章末尾获取项目资料方式在文章末尾一
谁不学习揍谁！·2024-02-06 12:32

大话图解gin源码

前言最近在网上搜了一下，对于gin框架用的人还是比较多的，我自己之前也在使用，但是对于源码解析这块，我没有看到自己想看到的那种从框架入手的解析图，所以嘿嘿嘿，我的机会就来了，今天就带来最完整的gin源码图解
LinkinStar·2024-02-06 12:47

libevent源码解析--evbuffer_chain，evbuffer，bufferevent，bufferevent_private

1.概述前面我们已经分析了event，event_callback，event_base及监听套接字处理。有了event_base我们便可实现事件监控，事件分发处理。有了监听套接字处理，我们便可实现服务端监听，通过accept得到服务端通信套接字。一个网络库核心功能由客户端，服务端组成。我们要实现网络库，除了上述设施，还需通信对象，客户端。围绕通信对象主要有以下功能：(1).创建通信对象并对其初始
raindayinrain·2024-02-06 12:05

Java设计模式-责任链模式

责任链模式一、概述二、结构三、案例实现四、优缺点五、源码解析一、概述在现实生活中，常常会出现这样的事例：一个请求有多个对象可以处理，但每个对象的处理条件或权限不同。
zoeil·2024-02-06 11:06

Flink 动态表 (Dynamic Table) 解读

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
　Laurence·2024-02-06 11:26

es 读流程源码解析

本文源码基于es6.8.0版本search分为两部分，query+fetch节点角色划分协调节点负责接收请求，然后构造查询分发给其他的数据节点，然后从各个分片上获取数据。数据最终汇聚到协调节点，然后再讲结果做合并。然后返回查询结果。而数据节点，则只负责将自己的分片上的数据做一次查询。然后把数据发给协调节点。1.请求到协调节点，解析请求Rest层用于解析Http请求参数，RestRequest解析并
水的精神·2024-02-06 08:11

Flink cdc3.0动态变更表结构——源码解析

文章目录前言源码解析1.接收schema变更事件2.发起schema变更请求3.schema变更请求具体处理4.广播刷新事件并阻塞5.处理FlushEvent6.修改sink端schema结尾前言上一篇
yyoc97·2024-02-06 08:01

02-Web应用_架构构建_漏洞_HTTP数据包_代理服务器

数据包_代理服务器一、网站搭建前置知识1.1域名1.2、子域名1.3、DNS二、web应用环境架构类三、web应用安全漏洞分类四、web请求返回过程数据包五、演示案例5.1、架构-Web应用搭建-域名源码解析
月亮今天也很亮·2024-02-06 04:48

【多数据源系列】在Sping Cloud（Spring Boot）中基于AbstractRoutingDataSource 实现多数据源动态切换

目录1.前言1.1.背景1.2.原理1.2.1核心原理1.2.2.源码解析1.2.3.AbstractRoutingDataSource类结构2.
后端小肥肠·2024-02-05 22:45

企业级大数据平台应用场景介绍

从业务的角度看，企业级大数据平台功能可细分为查询检索、数据挖掘、统计分析、深度分析，其中深度分析分为机器学习和神经网络。
明月说数据·2024-02-05 16:10

HDFS源码解析---Balancer

概述在输入启动命令的那台机器上会启动一个进程，为了避免给namenode带来过大的负担，整个balance过程由balanceserver而不是namenode来控制。Balancer的最终结果是namenode上记录的一个block的一个副本从一个datanode转移到另一个datanode上。PS:副本放置策略第2个副本存放于不同于第1个副本所在的机架第3个副本存放于第2个副本所在的机架，但是
请叫我算术嘉·2024-02-05 16:38

大数据平台_大数据应用场景有哪些

大数据时代的出现，简单的讲是海量数据同完美计算能力结合的结果，确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。一些公司也成立了大数据部门，大数据得到了企业的高度重视，但是很多企业和厂商主要的困难在于大数据的场景应用，既如何利用数据分析和外部数据来提升业务。其实大数据的场景应用可以从横向和纵向来说，可以从数据源、数据应用、数据分析方法和
思迈特Smartbi·2024-02-05 16:06

2020实体书店销售统计数据

据中金易云大数据平台实时监控的数据，今年上半年，实体书店图书销售码洋同比去年上半年下降了31.47%，为40.39亿，动销品种同比下
爆江·2024-02-05 10:27

Retrofit使用及源码解析

Retrofit是目前Android最优秀的网络封装框架，是对OkHttp网络请求库的封装App应用程序通过Retrofit请求网络，实际上是使用Retrofit接口层封装请求参数，之后由OkHttp完成后续的请求操作；服务器数据返回后，OkHttp将原始的结果交给Retrofit，根据用户需求对结果进行解析；使用简单使用添加依赖retrofit2内置了OkHttp,所以无需再单独添加OkHttp
今阳说·2024-02-05 09:07

降本增效利器！趣头条Spark Remote Shuffle Service最佳实践

多个业务线依赖于大数据平台展开业务，大数据系统的高效和稳定成了公司业务发展的基石，在大数据的架构上我们使用了业界成熟的方案，存储构建在HDFS上、计算资源调度依赖Yarn、表元数据使用Hiv
阿里云技术·2024-02-05 09:29

从0到1学Binder-环境准备

我的微信公众号“ZZH的Android”，还有更多Android系统源码解析的干货文章等着你。
ZZH的Android·2024-02-04 23:45

SpringBoot响应处理源码分析以及自定义MessageConverter

文章目录自定义pojo类通过@ResponseBody响应数据为json格式源码解析内容协商自定义MessageConverter自定义pojo类通过@ResponseBody响应数据为json格式源码解析
Allure丶soul·2024-02-04 22:09

透过 Spring 源码解析注解 @Autowired、@Resource 的区别

目录一.前言二.源码解析2.1.概述2.2.代码块1：AbstractAutowireCapableBeanFactory#populateBean方法2.3.代码块2：AbstractBeanFactory
流华追梦·2024-02-04 20:00

spring-security 默认登录页面

spring-security默认登录页面版本信息项目搭建步骤源码解析过滤器处理具体分析开启Trace级别日志重定向到/login流程图流程图说明版本信息内容版本JDK17sprin
Chengdu.S·2024-02-04 20:05

大数据平台-可视化面板介绍-Echarts

应对现在数据可视化的趋势，越来越多企业需要在很多场景(营销数据，生产数据，用户数据)下使用，可视化图表来展示体现数据，让数据更加直观，数据特点更加突出。目录01-使用技术02-案例适配方案03-基础设置04-header布局05-mainbox主体模块06-公共面板模块panel07-柱形图bar模块(布局)08-中间布局09-Echarts-介绍10-Echarts-体验11-Echarts-基
py爱好者~·2024-02-04 19:08

探秘海洋生物，来看看海洋生物公开基因组数据集吧！

近日，由青岛华大基因研究院规划的海洋生物公开基因组数据集（PublicMarineGenomeResources,PMGR）系列在国家基因库生命大数据平台（CNGBdb）正式上线。
尐尐呅·2024-02-04 18:57

SpringBoot注解--05--注解@Valid

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录1前言1.1BeanValidation1.2@Valid实际案例1.3Spring中的@valid注解2@Valid详解2.1源码解析
知行合一。。。·2024-02-04 17:35

设计模式之单例模式

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 16:56

设计模式之原型模式

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 14:46

Netty发送数据writeAndFlush全流程 （下）

本系列Netty源码解析文章基于4.1.56.Final版本我们接着上篇文章一文搞懂Netty发送数据全流程|你想知道的细节全在这里继续讲解Netty的flush全流程。
bin的技术小屋·2024-02-04 12:06

设计模式之备忘录模式

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 11:42

设计模式之访问者模式

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 11:12

设计模式之模板方法

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 11:12

设计模式之工厂模式(工厂方法模式、抽象工厂模式)

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 11:40

智慧水务（水厂）大数据平台，打造水务运营管理驾驶舱

智慧水务运营管理平台全天候把握水源、水厂、管网、泵站等生产调度全过程数据。各环节数据联动，形成设备自动运行的预设逻辑，简化人工操作，实现无人值守。并对取水总能耗、吨水电耗、运行经济性成本加以分析，辅助水务系统节能降耗，降低运营成本。以物联感知技术、大数据、智能控制、云计算、人工智能、数字孪生、AI算法、虚拟现实技术为核心，以监测仪表、通讯网络、数据库系统、数据中台、模型软件、前台展示、智慧运维等产
郭靖守襄阳【软芯民用】·2024-02-04 09:52

转载-58同城离线计算平台设计与实践

本次分享将聚焦大数据平台离线计算和大家一起系统的探讨58在离线计算平台建设实践的思路、方案和问题解决之道。
无色的叶·2024-02-04 09:14
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他