E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs源码分析
Spring之启动过程源码
文章目录一.Spring初始化流程二.
源码分析
1.初步分析2.核心方法refresh()三.事件发布机制1.简介2.
源码分析
一.Spring初始化流程前面的内容我们已经把Bean的生命周期的源码已经分析完了
jakiechaipush
·
2024-01-09 23:45
重温Spring源码系列
spring
java
后端
Spring之循环依赖底层源码(一)
文章目录一、简介1.回顾2.循环依赖3.Bean的生命周期回顾4.三级缓存5.解决循环依赖的思路二、
源码分析
三、相关问题1.
jakiechaipush
·
2024-01-09 23:15
重温Spring源码系列
spring
java
后端
Spring之推断构造方法源码
文章目录一、简介1.内容回顾2.Spring推断构造方法二、
源码分析
一、简介1.内容回顾前面分析了Spring的Bean的生命周期的源码,然后分析了依赖注入源码,以及依赖注入的过程中循环依赖Spring
jakiechaipush
·
2024-01-09 23:11
重温Spring源码系列
spring
python
java
Java设计模式-命令模式
目录一、智能生活项目需求二、基本介绍三、原理类图四、命令模式解决智能生活项目五、命令模式在Spring框架JdbcTemplate应用的
源码分析
六、注意事项和细节一、智能生活项目需求看一个具体的需求1)
zoeil
·
2024-01-09 23:06
Java设计模式
设计模式
命令模式
java
后端
Hadoop集群搭建:4.修改Hadoop的配置文件、节点启动
module/hadoop-2.7.2/etc/hadoop1.核心配置文件配置core-site.xml,命令:vicore-site.xml在该文件的中config范围内编写如下配置fs.defaultFS
hdfs
丶珍视当下
·
2024-01-09 23:38
笔记:分布式大数据技术原理(一)Hadoop 框架
Hadoop中有3个核心组件:分布式文件系统:
HDFS
——实现将文件分布式存储在很多的服务器上分布式运算编程框架:MapReduce
WeeeicheN
·
2024-01-09 22:17
Big
Data
big
data
hadoop
大数据技术原理与应用学习笔记(八)
大数据技术原理与应用学习笔记(八)本系列历史文章Hadoop再探讨Hadoop的优化与发展Hadoop1.0到Hadoop2.0不断完善的Hadoop生态系统
HDFS
2.0新特性
HDFS
HA(高可用性)
Ragnaros the Firelord
·
2024-01-09 22:46
大数据学习笔记
hadoop
大数据
大数据技术原理与应用笔记
参考:课程教学(林子雨老师)程序羊大数据学习路线
HDFS
入门Hbase入门NoSql入门文章目录一、大数据概述1.1大数据时代1.2大数据的概念和影响1.3大数据的应用1.4大数据的关键技术1.5大数据
Moliay
·
2024-01-09 22:16
大数据
大数据
云计算
人工智能
HDFS
相关Shell命令
文章目录上传相关操作下载相关操作
HDFS
直接操作上传相关操作1)-moveFromLocal:从本地剪切粘贴到
HDFS
hadoopfs-moveFromLocal.
欲无缘
·
2024-01-09 22:03
大数据
hdfs
npm
hadoop
HDFS
概述
文章目录
HDFS
背景定义
HDFS
优缺点
HDFS
组成
HDFS
文件块大小
HDFS
背景定义背景先给大家介绍一下什么叫
HDFS
,我们生活在信息爆炸的时代,随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中
欲无缘
·
2024-01-09 22:32
大数据
hdfs
hadoop
大数据
Android 车联网——CarOccupantZoneService介绍(十四)
一、
源码分析
1、CarOccupantZoneMana
c小旭
·
2024-01-09 21:06
Android
车联网
android
Spark
源码分析
(二): Driver 注册及启动
上一篇文章已经已经执行到Client向masterEndpoint发送了RequestSubmitDriver信息,下面就看看master怎么注册driver信息,并且怎么让worker去启动driver的。一,org.apache.spark.deploy.master.Master这个Master就是前面Client发送的对象,是一个ThreadSafeRpcEndpoint。内部的recei
stone_zhu
·
2024-01-09 21:30
Spring
源码分析
之——AOP动态代理的选择
上一篇《Spring
源码分析
之——AOP的原理及初始化细节》讲到AOP的原理和细节,这一篇补充一下动态代理的选择代码细节。
lsunwing
·
2024-01-09 20:03
Spring
Spring
AOP
动态代理
GCD底层原理分析
GCD底层原理分析下面我们在libdispatch.dylib去探索队列是如何创建的底层
源码分析
在源码中搜索dispatch_queue_createdispatch_queue_tdispatch_queue_create
f8d1cf28626a
·
2024-01-09 18:57
Flume实时读取本地/目录文件到
HDFS
目录一、准备工作二、实时读取本地文件到
HDFS
(一)案例需求(二)需求分析(三)实现步骤三、实时读取目录文件到
HDFS
(一)案例需求(二)需求分析(三)实现步骤一、准备工作Flume要想将数据输出到
HDFS
Francek Chen
·
2024-01-09 18:38
大数据技术基础
flume
hdfs
大数据
6.1.CentOS7下安装Sqoop安装与使用
(持续更新中…)推荐系统基础文章目录python编程快速上手(持续更新中…)推荐系统基础一、Sqoop介绍二、Sqoop原理三、Sqoop安装事前准备安装包解压安装四、Sqoop使用1、MySQL->
HDFS
2
IT瘾君
·
2024-01-09 15:29
推荐系统-大数据
sqoop
mysql
hadoop
sqoop 安装与使用
1.上传sqoop2.安装和配置在添加sqoop到环境变量将数据库连接驱动拷贝到$SQOOP_HOME/lib里3.使用第一类:数据库中的数据导入到
HDFS
上sqoopimport--connectjdbc
麦香鸡翅
·
2024-01-09 15:27
hadoop
Hive基础知识(一):Hive入门与Hive架构原理
2)Hive本质:将HQL转化成MapReduce程序(1)Hive处理的数据存储在
HDFS
(2)Hive分析数据底层的实现是MapReduce(3)执行程序运行在Yarn上2.Hive的
依晴无旧
·
2024-01-09 13:25
大数据
hive
架构
hadoop
Hive基础知识(个人总结)
Hive的特点:Hive的执行延迟比较高,不支持直接修改,只能进行insertowewrite覆盖迭代式算法无法表达Hive架构:Hive和数据库比较Hive并不是数据库,自身没有存储数据的能力;本质是
HDFS
hellosrc | forward
·
2024-01-09 13:54
Hive
大数据
1024程序员节
hive
大数据
hive基础知识大全
一、Hive基本概念1.1hive是什么hive是基于hadoop的一个数仓分析工具,hive可以将
hdfs
上存储的结构化的数据,映射成一张表,然后让用户写HQL(类SQL)来分析数据telupdown138383843813451567138383843953451567138383844012411657713838384413453157571383838434353551567567
不爱吃鱼的馋猫
·
2024-01-09 13:23
hive
数据仓库
Hive基础知识
2)其本质是将SQL语句转换为MapReduce/Spark程序进行运算,底层数据由
HDFS
分布式文件系统进行存储。3)可以理解Hive就是MapReduce/SparkSql的客户端。
巷子里的猫X
·
2024-01-09 13:52
数据分析
hive
大数据
hadoop
Hive 基础知识
1.Hive和HBase的区别HBase是一个用来处理
HDFS
上文件的NoSQL数据库,建立于
HDFS
之上。
辰阳星宇
·
2024-01-09 13:22
#
Hive
hive
hadoop
big
data
基于hadoop的hive数据仓库基础操作知识整理
Hive本质:将HQL转化成MapReduce程序Hive处理的数据存储在
HDFS
Hive分析数据底层的实现是MapReduce执行程序运行在Yarn上1.2Hive的优
大包丫
·
2024-01-09 13:51
hadoop
hive
大数据
RocketMQ源码 事务消息 TransactionalMessage
源码分析
前言原理:使用普通消息和订单事务无法保证一致的原因,本质上是由于普通消息无法像单机数据库事务一样,具备提交、回滚和统一协调的能力。而基于RocketMQ的分布式事务消息功能,在普通消息基础上,支持二阶段的提交能力。将二阶段提交和本地事务绑定,实现全局提交结果的一致性。解决问题:事务消息,主要解决生产方和消费方的数据最终一致性问题。实现方式:二阶段消息+反查机制源码版本:4.9.3源码架构图源码解析
虚空小白
·
2024-01-09 12:39
RocketMQ源码
java-rocketmq
rocketmq
java
源码
中间件
RocketMQ
源码
事务
RocketMQ源码 发送顺序消息
源码分析
源码版本:4.9.3源码架构图
源码分析
发送普通消息源码在另外一篇文章https://blog.csdn.net/hzwangmr/article/de
虚空小白
·
2024-01-09 12:38
RocketMQ源码
rocketmq
java-rocketmq
java
源码
消息中间件
RocketMQ源码 发送 延迟消息
源码分析
前言rocketMQ支持的延迟消息,简单理解就是对于生产者发送的消息,支持设置固定时间的延迟级别,在到达指定的延迟时间时,才会投递到消费者队列,消费者才能消费到消息。延迟队列和普通消息的发送流程,主要流程都是一致的,区别在于:可以参考源码架构图来看,在DledgerCommitLog组件写入消息之前,会针对设置了setDelayTimeLevel延迟级别的消息,改写topic为RMQ_SYS_SC
虚空小白
·
2024-01-09 11:33
RocketMQ源码
rocketmq
java-rocketmq
RocketMQ
源码
源码
java
中间件
消息队列
Ceph
源码分析
-在C++中,符号“&“和“*“有不同的用法。
在C++中,符号"&"和"*"有不同的用法。"&"符号:在变量声明时,"&"用于定义引用类型。例如:inta=10;int&ref=a;这里的"ref"是一个引用,它引用了变量"a",对"ref"的修改会影响到"a"的值。在函数参数中,"&"用于传递参数的引用。例如:voidfoo(int&num){...}这里的"num"是一个引用类型的参数,函数内部对"num"的修改会影响到传递进来的变量。"
瓦哥架构实战
·
2024-01-09 08:46
Ceph
ceph
PySpark的RDD持久化
是依照血缘关系,使用持久化技术->1.RDD缓存,把某个RDD保留,rdd.cache()缓存到内存,rdd.persist(StorageLevel.DISK_ONLY_2)缓存到本地硬盘上,2个副本,不支持存
HDFS
February13
·
2024-01-09 07:32
java
开发语言
hive基本操作与应用
1、通过hadoop上的hive完成WordCount启动hadoop2、
Hdfs
上创建文件夹/3、上传文件至
hdfs
4、启动Hive5、创建原始文档表6、导入文件内容到表docs并查看7、用HQL进行词频统计
weixin_34416649
·
2024-01-09 06:16
大数据
Hive基本操作
hive简单认识Hive是建立在
HDFS
之上的数据仓库,所以Hive的数据全部存储在
HDFS
上。
X晓
·
2024-01-09 06:45
hive
big
data
mysql
Thrift
源码分析
(TThreadPoolServer)
Thrift提供的网络服务模型:单线程、多线程、事件驱动,从另一个角度划分为:阻塞服务模型、非阻塞服务模型。阻塞服务模型:TSimpleServer、TThreadPoolServer。非阻塞服务模型:TNonblockingServer、THsHaServer和TThreadedSelectorServer。TThreadPoolServer类图TThreadPoolServer模式采用阻塞so
番薯和米饭
·
2024-01-09 06:34
大数据开发-某外包公司
1.用过那些组件2.说下
HDFS
读写流程3.说下varchar和char区别4.说下数据库的事务5.spark的部署模式有哪些6.数据库和数据仓库的区别7.内部表和外部表的区别8.说下数据中台、数据仓库和数据湖的区别
劝学-大数据
·
2024-01-09 06:10
个人面试真题记录
大数据
python虚拟环境可以运行pyspark_pyspark 与 python 环境配置
本篇主要介绍通过anaconda创建虚拟环境,并打包上传到
hdfs
目录。1.Anaconda安装bash~/Downloads/Anaconda2-5.0.1-Linux-x86_64.sh#如
weixin_39663729
·
2024-01-09 06:33
『
HDFS
』伪分布式Hadoop集群
博客引流本文是『Hadoop』MapReduce处理日志log(单机版)的旭文,maybe还有后续在搭建环境的时候发现很难搜到合适的教程,所以这篇应该会有一定受众伪分布式就是假分布式,假在哪里,假就假在他只有一台机器而不是多台机器来完成一个任务,但是他模拟了分布式的这个过程,所以伪分布式下Hadoop也就是你在一个机器上配置了hadoop的所有节点但伪分布式完成了所有分布式所必须的事件伪分布式Ha
gunjianpan
·
2024-01-09 04:31
Flutter引擎
源码分析
(二) - channel原生通信
Flutter引擎
源码分析
(一)-编译调试一、Xcode编译干了什么image.pngcdflutter存放路径/flutter/packages/flutter_tools/bin&&vimxcode_backend.shimage.pngvimxcode_backend.dartimage.pngimage.png
erlich
·
2024-01-09 04:11
Android
源码分析
—带你认识不一样的 AsyncTask
前言什么是AsyncTask,相信搞过android开发的朋友们都不陌生。AsyncTask内部封装了Thread和Handler,可以让我们在后台进行计算并且把计算的结果及时更新到UI上,而这些正是Thread+Handler所做的事情,没错,AsyncTask的作用就是简化Thread+Handler,让我们能够通过更少的代码来完成一样的功能,这里,我要说明的是:AsyncTask只是简化Th
度憨憨
·
2024-01-09 03:56
iOS promise 设计模式,google promises
源码分析
1.promise模式概念关于文字概念,网上一堆,这里摘取下别人的话Promise设计模式的原理Promise设计模式把每一个异步操作都封装成一个Promise对象,这个Promise对象就是这个异步操作执行完毕的结果,但是这个结果是可变的,就像薛定谔的猫,只有执行了才知道。通过这种方式,就能提前获取到结果,并处理下一步骤。Promise使用then作为关键字,回调最终结果。then是整个Prom
孙掌门
·
2024-01-09 00:35
配置日志聚集
所谓日志聚集,就是指应用运行完以后,将程序的运行日志信息上传到
HDFS
系统上。日志聚集可以方便的查看程序的运行详情,方便开发调试。
Manfestain
·
2024-01-08 21:30
EventBus
源码分析
及仿EventBus实现
EventBus
源码分析
我分析源码一般是从整体来进行分析,对于一些细节的东西,我没有时间也没有能力去分析。
MEzzsy
·
2024-01-08 19:00
hadoop命令汇总
启动和关闭hadoop服务一键启动/停止start-hdf.shstop-hdf.sh单进程关闭启动
hdfs
--daemonstop/start/statusnamenode或者hadoop--daemonstop
你很棒滴
·
2024-01-08 19:17
hadoop
hdfs
大数据
HDFS
常用命令(方便大家记忆版)
1.文件操作(1)列出
HDFS
下的文件/usr/local/hadoop$bin/hadoopdfs-ls(2)列出
HDFS
文件下名为in的文档中的文件/usr/local/hadoop$bin/hadoopdfs-lsin
姚兴泉
·
2024-01-08 18:01
python3使用py
hdfs
向
hdfs
中上传文件示例
1概述本文为使用py
hdfs
包向
hdfs
中上传文件。主要用来测试
hdfs
当前服务的状态。同时,脚本支持namenodeha的方式。2包安装pip3install
hdfs
3脚本示例#!
杨航的技术博客
·
2024-01-08 16:11
常用脚本
hdfs
hadoop
python
GPT(Generative Pre-Training)论文解读及源码实现(二)
本篇为gpt2的pytorch实现,参考nanoGPTnanoGPT如何使用见后面第5节1数据准备及预处理data/shakespeare/prepare.py文件
源码分析
1.1数据划分下载数据后90%
晚点吧
·
2024-01-08 16:04
NLP
gpt
预训练模型微调
大模型
gpt2
lighttpd-1.4.20
源码分析
lighttpd-1.4.20
源码分析
以后的更新都在这个地址http://bbs3.chinaunix.net/thread-1369986-1-1.html网络编程讨论QQ群号:454389690写在前面对于轻量级
lenky0401
·
2024-01-08 14:44
Lighttpd源码分析
lighttpd
工作
graphviz
服务器
plugins
makefile
Hadoop学习之路(四)
HDFS
读写流程详解
1.
HDFS
写操作1.1图解
HDFS
读过程
hdfs
写操作流程图.pngimage.png1.2数据写入过程详解1、使用
HDFS
提供的客户端Client,向远程的NameNode发起RPC请求;2、NameNode
shine_rainbow
·
2024-01-08 12:21
手动配置Spring AOP的
源码分析
这里写自定义目录标题ProxyFactoryBean模式目标对象拦截器链的初始化获取拦截目标对象ProxyFactoryBean模式在Spring中实现aop功能有两种方式,一种是手动配置的方式,另一种是自动配置。手动配置的实现主要有以下几个类完成:使用ProxyFactoryBean时,需要设置targetName(代理对象),以及作用在代理对象上的拦截器interceptorNames属性,如
用心一
·
2024-01-08 11:19
spring
java
后端
实战Flink Java api消费kafka实时数据落盘
HDFS
启动kafka生产3JavaAPI开发3.1依赖3.2代码部分4实验验证STEP1STEP2STEP35时间窗口1需求分析在Javaapi中,使用flink本地模式,消费kafka主题,并直接将数据存入
hdfs
大数据程序终结者
·
2024-01-08 11:13
flink
java
kafka
Mybatis【2.2】-- Mybatis关于创建SqlSession
源码分析
的几点疑问?
代码直接放在Github仓库【https://github.com/Damaer/Mybatis-Learning】,可直接运行,就不占篇幅了。[TOC]1.为什么我们使用SQLSessionFactoryBuilder的时候不需要自己关闭流?我们看我们的代码:publicclassStudentDaoImplimplementsIStudentDao{privateSqlSessionsqlSe
秦怀杂货店
·
2024-01-08 10:56
大数据 Yarn - 资源调度框架
Hadoop主要是由三部分组成,除了前面我讲过的分布式文件系统
HDFS
、分布式计算框架MapReduce,还有一个是分布式集群资源调度框架Yarn。
善守的大龙猫
·
2024-01-08 10:48
大数据
大数据
[源码]mybatis一级缓存
源码分析
一.为什么要有一级缓存 每当我们使用Mybatis开启一次和数据库的会话,就会创建一个SqlSession对象来表示这个会话。就在这一次会话中,我们有可能反复执行完全相同的查询语句,这些相同的查询语句在没有执行过更新的情况下返回的结果也是一致的。相信机智的你已经想到,如果每次都去和数据库进行交互查询的话,就会造成资源浪费。所以,mybatis加入了一级缓存,用来在一次会话中缓存查询结果。 总结
程序媛swag
·
2024-01-08 09:49
上一页
22
23
24
25
26
27
28
29
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他