E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs源码分析
fa1智能指针Dev
并且根据
源码分析
智能指针的实现原理。一、为什么需要使用智能指针1.1内存泄漏C++在堆上申请内存后,需要手动对内存进行释放。
曼城英泽
·
2024-01-03 08:52
f6cPlus
c++
开发语言
Flume基础知识(一):Flume组成原理与架构
Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到
HDFS
。2.Flume基础架构Flume组成架构如下图所示。
依晴无旧
·
2024-01-03 07:18
大数据
flume
大数据
计算机毕业设计吊打导师hadoop+spark+hive知识图谱医生推荐系统 医生数据分析可视化大屏 医生爬虫 医疗可视化 医生大数据 机器学习 大数据毕业设计
万医生数据,最终存入mysql数据库;2.使用pandas+numpy/hadoop+mapreduce对mysql中的医生数据进行数据分析,使用高德地图解析地理位置,并将结果转入.csv文件同时上传到
hdfs
计算机毕业设计大神
·
2024-01-03 07:53
纠删码ReedSolomon
随着大数据技术的发展,
HDFS
作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性,
HDFS
通过多副本机制来保证。
旅僧
·
2024-01-03 07:14
#
大数据计算基础
大数据
分布式
算法
Clojure 实战(4):编写 Hadoop MapReduce 脚本
它是Apache基金会下的开源项目,受Google两篇论文的启发,采用分布式的文件系统
HDFS
,以及通用的MapReduce解决方案,能够在数千台物理节点上进行分布式并行计算。
张吉Jerry
·
2024-01-03 07:35
大数据
hadoop
clojure
shell编程之find
-inameaa-user查找文件属主为
hdfs
的所有文件,不区分大小写find.-user
hdfs
-group查找文件属组为yarn的所有文件find.-groupyarnf文件find.
hemingkung
·
2024-01-03 06:13
spring
源码分析
-XML对应BeanDefinition存入BeanDefinitionRegistry流程
1.流程图2.
源码分析
刷新容器其实就是初始化容器创建bean其中有对xml的解析就是一下这些信息(用spring中的这些信息来解析dom)这个map存在DefaultListbleBeanFactory
普通小马鹿~
·
2024-01-03 04:52
spring
xml
python操作
hdfs
及hbase
操作
HDFS
创建目录client.makedirs("/tmp/ct/test51")默认权限755,用户名:dr.who可以创建多层级目录(类似mkdir-p)如果存在权限不足,可以通过命令行对上层目录权限进行修改
佛系小懒
·
2024-01-03 04:26
Spark
源码分析
之:Shuffle
这一篇我们来分析Spark2.1的Shuffle流程。其实ShuffleDependency从SparkContext初始化就已经被DAGScheduler划分好了,本文主要探讨在Task运行过程中的ShufleWrite和ShuffleRead。要从Task运行开始说起,就要知道Task在哪里运行的。我们普遍认为Executor是负责执行Task的,但是我们发现Executor其实就是一个类pr
你说个der
·
2024-01-03 02:30
Spark
spark
大数据
Redis Sentinel
源码分析
- Sentinel的初始化
作者:WenHui转载:中间件小哥RedisSentinel是Redis提供的高可用模型解决方案。Sentinel可以自动监测一个或多个Redis主备实例,并在主实例宕机的情况下自动实行主备倒换。本系列通过作者对RedisSentinel源码的理解,详细说明Sentinel的代码实现方式。Sentinel使用Redis内核相同的事件驱动代码框架,但Sentinel有自己独特的初始化步骤。在这篇文章
中间件小哥
·
2024-01-03 01:01
Android无限广告轮播 - 自定义BannerView
上次讲了Android无限广告轮播-ViewPager
源码分析
,有了
源码分析
我们对ViewPager就有了一个大概的了解,那么再来封装成自定义View,就会简单许多,附视频讲解地址:http://pan.baidu.com
你也不知道
·
2024-01-03 00:40
freeRtos
源码分析
之核心数据结构链表
FreeRtos
源码分析
核心数据结构链表1.常见链表类型什么是链表,链表是一种通过指针串联在一起的线性结构,每一个节点由两部分组成,一个是数据域一个是指针域(存放指向下一个节点的指针),最后一个节点的指针域指向
执笔-叙写流年
·
2024-01-03 00:32
RTOS
数据结构
链表
windows
stm32
单片机
freeRtos
源码分析
之任务调度原理
freeRtos
源码分析
之调度原理1.任务切换的本质在FreeRtos中任务切换的本质是函数调用,CPU在指定时间内执行不同的函数,从微观上看每个任务都是顺序执行的,但是CPU运算能力很强,可以在很短时间内完成指令的执行
执笔-叙写流年
·
2024-01-03 00:32
RTOS
stm32
arm
seata分布式事务server模块
源码分析
目录seata-server
源码分析
简介1、seata-server入口main()方法分析2、参数解析ParameterParse初始化方法init()分析2.1、配置工厂类ConfigurationFactory
老谭酸菜面
·
2024-01-02 19:01
分布式事务seata
分布式事务
分布式
java
Hbase介绍以及Hive优势
因为HBase基于Hadoop的
HDFS
完成分布式存储,以及MapReduce完成分布式并行计算,所以它的一些特点与Hadoop相同,依靠横向扩展,通过不断增加性价比高的商业服务器来增加计算和存储能力。
毛毛虫同学
·
2024-01-02 14:38
【设计模式】责任链模式
文章目录前言一、概述结构二、案例三、优缺点五、JDK
源码分析
总结前言【设计模式】责任链模式——行为型模式,包含JDK
源码分析
。
浩泽学编程
·
2024-01-02 14:24
软件设计模式
设计模式
责任链模式
java
后端
软件工程
【zookeeper选举
源码分析
】
文章目录为什么要看源码:1、提升技术功底:学习源码里的优秀设计思想,比如一些疑难问题的解决思路,还有一些优秀的设计模式,整体提升自己的技术功底2、深度掌握技术框架:源码看多了,对于一个新技术或框架的掌握速度会有大幅提升,看下框架demo大致就能知道底层的实现,技术框架更新再快也不怕3、快速定位线上问题:遇到线上问题,特别是框架源码里的问题(比如bug),能够快速定位,这就是相比其他没看过源码的人的
向前再向前
·
2024-01-02 11:37
zookeeper
HBase内容分享(五):HBase读写性能优化
目录一、HBase读优化1.HBase客户端优化2.HBase服务器端优化3.HBase列族设计优化4.
HDFS
相关优化5.HBase读性能优化归纳二、HBase写优化1.写性能优化切入点2.写异常问题检查点一
之乎者也·
·
2024-01-02 10:48
大数据(Hadoop)内容分享
HBase
内容分享
hbase
性能优化
数据库
【Hadoop】如何启动和关闭Hadoop集群
启动Hadoop集群关闭Hadoop集群启动Hadoop集群参考官方文档ApacheHadoop3.3.6–HadoopClusterSetup要启动Hadoop集群,需要同时启动
HDFS
和YARN集群
不怕娜
·
2024-01-02 10:29
hadoop
大数据
分布式
【Hadoop】集群配置之主要配置文件(hadoop-env.sh、yarn-env.sh、core-site.xml、
hdfs
-site.xml、mapred-site.xml...)
Hadoop配置文件模板core-site.xmlhadoop-env.sh
hdfs
-site.xmlyarn-env-shyarn-site.xmlmapred-site.xmlslavesHadoop
不怕娜
·
2024-01-02 10:27
hadoop
xml
hdfs
react
源码分析
(1)-综述
目录2021SC@SDUSC整体介绍目录结构测试项目的运行与安装总结2021SC@SDUSC整体介绍react是一个比较流行的前端应用框架,具有声明化,组件化,一次学习,跨平台编写的特性。可以用于构建用户界面,支持JSX语法(当然也可以不使用,react.createElement方法就可以创造reactElement元素,但不如JSX简洁,两者可以用Babel进行转化),各个组件可以有自身的状态
zyuxing
·
2024-01-02 07:35
2021SC@SDUSC
react.js
源码
Hive(二)之bash群起脚本
集群的启动启动
HDFS
启动namenode$/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/sbin/hadoop-daemon.shstartnamenode2.启动datanode
DarrenmondZhang
·
2024-01-02 07:45
elementUI
源码分析
-01-目录及整体介绍
一、目录结构build:webpack等打包相关的文件examples:官网示例等packages:组件相关的核心代码src/directives:封装的自定义指令src/locale:语言相关的src/mixins:方式mixin相关的src/transitions:封装的相关动画src/utils:相关的工具函数test:单元测试文件types:ts相关的文件二、使用配置当我们在vue中使用e
范小饭_
·
2024-01-02 06:31
大数据 - Hadoop系列《三》-
HDFS
(分布式文件系统)概述
5.1
hdfs
的概念
HDFS
分布式文件系统,全称为:HadoopDistributedFileSystem。
王哪跑nn
·
2024-01-02 06:06
大数据
大数据
hadoop
hdfs
Java集合 : 底层原理剖析
Collection接口方法三、⭐️Iterator迭代器接口1.Iterator接口中的方法2.foreach循环遍历集合元素四、⭐️Collection子接口:List1.List的接口框架2.ArrayList的
源码分析
侯静川
·
2024-01-02 06:06
Java高级编程
java
jvm
算法
面试
数据结构
【Spring Boot配置文件简介】
SpringBoot配置文件简介简单介绍一下springboot的配置文件吧,主要介绍一下配置文件的优先级以及配置文件的使用,后面我会写一篇关于配置文件的
源码分析
文章,今天就先给大家热一下身,自己今天也摸一下鱼
不务专业的程序员--阿飞
·
2024-01-02 05:24
spring
boot
后端
java
【2023】hadoop基础介绍
目录Hadoop组成
HDFS
HDFS
操作
HDFS
分布式文件存储NameNode元数据数据读写流程YARN和MapReduceMapReduce:分布式计算YARN:资源管控调度YARN架构提交任务到**
方渐鸿
·
2024-01-02 03:26
数据分析
hadoop
大数据
分布式
python
flink 连接
hdfs
读取文件配置
flink连接
hdfs
读取文件配置hadoop版本为2.7.3window系统本地运行flink程序读取
hdfs
文件配置1,请导入hadoop和httpclient的包org.apache.flinkflink-hadoop-fs
eagle隼
·
2024-01-02 02:06
Qt仿Android带特效的数字时钟
源码分析
(滑动,翻页,旋转效果)
这个数字时钟的源码可以在QtDemo中找到,风格是仿Android的,不过该Demo中含有三种动画效果(鉴于本人未曾用过Android的系统,因此不知道Android的数字时钟是否也含有这三种效果),其分别为滑动、翻页和旋转。由于本人的QtCreator输入中文后显示的都是乱码,因而在此只能使用英文进行注释,后期如果有时间再进行中文的相关整理。可能有些地方理解并不是很正确。希望大家多多指正!以下为
ryxjxyx
·
2024-01-02 00:23
Qt
qt
android
transition
wince
signal
symbian
2018-05-21
分别做什么
hdfs
是存储数据的,yarn是管理调度作业的,mr是计算处理的3.
hdfs
在部署时,要配置信任关系,请问root和hadoop用户部署时,区别是什么root的权限高,可以不用管,普通用户需要修改
CrUelAnGElPG
·
2024-01-01 23:55
Spring Cloud Netflex Eureka Client
源码分析
前言从今天开始,来分析下服务注册与发现组件eureka,eureka篇只作为学习使用,生产环境推荐使用nacos作为服务注册与发现组件,后面我也会抽时间分析下nacos相关源码。基本介绍SpringCloud封装了Netflix公司开发的Eureka模块来实现服务注册和发现(请对比Zookeeper)。Eureka采用了C-S的设计架构。EurekaServer作为服务注册功能的服务器,它是服务注
程序员L札记
·
2024-01-01 21:22
hdfs
数据完整性
hdfs
会对写入的所有数据计算校验和,在数据通过不可靠通道传输的时候再次计算校验和,对比就能发现数据是否损坏,常用的通过32位循环冗余校验,在hadoop中,可以通过checksum命令得到想要的文件的校验和
文贞武毅
·
2024-01-01 20:45
安卓MediaRecorder(2)录制
源码分析
文章目录前言JAVAnewMediaRecorder()
源码分析
android_media_MediaRecorder.cppnative_init()MediaRecorder.javapostEventFromNativeandroid_media_MediaRecorder.cppnative_setup
清霜辰
·
2024-01-01 18:50
Android开发
音视频编解码
android
MediaRecorder
Framework
【设计模式】策略模式
文章目录前言一、概述结构二、实现案例三、优缺点使用场景四、JDK
源码分析
总结前言【设计模式】策略模式——行为型设计模式。
浩泽学编程
·
2024-01-01 16:30
软件设计模式
设计模式
策略模式
软件工程
java
后端
React Router-简单原理
以下内容主要参考自深入理解react-router路由系统react-router的实现原理前端路由实现与react-router
源码分析
react-router怎么实现页面局部刷新和url变化的路由的原理并不复杂
zhulichao
·
2024-01-01 15:49
详解大数据数据仓库分层架构
大数据数据仓库是基于HIVE构建的数据仓库,分布文件系统为
HDFS
,资源管理为Yarn,计算引擎主要包括MapReduce/Tez/Spark等,分层架构如下:1、数据来源层:日志或者关系型数据库,并通过
Alukar
·
2024-01-01 14:47
大数据编程期末大作业
目录一、Hadoop基础操作二、RDD编程三、SparkSQL编程四、SparkStreaming编程五、Flume的安装配置一、Hadoop基础操作按要求完成以下操作:1、在
HDFS
中创建目录/user
Francek Chen
·
2024-01-01 14:50
Spark编程基础
spark
大数据
分布式
go slice源码探索(切片、copy、扩容)和go编译
源码分析
文章目录概要一、数据结构二、初始化2.1、字面量2.2、下标截取2.2.1、截取原理2.3、make关键字2.3.1、编译时三、复制3.1、copy源码四、扩容4.1、append源码五:切片使用注意事项六:参考概要Go语言的切片(slice)是对数组的扩展,类似C语言常见的简单动态字符串(典型应用如Redis的string类型),动态扩容是其相对数组的最大优势。本人在工作过程中,对slice的使
pigfu
·
2024-01-01 13:45
Go系列
Go编译源码分析
go
slice扩容
go切片
2024任务驱动Hadoop应用讲课提纲
Hadoop集群任务1:搭建完全分布式Hadoop集群1.思路解析2.编程实现3.知识点讲解4.总结提高任务2:搭建高可用Hadoop集群(HA模式)1.思路解析2.编程实现3.知识点讲解4.总结提高项目二:
HDFS
howard2005
·
2024-01-01 13:41
Hadoop分布式入门
hadoop
大数据
分布式
安装Hadoop:Hadoop的单机模式、伪分布式模式——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项
前言Hadoop包括三种安装模式:单机模式:只在一台机器上运行,存储是采用本地文件系统,没有采用分布式文件系统
HDFS
;伪分布式模式:存储采用分布式文件系统
HDFS
,但是,
HDFS
的名称节点和数据节点都在同一台机器上
Stitch .
·
2024-01-01 10:09
我的大学笔记
Hadoop
分布式
大数据
hadoop
笔记
linux
mysql
hive
【2023Hadoop大数据技术应用期末复习】填空题题型整理
大数据的4V特征包含()()()()答案:大量、多样、高速、价值Hadoop三大组件包含()()()答案:
HDFS
、MapReduce、YarnHadoop2.x版本中的
HDFS
是由()()()组成答案
Lacszer
·
2024-01-01 10:23
大数据
计算机毕业设计hadoop+spark+hive知识图谱酒店推荐系统 酒店数据分析可视化大屏 酒店爬虫 高德地图API 酒店预测系统 大数据毕业设计
爬取去哪儿网全站旅游数据约10万+,存入mysql;2.使用pandas+numpy/hadoop+mapreduce对mysql中旅游数据进行数据清洗,使用高德API计算地理信息,最终转为.csv文件上传
hdfs
计算机毕业设计大神
·
2024-01-01 06:52
Netty
源码分析
系列1:BootStrap的分析
Bootstrap是Netty提供的一个便利的工厂类,我们可以通过它来完成Netty的客户端或服务器端的Netty初始化.利用BootStrap我们可以实现创建channel,把channel注册在EventLoop上,发起连接等功能.BootStrap的类结构如下:image.png1.Client端启动实例下面是个简单的客户端实例,我们用这个来分析BootStrap的整个流程.publiccl
maskwang520
·
2024-01-01 06:31
架构设计内容分享(五十七):工业级Netty网关,京东是如何架构的?
1、TCP网关的网络结构2、TCP网关长连接容器架构3、TCP网关NettyServer的IO模型4、TCP网关的线程模型5、TCP网关执行时序图编辑6、TCP网关
源码分析
6.1Session管理6.2
之乎者也·
·
2024-01-01 05:51
架构设计
内容分享
API网关
内容分享
架构
API网关
Python使用
hdfs
存放文件时报Proxy error: 502 Server dropped connection解决方案
Python3使用
hdfs
分布式文件储存系统frompy
hdfs
import*client=
Hdfs
Client(hosts="test
hdfs
.org,50070",user_name="web_crawler
Python之战
·
2024-01-01 05:11
JAVA
源码分析
:上位机SECS协议的进制转换在半导体行业的应用 JAVA SECS通信 JAVA与SECS集成资料大全JAVA开发SECS快速入门资料,SECS S7F19 S7F23 工艺程序
Java与SECS基础通信Java实现SECS指令S2F17获取时间Java实现SECS指令S10F3终端单个显示例子Java实现SECS指令S5F1报警/取消报警上传实例源码及DEMO请查阅这个演示的内容是JAVA集成SECS的工艺管理,假如这个工艺只要求管理两个参数湿度、温度信息。以下内容就具体使用JAVA与SECS通信,指令内容为S7F19S7F23S7F25JAVA开发SECS快速入门资料
花仙子166
·
2024-01-01 04:49
JAVA
java集成secs资料
springboot
SECS
java开发SECS实战项目
java开发SECS资料大全
java开发secs源码
mysql 5.7 原生json类型的基本用法以及底层存储逻辑(
源码分析
)
mysql中json数据类型的使用及底层实现逻辑(源码解析)一、mysql中json对象的操作mysql从5.7版本开始增加了对json数据类型的支持。此前,用户通常将json字符串存储于varchar、blob或text数据类型中,使用时需要先将整个json对象从数据库读取出来,在内存中完成解析及相应的计算处理,这种方式增加了数据库的网络开销并降低处理效率。mysql通过对json数据类型的支持
小嘴叭叭儿
·
2024-01-01 01:27
Flask
源码分析
总结:Context 上下文原理
#上下文#描述器#代理类什么是Context(上下文)?首先明白Context是什么,这东西常被翻译为上下文,这里借鉴知乎网友的回答https://www.zhihu.com/question/26387327这其实像以前的阅读理解题,“请结合语境上下文,谈一谈作者的感想”。一个句子,单独来看,我并不知道其完整的含义,必须要结合上下文语境才能理解。举个例子,我大喊一声“卧槽”。有人就会有疑问,“诶
mkdir700
·
2023-12-31 22:36
学习总结
Flask
源码分析总结
flask
python
后端
大数据 - Hadoop系列《二》- Hadoop组成
目录3.1hadoop组成3.1
HDFS
架构概述1.NameNode(nn):编辑2.DataNode(dn):3.SecondaryNameNode(2nn):3.2YARN架构概述3.3MapReduce
王哪跑nn
·
2023-12-31 22:50
大数据
大数据
hadoop
分布式
大数据的核心工作
以数据为生活赋能大数据软件生态(数据存储,数据计算,数据传输)1.大数据的核心工作存储:妥善保存海量待处理数据计算:完成海量数据的价值挖掘传输:协助各个环节的数据传输2.大数据软件生态存储:ApacheHadoop
HDFS
PGl63
·
2023-12-31 22:42
hadoop
数据库
数据库架构
上一页
26
27
28
29
30
31
32
33
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他