E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HDFS深入浅出
计算机毕业设计吊打导师hadoop+spark+hive知识图谱医生推荐系统 医生数据分析可视化大屏 医生爬虫 医疗可视化 医生大数据 机器学习 大数据毕业设计
万医生数据,最终存入mysql数据库;2.使用pandas+numpy/hadoop+mapreduce对mysql中的医生数据进行数据分析,使用高德地图解析地理位置,并将结果转入.csv文件同时上传到
hdfs
计算机毕业设计大神
·
2024-01-03 07:53
纠删码ReedSolomon
随着大数据技术的发展,
HDFS
作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性,
HDFS
通过多副本机制来保证。
旅僧
·
2024-01-03 07:14
#
大数据计算基础
大数据
分布式
算法
Clojure 实战(4):编写 Hadoop MapReduce 脚本
它是Apache基金会下的开源项目,受Google两篇论文的启发,采用分布式的文件系统
HDFS
,以及通用的MapReduce解决方案,能够在数千台物理节点上进行分布式并行计算。
张吉Jerry
·
2024-01-03 07:35
大数据
hadoop
clojure
《沙丁鱼巴新》:给孩子的科普科幻阅读书目——海洋篇
这些故事通过
深入浅出
、想象奇特、寓教于乐的情节,把知识与文学串联在一起,适合青少年学生阅读。力求让青少年朋友读了《沙丁鱼巴新》,能够
阅读与写作
·
2024-01-03 06:41
shell编程之find
-inameaa-user查找文件属主为
hdfs
的所有文件,不区分大小写find.-user
hdfs
-group查找文件属组为yarn的所有文件find.-groupyarnf文件find.
hemingkung
·
2024-01-03 06:13
《佛畏系统》:凡夫畏果,菩提畏因,佛畏系统。
经过万维钢博士的一番
深入浅出
地讲解,我似醍醐灌顶,豁然开朗。《佛畏系统》这本书的目的是提供一些日常事务的“高观点”,以此启发你建立工作、学习、做事、情感等各方面的体系,帮你提升处理日常事务的决策力。
石墨杨
·
2024-01-03 05:30
python操作
hdfs
及hbase
操作
HDFS
创建目录client.makedirs("/tmp/ct/test51")默认权限755,用户名:dr.who可以创建多层级目录(类似mkdir-p)如果存在权限不足,可以通过命令行对上层目录权限进行修改
佛系小懒
·
2024-01-03 04:26
Hbase介绍以及Hive优势
因为HBase基于Hadoop的
HDFS
完成分布式存储,以及MapReduce完成分布式并行计算,所以它的一些特点与Hadoop相同,依靠横向扩展,通过不断增加性价比高的商业服务器来增加计算和存储能力。
毛毛虫同学
·
2024-01-02 14:38
2021-07-26
刘教授以实例引入,
深入浅出
地讲解了沟通的“六步二法”,让我们在师生互动交流中提升沟通的有效性。
易晗
·
2024-01-02 11:34
HBase内容分享(五):HBase读写性能优化
目录一、HBase读优化1.HBase客户端优化2.HBase服务器端优化3.HBase列族设计优化4.
HDFS
相关优化5.HBase读性能优化归纳二、HBase写优化1.写性能优化切入点2.写异常问题检查点一
之乎者也·
·
2024-01-02 10:48
大数据(Hadoop)内容分享
HBase
内容分享
hbase
性能优化
数据库
【Hadoop】如何启动和关闭Hadoop集群
启动Hadoop集群关闭Hadoop集群启动Hadoop集群参考官方文档ApacheHadoop3.3.6–HadoopClusterSetup要启动Hadoop集群,需要同时启动
HDFS
和YARN集群
不怕娜
·
2024-01-02 10:29
hadoop
大数据
分布式
【Hadoop】集群配置之主要配置文件(hadoop-env.sh、yarn-env.sh、core-site.xml、
hdfs
-site.xml、mapred-site.xml...)
Hadoop配置文件模板core-site.xmlhadoop-env.sh
hdfs
-site.xmlyarn-env-shyarn-site.xmlmapred-site.xmlslavesHadoop
不怕娜
·
2024-01-02 10:27
hadoop
xml
hdfs
(日更28)苏轼,一位愉快的天才
深入浅出
,丰富全面,适合学生阅读,比老师讲得不知道好了多少,大赞!全方位拥
相遇晚晴天
·
2024-01-02 08:32
【
深入浅出
RocketMQ原理及实战】「云原生升级系列」打造新一代云原生“消息、事件、流“统一消息引擎的融合处理平台
打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台云原生架构RocketMQ的云原生架构实现RocketMQ的云原生发展历程互联网时期的诞生无法支持云原生的能力云原生阶段的升级云原生升级方向促进了Mesh以及多语言化发展可分合化的存算分离架构存储分离架构的优势存储分离架构的缺点弹性存储引擎LSM(Log-StructuredMerge)原理消息和流的统一流式消息VS简单消息Serverl
洛神灬殇
·
2024-01-02 07:58
#
rocketmq
云原生
Hive(二)之bash群起脚本
集群的启动启动
HDFS
启动namenode$/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/sbin/hadoop-daemon.shstartnamenode2.启动datanode
DarrenmondZhang
·
2024-01-02 07:45
书籍分享 | 分享一本FPGA开发学习书籍
本书内容
深入浅出
,讲解清晰,非常适合初学者学习和了解数字图像处理的原理和应用。同时,本书也适合已有一定基础的读者进行深入学习和研究。本书的案例分析非常实用,让读者能够更好地理解数字图像处理的
SteveRocket
·
2024-01-02 06:19
FPGA进阶
书籍
fpga开发
大数据 - Hadoop系列《三》-
HDFS
(分布式文件系统)概述
5.1
hdfs
的概念
HDFS
分布式文件系统,全称为:HadoopDistributedFileSystem。
王哪跑nn
·
2024-01-02 06:06
大数据
大数据
hadoop
hdfs
深入浅出
内存管理:空间分配及逃逸分析
大家好,我是小❤,一个漂泊江湖多年的985非科班程序员,曾混迹于国企、互联网大厂和创业公司的后台开发攻城狮。1.引言内存管理,是开发者在程序编写和调优的过程中不可绕开的话题,也是走向资深程序员必须要了解的计算机知识。有经验的面试官会从内存管理的掌握程度去考察一个候选人的技术水平,这里面涉及到的知识可能包括操作系统、计算机组成原理以及编程语言的底层实现等。说到内存,其实就是存储器,我们可以从冯.诺依
xin猿意码
·
2024-01-02 06:46
后端
计算机网络
深入浅出
Redis高可用:哨兵机制
大家好,我是小❤,一个漂泊江湖多年的985非科班程序员,曾混迹于国企、互联网大厂和创业公司的后台开发攻城狮。1.引言之前我们聊过Redis的主从同步(复制)主题,这期我们来聊Redis的哨兵机制。时光穿梭机:救命!只有我还不明白Redis主从复制的原理吗?上期我们说过,在实际互联网架构上,Redis为了保证高可用和分担读写压力,几乎都会采取主从复制的部署架构。一方面让架构易于扩展,另一方面防止单体
xin猿意码
·
2024-01-02 06:46
redis
数据库
数据齐舞:
深入浅出
分布式事务的八奇技
时光穿梭机:
深入浅出
分布式、CAP和BASE理论今天,小❤将带大家探讨分布式事务里的“八奇技”,帮助大家在实际的分布式系统中更好地运用事务。
xin猿意码
·
2024-01-02 06:46
分布式
后端
深入浅出
RabbitMQ:顺序消费、死信队列和延时队列
大家好,我是小❤,一个漂泊江湖多年的985非科班程序员,曾混迹于国企、互联网大厂和创业公司的后台开发攻城狮。1.引言上篇文章(应对流量高峰的利器——消息中间件)中,我们已经介绍了消息中间件的用途,主要用作:解耦、削峰、异步通信、应用解耦,并介绍了业界常用的几种消息中间件,优劣对比和使用场景。在今天的文章中,我们来聊一聊RabbitMQ,这是小❤在工作中用的最早的消息中间件,主要用于大量数据的异步消
xin猿意码
·
2024-01-02 06:14
rabbitmq
分布式
教你用Python搭建一个属于自己的AI聊天机器人
今天,我们将
深入浅出
地介绍如何使用ChatGPTAPI,构建属于自己的智能聊天机器人的基础。
酒酿小小丸子
·
2024-01-02 06:05
人工智能
python
机器人
开发语言
学习
整本书阅读的思考
图片发自App今天有幸参加了,西安市小学语文特色课程展示暨陕西师范大学金泰假日花城小学“阅读经典,浸润心灵”整本书阅读观摩研讨活动课堂上老师
深入浅出
的讲解,学生灵动的回答给我留下了深刻的印象,我也将自己的观课感受记录如下
964f3ab42de3
·
2024-01-02 05:01
刘中良老师讲亲子情商沟通智慧笔记
佩服刘老师能将高大上的道理接地气的讲出来,
深入浅出
、醍醐灌顶!
lihua_78d9
·
2024-01-02 05:47
【2023】hadoop基础介绍
目录Hadoop组成
HDFS
HDFS
操作
HDFS
分布式文件存储NameNode元数据数据读写流程YARN和MapReduceMapReduce:分布式计算YARN:资源管控调度YARN架构提交任务到**
方渐鸿
·
2024-01-02 03:26
数据分析
hadoop
大数据
分布式
python
flink 连接
hdfs
读取文件配置
flink连接
hdfs
读取文件配置hadoop版本为2.7.3window系统本地运行flink程序读取
hdfs
文件配置1,请导入hadoop和httpclient的包org.apache.flinkflink-hadoop-fs
eagle隼
·
2024-01-02 02:06
2018-05-21
分别做什么
hdfs
是存储数据的,yarn是管理调度作业的,mr是计算处理的3.
hdfs
在部署时,要配置信任关系,请问root和hadoop用户部署时,区别是什么root的权限高,可以不用管,普通用户需要修改
CrUelAnGElPG
·
2024-01-01 23:55
hdfs
数据完整性
hdfs
会对写入的所有数据计算校验和,在数据通过不可靠通道传输的时候再次计算校验和,对比就能发现数据是否损坏,常用的通过32位循环冗余校验,在hadoop中,可以通过checksum命令得到想要的文件的校验和
文贞武毅
·
2024-01-01 20:45
计算机视觉方向面试题总结(一):目标检测篇
➡️点击访问《
深入浅出
OCR》:对标全网最全OCR教程,含理论与实战总结。以上
GoAI
·
2024-01-01 20:05
计算机视觉CV
目标检测
计算机视觉
目标检测
深度学习
人工智能
pytorch
一条新路还是一个大坑?
今天收到第一本书,系统之美,迫不及待的读起来,真的如译者的导读所言,作者
深入浅出
的介绍系统概念——一个看不见摸不着的“系统”,读起来行云流水,几次读着读着就会感到一阵颅内高潮,停下来思索身边曾经
小富贵儿马玉莲
·
2024-01-01 20:24
初始SpringBoot:详解特性和结构
浩泽学编程:个人主页推荐专栏:《
深入浅出
SpringBoot》《java项目分享》《RabbitMQ》《Spring》《SpringMVC》学无止境,不骄不躁,知行合一文章目录前言一、SpringBoot
浩泽学编程
·
2024-01-01 16:28
#
深入浅出SpringBoot
spring
boot
后端
java
Spring
软件工程
AI短视频生成与制作从入门到精通
系列文章目录送书第一期《用户画像:平台构建与业务实践》送书活动之抽奖工具的打造《获取博客评论用户抽取幸运中奖者》送书第二期《SpringCloudAlibaba核心技术与实战案例》送书第三期《
深入浅出
Java
青花锁
·
2024-01-01 14:22
活动
人工智能
短视频
快速构建AI应用 -- AWS无服务器AI应用实战
系列文章目录送书第一期《用户画像:平台构建与业务实践》送书活动之抽奖工具的打造《获取博客评论用户抽取幸运中奖者》送书第二期《SpringCloudAlibaba核心技术与实战案例》送书第三期《
深入浅出
Java
青花锁
·
2024-01-01 14:52
AI
送书活动
人工智能
aws
serverless
AI
AWS解决方案架构师学习与备考
系列文章目录送书第一期《用户画像:平台构建与业务实践》送书活动之抽奖工具的打造《获取博客评论用户抽取幸运中奖者》送书第二期《SpringCloudAlibaba核心技术与实战案例》送书第三期《
深入浅出
Java
青花锁
·
2024-01-01 14:52
活动
aws
学习
云计算
解决方案架构师
架构
详解大数据数据仓库分层架构
大数据数据仓库是基于HIVE构建的数据仓库,分布文件系统为
HDFS
,资源管理为Yarn,计算引擎主要包括MapReduce/Tez/Spark等,分层架构如下:1、数据来源层:日志或者关系型数据库,并通过
Alukar
·
2024-01-01 14:47
大数据编程期末大作业
目录一、Hadoop基础操作二、RDD编程三、SparkSQL编程四、SparkStreaming编程五、Flume的安装配置一、Hadoop基础操作按要求完成以下操作:1、在
HDFS
中创建目录/user
Francek Chen
·
2024-01-01 14:50
Spark编程基础
spark
大数据
分布式
2024任务驱动Hadoop应用讲课提纲
Hadoop集群任务1:搭建完全分布式Hadoop集群1.思路解析2.编程实现3.知识点讲解4.总结提高任务2:搭建高可用Hadoop集群(HA模式)1.思路解析2.编程实现3.知识点讲解4.总结提高项目二:
HDFS
howard2005
·
2024-01-01 13:41
Hadoop分布式入门
hadoop
大数据
分布式
深入浅出
Django的MTV架构
在现代Web应用程序开发中,采用一种模式或架构以组织代码和功能是至关重要的。在Django中,这种模式被称为MTV模式,即模型(Model)、模板(Template)和视图(View)。尽管它与传统的MVC(模型-视图-控制器)模式类似,Django的MTV架构有自己独特的实现方式。本文将详细介绍Django的MTV架构,并提供一些示例,以帮助你更好地理解和应用这一架构。1.DjangoMTV架构
Python_P叔
·
2024-01-01 11:29
django
架构
数据库
安装Hadoop:Hadoop的单机模式、伪分布式模式——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项
前言Hadoop包括三种安装模式:单机模式:只在一台机器上运行,存储是采用本地文件系统,没有采用分布式文件系统
HDFS
;伪分布式模式:存储采用分布式文件系统
HDFS
,但是,
HDFS
的名称节点和数据节点都在同一台机器上
Stitch .
·
2024-01-01 10:09
我的大学笔记
Hadoop
分布式
大数据
hadoop
笔记
linux
mysql
hive
2021-10-16
本书融合了心理学知识的精华,针对现代人在生活和工作中常遇到的心理问题,给予专业,易行,有效的指导,配以生动贴切的案例故事,将深奥的心理学知识
深入浅出
地进行通俗化阐述,旨在让读者快速掌握心理学的核心奥秘,
0517d77dfe5f
·
2024-01-01 10:16
【2023Hadoop大数据技术应用期末复习】填空题题型整理
大数据的4V特征包含()()()()答案:大量、多样、高速、价值Hadoop三大组件包含()()()答案:
HDFS
、MapReduce、YarnHadoop2.x版本中的
HDFS
是由()()()组成答案
Lacszer
·
2024-01-01 10:23
大数据
计算机毕业设计hadoop+spark+hive知识图谱酒店推荐系统 酒店数据分析可视化大屏 酒店爬虫 高德地图API 酒店预测系统 大数据毕业设计
爬取去哪儿网全站旅游数据约10万+,存入mysql;2.使用pandas+numpy/hadoop+mapreduce对mysql中旅游数据进行数据清洗,使用高德API计算地理信息,最终转为.csv文件上传
hdfs
计算机毕业设计大神
·
2024-01-01 06:52
Python使用
hdfs
存放文件时报Proxy error: 502 Server dropped connection解决方案
Python3使用
hdfs
分布式文件储存系统frompy
hdfs
import*client=
Hdfs
Client(hosts="test
hdfs
.org,50070",user_name="web_crawler
Python之战
·
2024-01-01 05:11
深入浅出
图解C#堆与栈 C# Heap(ing) VS Stack(ing) 第四节 参数传递对堆栈的影响 1
深入浅出
图解C#堆与栈C#HeapingVSStacking第四节参数传递对堆栈的影响1[
深入浅出
图解C#堆与栈C#Heap(ing)VSStack(ing)第一节理解堆与栈](https://mp.csdn.net
类人_猿
·
2024-01-01 03:10
Unity
C#高级
数据结构
c#
开发语言
堆与栈
训狗实战与理论
深入浅出
,职业训犬师为你专业讲解
一、教程描述本套教程是专业训犬教程,由职业训犬师为你讲解,可以教会狗狗各项实用技能,完全服从你下达的行动指令,同时改掉狗狗的各种坏习惯,让狗狗更加聪明乖巧,并且更通人性,从而可以与人快乐互动。本套训狗教程,大小13.18G,共有154个文件。二、教程目录一、训犬原理(共7课时)01.讲师及犬道介绍.avi02.什么是训狗.rmvb03.训狗的基本原理.rmvb04.训狗的基本方式方法.rmvb05
itsover
·
2024-01-01 02:39
学习
生活
如何学习CPDA?
核心的三本书就是:统计学、RINACTION、
深入浅出
数据分析。第一星期:好好的阅读一下统计学这本教材。按照每天3个小时的时间,一个星期你至少能看完8章。
志者不俗
·
2024-01-01 01:52
又见陈宏友教授
在那里,他以自身的经历,现实的事例,
深入浅出
地为我们这些,来自全省的优秀班主任,分享了作为老师的幸福感。又非常专业的给我们分享了,教育学生的方法等内容。
秋韵灵儿
·
2024-01-01 00:12
大数据 - Hadoop系列《二》- Hadoop组成
目录3.1hadoop组成3.1
HDFS
架构概述1.NameNode(nn):编辑2.DataNode(dn):3.SecondaryNameNode(2nn):3.2YARN架构概述3.3MapReduce
王哪跑nn
·
2023-12-31 22:50
大数据
大数据
hadoop
分布式
大数据的核心工作
以数据为生活赋能大数据软件生态(数据存储,数据计算,数据传输)1.大数据的核心工作存储:妥善保存海量待处理数据计算:完成海量数据的价值挖掘传输:协助各个环节的数据传输2.大数据软件生态存储:ApacheHadoop
HDFS
PGl63
·
2023-12-31 22:42
hadoop
数据库
数据库架构
安装与部署Hadoop
一、前置安装准备1、机器2、java3、创建hadoop用户二、安装Hadoop三、环境配置1、workers2、hadoop-env.sh3、core-site.xml4、
hdfs
-site.xml5
mapyking
·
2023-12-31 20:48
大数据-Hadoop
hadoop
大数据
分布式
上一页
20
21
22
23
24
25
26
27
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他