E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop视频教程
Hadoop
-HDFS的DataNode介绍及原理
DataNodeDataNode工作机制1、一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3、心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机
魔笛Love
·
2024-02-05 16:07
hadoop
大数据
绝对完美解决hdfs datanode数据和磁盘数据分布不均调整(hdfs balancer )——经验总结
Hadoop
集群Datanode数据倾斜,个别节点hdfs空间使用率达到95%以上,于是新增加了三个Datenode节点,由于任务还在跑,数据在不断增加中,这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88
·
2024-02-05 16:05
Hadoop
hdfs
java单点登录SSO教程(含源码和
视频教程
)
单点登录(SSO):SSO是指在多个应用系统中个,用户只需要登陆一次就可以访问所有相互信任的应用系统。它包括可以将这次主要的登录映射到其他应用中用于同一用户的登陆的机制。简单的说登录一次之后的子系统或关联项目则无需再次登录。实现原理单点登录工作原理在这里插入图片描述1.用户从浏览器输入需要请求的资源,如http://www.user.com/user/wel2.请求到达后端服务之后http://w
天农学子
·
2024-02-05 15:49
spark学习4:spark安装
1.下载spark安装包2.配置环境1.cd/bigdata/spark-3.0.1-bin-
hadoop
3.2/conf/2.4.添加动态库在
hadoop
-3.2.2/bin目录下添加
hadoop
.dll
hzp666
·
2024-02-05 14:58
spark
spark
大数据
从零开始 TensorRT(3)Python 篇:解析 ONNX、PyTorch TensorRT 接口
前言学习资料:TensorRT源码示例官方文档:WorkingWithTensorRTUsingThePythonAPI官方文档:TensorRTPython官方文档:CUDAPythonB站
视频教程
视频配套代码
秋山丶雪绪
·
2024-02-05 14:58
TensorRT
python
pytorch
TensorRT
从零开始 TensorRT(2)Python 篇:原生 API 构建网络
WorkingWithTensorRTUsingThePythonAPI官方文档:TensorRTPythonAPI官方文档:CUDAPythonB站视频:TensorRT教程|基于8.6.1版本B站视频配套代码cookbook 在Python篇中会仿照
视频教程
中的内容
秋山丶雪绪
·
2024-02-05 14:28
TensorRT
python
TensorRT
pycharm
计算机毕业设计
hadoop
+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计
流程1.爬取17k的小说数据约5-10万,存入mysql数据库;2.使用mapreduce对mysql中的小说数据集进行数据清洗,转为.csv文件上传至hdfs文件系统;3.根据.csv文件结构,使用hive建库建表;4.一半分析指标使用hive_sql完成,一半分析指标使用Spark-Scala完成;5.将分析结果使用sqoop导入mysql数据库;6.使用Flask+echarts构建可视化大
计算机毕业设计大神
·
2024-02-05 14:48
6.Linux虚拟机下的
Hadoop
集群搭建之完全分布式配置
Hadoop
及相关组件搭建指导WeChat:h19396218469
hadoop
-3.1.3jdk-8u162-linux-x64本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
hadoop
分布式
linux
Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg
hadoop
-3.1.3hbase-2.2.2-bin一、问题描述:在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取HBase时出现如下错误:Exceptioninthread
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
java
hadoop
hive
Hadoop
一键启动脚本编写
一、问题描述针对
Hadoop
集群使用start-dfs.shstart-yarn.sh进程无法全部启动,但是使用单独启动命令可以启动的问题进行解决。
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
linux
hadoop
4.Linux虚拟机下的
Hadoop
集群搭建之Xshell及Xftp的使用和SSH服务配置
Hadoop
及相关组件搭建指导WeChat:h19396218469本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码:lkjh(若链接失效在下面评论
学习BigData
·
2024-02-05 13:31
关于Hadoop的学习笔记
linux
hadoop
ssh
6.0 MapReduce 服务使用教程
Hadoop
中包含了许多经典的MapReduce示例程序,其中就包
二当家的素材网
·
2024-02-05 13:29
Hadoop
教程
mapreduce
大数据
Hive中分区表与分桶表的操作
目录分区表一级分区表知识点示例多级分区知识点示例分区表的操作示例
hadoop
_hive文档分桶表重要参数基础分桶表知识点示例分桶表排序知识点示例分桶原理分区表和分桶表区别分区表分区表特点/好处:需要产生分区目录
Sisi525693
·
2024-02-05 10:26
hive
hadoop
数据仓库
[
Hadoop
]万字长文
Hadoop
相关优化和问题排查总结
namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优
hadoop
的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的
王一1995
·
2024-02-05 10:55
hadoop
jvm
java
Hive drop 事务表 报错 flushing changes to datastore
-2802:13:01][08S01][1]Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.
hadoop
.hive.ql.exec.DDLTask.MetaException
AdamShyly
·
2024-02-05 10:54
Hive
踩过的坑
hive
Hadoop
3.x单机安装教程
为什么要搭建单机环境的
Hadoop
?
文景大大
·
2024-02-05 10:06
[嵌入式AI从0开始到入土]5_炼丹炉的搭建(基于wsl2_Ubuntu22.04)
[嵌入式AI从0开始到入土]嵌入式AI系列教程注:等我摸完鱼再把链接补上可以关注我的B站号工具人呵呵的个人空间,后期会考虑出
视频教程
,务必催更,以防我变身鸽王。
工具人呵呵
·
2024-02-05 09:15
嵌入式ai从0到入土
wsl
ubuntu
大数据 - Spark系列《三》- 加载各种数据源创建RDD
Spark系列文章:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客目录3.1
王哪跑nn
·
2024-02-05 09:28
spark
大数据
spark
分布式
大数据原理-Spark
概述:基于内存计算三大分布式计算系统:
Hadoop
、Spark、Storm特点:采用有向无环图DAG作业调度运行速度快循环数据流容易使用:可以通过SparkShell交互式编程用途:SQL查询、流式计算
monster++
·
2024-02-05 09:28
大数据原理
分布式
编程语言
分布式计算
hadoop
spark
大数据 - Spark系列《四》- Spark分布式运行原理
Spark系列文章:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-05 08:54
spark
大数据
分布式
spark
Hadoop
执行WorldCount出现的问题和解决
failedonconnectionexception:java.net.ConnectException:Connectionrefused;Formoredetailssee:http://wiki.apache.org/
hadoop
SZHjy
·
2024-02-05 08:38
大数据
hadoop
大数据
2.0
Hadoop
运行环境
由于
Hadoop
是为集群设计的软件,所以我们在学习它的使用时难免会遇到在多台计算机上配置
Hadoop
的情况,这对于学习者来说会制造诸多障碍,主要有两个:昂贵的计算机集群。
二当家的素材网
·
2024-02-05 07:01
Hadoop
教程
hadoop
大数据
分布式
impala与kudu进行集成
文章目录概要Kudu与Impala整合配置Impala内部表Impala外部表Impalasql操作kuduImpalajdbc操作表如果使用了
Hadoop
使用了Kerberos认证,可使用如下方式进行连接
shandongwill
·
2024-02-05 07:44
大数据
impala
kudu
impala与kudu集成
视频教程
-Flutter入门与进阶-flutter
Flutter入门与进阶从2012年开始从事移动互联网方面的开发工作,曾担任去哪儿网开发工程师,搜狗高级开发工程师,拥有多年一线实战开发经验。擅长语言:Object-C、Swift、Flutter、Java、C/C++、docker实战:1、高并发即时音视频服务:基于开源WebRTC流媒体服务器进行二次开发,支持高并发的移动端与Web端视频会议项目以及以及IM聊天软件中音视频通信。2、IM即时通信
weixin_28741153
·
2024-02-05 07:13
1.0
Hadoop
教程
Hadoop
是一个开源的分布式计算和存储框架,由Apache基金会开发和维护。
二当家的素材网
·
2024-02-05 06:38
Hadoop
教程
hadoop
大数据
分布式
3.0
Hadoop
概念
本章着重介绍
Hadoop
中的概念和组成部分,属于理论章节。如果你比较着急可以跳过。但作者不建议跳过,因为它与后面的章节息息相关。
二当家的素材网
·
2024-02-05 06:38
Hadoop
教程
hadoop
大数据
分布式
基于
hadoop
+spark的大规模日志的一种处理方案
而且CDN上的访问日志一般都非常大,需要用大数据处理架构来进行处理,本文描述了一种利用
hadoop
+spark来处理大量CDN日志的方法,当然本方
码农心语
·
2024-02-05 06:36
日志处理
大规模
大数据
hadoop
spark
cdn
零基础学编程系列,从入门到精通,中文编程开发语言工具下载,编程构件容器件之控制面板构件用法
零基础学编程系列,从入门到精通,中文编程开发语言工具下载,编程构件容器件之控制面板构件用法一、前言编程入门
视频教程
链接https://edu.csdn.net/course/detail/39036编程工具及实例源码文件下载可以点击最下方官网卡片
编程实战
·
2024-02-05 06:17
编程实际应用案例
开发语言
零基础学编程
中文编程工具下载
linux中如何输入控制字符
看以下实例:以下文本中的字段用^A分隔,[leo@
hadoop
orgplan]$sed"s/^A//g"orgplan一定要注意^并不是数字键6上的
发狂的蜗牛
·
2024-02-05 01:47
linux
运维
服务器
Kali Linux零基础入门到精通
这套KaliLinux资料合集,包括12份KaliLinux渗透测试PDF资料,以及一份KaliMSF控制目标电脑的
视频教程
。
网安福宝
·
2024-02-05 00:34
网络安全
linux
运维
服务器
网络安全
web
Flink1.18.0集成Yarn-session模式部署
上次部署了
Hadoop
集群
Hadoop
3.3.6(HDFS、YARN、MapReduce)完全分布式集群安装搭建这次集成下flinkYARN上部署的过程是:客户端把Flink应用提交给Yarn的ResourceManager
china-zhz
·
2024-02-04 21:34
flink
yarn
hadoop
大数据
Hadoop
3.3.6(HDFS、YARN、MapReduce)完全分布式集群安装搭建
目录一、节点部署角色目录二、下载软件三、基础设施1、安装必要插件2、设置IP及主机名3、时间同步4、jdk安装5、ssh免密登录四、
Hadoop
部署1、目录及环境变量准备2、安装3、修改配置文件4、分发文件
china-zhz
·
2024-02-04 21:33
hdfs
mapreduce
hadoop
yarn
企业级大数据安全架构(九)FreeIPA管理员密码忘记后如何修改
作者:楼高1重置DirectoryServer管理员密码1.1停止directoryserver服务[root@ipaschema]#start-dirsrvHDP-
HADOOP
如果你不知道你的实例名,
云掣YUNCHE
·
2024-02-04 20:36
企业级大数据安全架构
大数据
安全架构
安全
Hadoop
集群搭建
搭建
Hadoop
集群涉及多个步骤,包括准备硬件环境、安装和配置
Hadoop
以及验证集群的安装。
终将老去的穷苦程序员
·
2024-02-04 19:53
hadoop
HDFS常用命令
hdfsdfs-putwc.input/user/anna/input查看上传的文件是否正确bin/hdfsdfs-cat/user/anna/input/wc.input运行mapreduce程序bin/
hadoop
jarshar
须臾之北
·
2024-02-04 18:41
Microsoft Visual Studio2019环境下搭建SDL开发环境
参考链接《基于FFmpeg+SDL的视频播放器的制作》课程的视频_雷霄骅的博客-CSDN博客_雷霄骅ffmpeg
视频教程
小学期课程资料-基于FFmpeg+SDL的视频播放器的制作.zip_免费高速下载|
MY CUP OF TEA
·
2024-02-04 17:37
音视频
visual
studio
音视频
ide
Fink CDC数据同步(六)数据入湖Hudi
数据入湖HudiApacheHudi(简称:Hudi)使得您能在
hadoop
兼容的存储之上存储大量数据,同时它还提供两种原语,使得除了经典的批处理之外,还可以在数据湖上进行流处理。
大数据_苡~
·
2024-02-04 16:21
flink
hadoop
mt3dgis
视频教程
第一个球球mt3dgis二次开发第一个球基础使用mt3dgis二次开发基础使用mt3dgis二次开发经纬度获取mt3dgis二次开发默认数据库结构mt3dgis二次开发自定义面板mtgis二次开发白膜贴图控制mt3dgis二次开发白模贴图控制2mt3dgis二次开发增加UI到球mt3dgis二次开发会旋转的UImt3dgis二次开发增加漂亮UImt3dgis二次开发用户层开发mt3dgis二次开发
种瓜的
·
2024-02-04 16:04
wpf3dgis
wpf
3d
gis
如何解决“
hadoop
:未找到命令”?
原因是未将
hadoop
命令添加至执行路径。
听风347
·
2024-02-04 15:17
eclipse
hadoop
大数据
做大数据需要学习哪些东西啊
Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解
hadoop
、hi
kuntoria
·
2024-02-04 14:02
python自动视频剪辑_自动剪辑视频神器(适合自动剪 Vlog、
视频教程
等)
这是一个python写的小工具,我下载jumpcutter下后,修补了一些bug,并加入了自动转字幕和自动剪辑的功能,成了现在的版本。不过我也是不专业程序员,目前也没时间学Github,也懒得写英文Readme了,代码也简单,就发到这里,看下有没有志愿者,能把这个程序发到Github,进行维护。上面的zip下载链接在V2EX可能下不了,可以到我在Hacpai的源帖子中点击下载为了更方便理解这个工具
weixin_39927623
·
2024-02-04 14:31
python自动视频剪辑
手把手教你开发Python桌面应用-PyQt6图书管理系统-主界面UI设计实现
锋哥原创的PyQt6图书管理系统
视频教程
:PyQt6图书管理系统
视频教程
Python桌面开发Python入门级项目实战(无废话版)火爆连载更新中~_哔哩哔哩_bilibiliPyQt6图书管理系统
视频教程
java1234_小锋
·
2024-02-04 13:12
Python
python
pyqt
pyqt6
pyqt6实战
pyqt项目
pyqt实战
手把手教你开发Python桌面应用-PyQt6图书管理系统-主界面UI背景及状态栏代码设置
锋哥原创的PyQt6图书管理系统
视频教程
:PyQt6图书管理系统
视频教程
Python桌面开发Python入门级项目实战(无废话版)火爆连载更新中~_哔哩哔哩_bilibiliPyQt6图书管理系统
视频教程
java1234_小锋
·
2024-02-04 13:12
Python
python
pyqt
pyqt6
pyqt6实战
pyqt实战
python实战
手把手教你开发Python桌面应用-PyQt6图书管理系统-图书类别添加模块UI设计实现
锋哥原创的PyQt6图书管理系统
视频教程
:PyQt6图书管理系统
视频教程
Python桌面开发Python入门级项目实战(无废话版)火爆连载更新中~_哔哩哔哩_bilibiliPyQt6图书管理系统
视频教程
java1234_小锋
·
2024-02-04 13:12
Python
pyqt
python
pyqt6
手把手教你开发Python桌面应用-PyQt6图书管理系统-图书类别添加代码逻辑实现
锋哥原创的PyQt6图书管理系统
视频教程
:PyQt6图书管理系统
视频教程
Python桌面开发Python入门级项目实战(无废话版)火爆连载更新中~_哔哩哔哩_bilibiliPyQt6图书管理系统
视频教程
java1234_小锋
·
2024-02-04 13:12
Python
python
pyqt
pyqt6
python222网站实战(SpringBoot+SpringSecurity+MybatisPlus+thymeleaf+layui)-标题生成关键字实现
锋哥原创的Springboot+Layuipython222网站实战:python222网站实战课程
视频教程
(SpringBoot+Python爬虫实战)(火爆连载更新中...)
java1234_小锋
·
2024-02-04 13:11
java
spring
boot
layui
后端
python222网站实战(SpringBoot+SpringSecurity+MybatisPlus+thymeleaf+layui)-公众号实现人机验证实现
锋哥原创的Springboot+Layuipython222网站实战:python222网站实战课程
视频教程
(SpringBoot+Python爬虫实战)(火爆连载更新中...)
java1234_小锋
·
2024-02-04 13:11
java
spring
boot
layui
java
python222网站实战(SpringBoot+SpringSecurity+MybatisPlus+thymeleaf+layui)-Mysql分词检索实现
锋哥原创的Springboot+Layuipython222网站实战:python222网站实战课程
视频教程
(SpringBoot+Python爬虫实战)(火爆连载更新中...)
java1234_小锋
·
2024-02-04 13:10
java
spring
boot
layui
后端
python222网站实战(SpringBoot+SpringSecurity+MybatisPlus+thymeleaf+layui)-Java过滤网站XSS攻击
锋哥原创的Springboot+Layuipython222网站实战:python222网站实战课程
视频教程
(SpringBoot+Python爬虫实战)(火爆连载更新中...)
java1234_小锋
·
2024-02-04 13:10
java
spring
boot
java
layui
xss
大数据技术未来发展前景及趋势分析
Storm加速了流数据处理的过程,为
Hadoop
批处理提供实时数据处理。Spark:Spark是一个兼容
Hadoop
数据源的内存数据处理平台,运行速度相比于
Hadoop
MapReduce更快。
丨程序之道丨
·
2024-02-04 12:54
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他