E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop安装配置
大数据经典技术解析:
Hadoop
+Spark大数据分析原理与实践
Apache
Hadoop
和ApacheSpark是目前主流开源大数据框架。由于其易于部署、高容错性、并行计算能力强、适应数据量大、可编程、社区支持广泛等特点,大大提升了大数据应用的效率和效果。
AI天才研究院
·
2025-03-03 10:27
Python实战
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
Hadoop
基础知识及部署模式
一、
Hadoop
是什么
Hadoop
是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。
2301_82242502
·
2025-03-03 06:28
hadoop
大数据
分布式
探讨
Hadoop
的基础架构及其核心特点
Hadoop
是一个开源软件框架,用于存储和处理大规模数据集。
xx155802862xx
·
2025-03-03 06:58
hadoop
大数据
分布式
Hadoop
毕业设计:计算机毕业设计选题汇总(建议收藏)
文章目录前言基于
Hadoop
的毕业设计选题毕设作品展示前言2025全新毕业设计项目博主介绍:✌全网粉丝10W+,CSDN全栈领域优质创作者,博客之星、掘金/华为云/阿里云等平台优质作者。
会写代码的羊
·
2025-03-03 05:16
毕设选题
hadoop
课程设计
大数据
毕设选题
毕设题目
数据分析
大数据技术学习框架(更新中......)
Hadoop
相关HDFS分布式文件系统MR(MapReduce)离线数据处理MR-图解YARN集群资源管理ZooKeeperZooKeeper分布式协调框架Hive相关Hive-01之数仓、架构、数据类型
小技工丨
·
2025-03-03 04:05
大数据技术学习
大数据
学习
【Burp入门第三十三篇】BurpSuite+Proxifier
安装配置
,实现微信小程序抓包
BurpSuite是一款功能强大的渗透测试工具,被广泛应用于Web应用程序的安全测试和漏洞挖掘中。本专栏将结合实操及具体案例,带领读者入门、掌握这款漏洞挖掘利器读者可订阅专栏:【Burp由入门到精通|CSDN秋说】文章目录下载配置下载汉化版下载地址:https://get-shell.com/1506.html#hidden-box-comment解压后双击exe文件:
秋说
·
2025-03-02 20:02
BurpSuite
渗透工具
Proxifier
Ubuntu从零创建
Hadoop
集群
目录前言前提准备1.设置网关和网段2.查看虚拟机IP及检查网络3.Ubuntu相关配置镜像源配置下载vim编辑器4.设置静态IP和SSH免密(可选)设置静态IPSSH免密5.JDK环境部署6.
Hadoop
爱编程的王小美
·
2025-03-02 12:57
大数据专业知识系列
ubuntu
hadoop
linux
mysql8.0.12安装_mysql 8.0.12
安装配置
图文教程
记录了mysql8.0.12下载安装教程,分享给大家。下载如图下载以后将安装包解压到任意文件夹,我这里解压到E盘。安装1、解压以后有E:\mysql\mysql-8.0.12-winx64,里面建立一个空文件夹data,如果已经有这个文件夹就不用进行这一步2、建立一个my.ini文件,用记事本打开,复制以下代码进去[mysqld]#设置3306端口port=3306#设置mysql的安装目录bas
梦醒马亡
·
2025-03-02 09:59
PyCharm极速安装指南:3分钟掌握Python开发环境
准备工具步骤一:下载安装包⚙️步骤二:
安装配置
步骤三:首次启动配置步骤四:创建第一个项目效率优化技巧❗常见问题排雷社区版vs专业版为什么选择PyCharm?
三流搬砖艺术家
·
2025-03-02 08:24
python
python
pycharm
ide
关于解决shell脚本中无法用cd命令,在指定文件下运行指定文件的解决方法分享
本人以编写shell脚本,一键
安装配置
php7.3为例前提:本脚本在Linux/opt/目录下运行首先解压php压缩包######配置nginx,带lua支持######################
Ramphastos1101
·
2025-03-02 06:06
php
linux
服务器
bash
【零代码(低代码)工作流引擎(cube-flowable)】
此工作流引擎是零代码或低代码的工作流引擎,
安装配置
开箱即可使用,完全适用于中国国情的工作流引擎。主要特点
风清扬【coder】
·
2025-03-01 21:34
低代码
工作流
低代码
java
spring
boot
开源
Kubernetes 从零开始:手把手教你玩转容器编排王者!
本文将从零开始,手把手带你一步步掌握Kubernetes的核心概念、
安装配置
、常用组件以
Leaton Lee
·
2025-03-01 14:18
kubernetes
容器
使用宝塔大家Java项目遇到的问题
记录一下使用宝塔大家Java项目遇到的问题:1.没有那个文件或目录/var/tmp/springboot/vhost/scripts/system-service.sh:没有那个文件或目录Feb2811:13:01
hadoop
05spring_system-service
LOVE_DDZ
·
2025-03-01 10:45
JAVA
Spring-Boot
java
spring
boot
开发语言
如何使用Spark Streaming将数据写入HBase
Spark:确保Spark已经安装,并且Spark版本与HBase的
Hadoop
版本兼容。HBaseConnectorforSpark:你需要使用HBase的SparkConnecto
Java资深爱好者
·
2025-03-01 05:02
spark
hbase
大数据
项目经验之LZO压缩?思维导图 代码示例(java 架构)
在
Hadoop
生态系统中,使用LZO压缩可以显著减少存储空间,并且由于其快速的解压速度,对于大规模数据处理任务来说是非常有利的。以下是关于LZO压缩的项目经验总结、思维导图描述以及Java代码示例。
用心去追梦
·
2025-03-01 05:31
java
架构
开发语言
HIVE 面试题总结
Hive依赖于HDFS存储数据,Hive将HQL转换成MapReduce执行,所以说Hive是基于
Hadoop
的一个数据仓库工具,实质就是一款基于HDFS的MapReduce计算框架,对存储在HDFS中的数据进行分析和管理
小余真旺财
·
2025-02-28 11:00
Hive
hive
从零开始搭建Zabbix监控系统:
安装配置
全攻略,轻松掌握企业级监控利器
#作者:stackofumbrella文章目录前提安装及配置开始安装设置mysql编码开始安装查询是否启动成功编译安装zabbix前提selinux关闭#vim/etc/selinux/configSELINUX=disabled#setenforce0关闭防火墙#systemctlstopfirewalldyum安装mysql检查系统是否安装其他版本的MYSQL#yumlistinstalled
磐基Stack专业服务团队
·
2025-02-28 11:00
Zabbix
zabbix
adb
Hive 面试题
Hive是基于
Hadoop
的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在
Hadoop
中的大规模数据的机制。
昨夜为你摘星
·
2025-02-28 11:59
python调用kafka
先启动
hadoop
,zookeeper,kafka启动命令
hadoop
启动命令sbin/start-all.shzookeeper启动命令.
smile__su
·
2025-02-28 06:47
python
python
kafka
Python大数据可视化:基于Python的王者荣耀战队的数据分析系统设计与实现_flask+
hadoop
+spider
开发语言:Python框架:flaskPython版本:python3.7.7数据库:mysql5.7数据库工具:Navicat11开发软件:PyCharm系统展示管理员登录管理员功能界面比赛信息管理看板展示系统管理摘要本文使用Python与MYSQL技术搭建了一个王者荣耀战队的数据分析系统。对用户提出的功能进行合理分析,然后搭建开发平台以及配置计算机软硬件;通过对数据流图以及系统结构的设计,创建
m0_74823490
·
2025-02-27 12:47
面试
学习路线
阿里巴巴
python
flask
hadoop
华为MRS产品组件
MRS:MRS是一个在华为云上部署和管理
Hadoop
系统的服务,一键即可部署
Hadoop
集群。
QianJin_zixuan
·
2025-02-27 06:59
hadoop
hive
大数据
数据库架构
gaussdb
Hive SQL 使用及进阶详解
一、Hive简介Hive是建立在
Hadoop
之上的数据仓库基础架构,它提供了类似于SQL的查询语言HiveSQL(也称为HQL),用于对存储在
Hadoop
分布式文件系统(HDFS)中的大规模数据进行数据查询和分析
小四的快乐生活
·
2025-02-27 03:37
hive
sql
hadoop
Typora
安装配置
PicGo-Core,picgo-plugin-web-uploader
安装配置
PicGo-Core,picgo-plugin-web-uploader这里写目录标题
安装配置
PicGo-Core,picgo-plugin-web-uploader2023/01/29更新下载安装插件
「已注销」
·
2025-02-26 20:16
乱
pico
plugin
upload
web
cli
ubuntu
安装配置
docker
这里不再进行分步解读了,所有操作见下面命令sudoapt-getupdatesudoapt-getinstallca-certificatescurlsudoinstall-m0755-d/etc/apt/keyringssudocurl-fsSLhttps://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg|sudogpg--dearmor-o/etc
qq_32622799
·
2025-02-26 15:05
ubuntu
docker
eureka
docker-compose -volumes 两种不同定义方式
学习docker-compose部署
hadoop
集群、看到docker-compose一种不同volumes定义方式version:"3"services:namenode:image:bde2020/
胖胖胖胖胖虎
·
2025-02-26 14:34
Docker
docker
hadoop
big
data
初识
hadoop
关于
hadoop
的写入(存入)nn里面维护了一份元数据。
西门吹水之城
·
2025-02-26 12:45
hadoop
hadoop
HDFS是如何存储和管理大数据
HDFS(
Hadoop
DistributedFileSystem,
Hadoop
分布式文件系统)是专为大数据处理而设计的分布式文件系统,具有高吞吐量、高容错性等特点,适用于大规模数据存储和管理。
python资深爱好者
·
2025-02-26 11:38
大数据
hdfs
hadoop
Hadoop
基础原理
Hadoop
基础原理基本介绍
Hadoop
的必要性
Hadoop
核心组件
Hadoop
生态系统中的附加组件HDFSHDFS集群架构HDFS读写流程HDFS写流程HDFS读流程NameNode持久化机制MapReduce
disgare
·
2025-02-26 11:38
数据库
hadoop
大数据
分布式
本地Oracle数据库复制数据到Apache Hive的Linux服务器集群的分步流程
我们已经有安装ApacheHive的Linux服务器集群,它可以连接到一个OracleRDS数据库,需要在该Linux服务器上
安装配置
sqoop,然后将OracleRDS数据库中所有的表数据复制到Hive
weixin_30777913
·
2025-02-26 10:34
数据库
大数据
hive
Spark集群架构介绍
据SparkCertifiedExperts显示,在内存中运行时,Sparks性能要比
Hadoop
快一百倍,在磁盘上运行,Sparks比
Hadoop
快达十倍。
olifchou
·
2025-02-25 20:23
Spark
spark
apache
spark
大数据
分布式
Spark Standalone集群架构
北风网spark学习笔记SparkStandalone集群架构SparkStandalone集群集群管理器,clustermanager:Master进程,工作节点:Worker进程搭建了一套
Hadoop
htfenght
·
2025-02-25 20:22
spark
spark
Hadoop
--NameSpace(名称空间)
1.名称空间的定义 HDFS的名称空间是一个逻辑上的文件系统目录树,类似于传统文件系统的目录结构。组成目录:用于组织文件的逻辑容器。文件:存储在HDFS中的实际数据单元。元数据:包括文件名、权限、所有者、文件大小、创建时间、修改时间等信息。2.名称空间的作用名称空间的主要作用是:组织文件通过目录树的形式组织文件,方便用户管理和访问。维护元数据记录文件和目录的元数据信息(如权限、所有者、大小等)。
Cynthiaaaaalxy
·
2025-02-25 18:42
hadoop
大数据
分布式
spark程序提交到集群上_Spark集群模式&Spark程序提交
ApacheMesos—通用的集群管理,可以在其上运行
Hadoop
MapReduce和一些服务应用。
Hadoop
YARN—
Hadoop
2中的资源管理器。
毫无特色
·
2025-02-25 16:25
spark程序提交到集群上
Hadoop
--Secondary NameNode工作机制,作用及与NameNode HA的区别
SecondaryNameNode主要用于辅助NameNode进行元数据的管理和检查点(Checkpoint)的生成。1.SecondaryNameNode的工作机制详解SecondaryNameNode的工作机制可以分为以下步骤:①SecondaryNameNode询问NameNode是否需要CheckpointSecondaryNameNode会定期(由dfs.namenode.check
Cynthiaaaaalxy
·
2025-02-25 08:32
hadoop
大数据
分布式
deepin Linux 安装 mysql8.0
deepinLinux安装mysql8.0下载
安装配置
修改密码设置开机自启本人使用的是Deepin,不同的发行版可能会有不同下载https://dev.mysql.com/downloads/mysql
举个栗子777
·
2025-02-25 08:00
linux
mysql
Hadoop
之jdk的安装
【实验目的】1.
安装配置
JDK1.五台独立PC机或虚拟机主机之间有有效的网络连接2.每台主机内存2G以上,磁盘剩余空间500M以上所有主机上已安装CentOS7.4操作系统3.所有主机已完成网络属性配置
快来削我吖
·
2025-02-25 01:11
云存储
hadoop
jdk
centos
安装配置
Goland+vscode
下载:Allreleases-TheGoProgrammingLanguage环境变量:GOPATH(工作目录)GOROOT(安装目录)PATH添加GOROOT%GOROOT%\bin安装成功如图:VSCODE打开工作目录,根据提示安装Go插件,然后ctrl+shift+p.安装工具
Cr不是铬
·
2025-02-24 18:47
青少年编程
go
Hadoop
HDFS基准测试
一、测试写入速度确保HDFS集群和YARN集群成功启动
hadoop
jar/export/server/
hadoop
-3.1.4/share/
hadoop
/mapreduce/
hadoop
-mapreduce-client-jobclient
Yvonne978
·
2025-02-24 14:22
大数据
hadoop
hdfs
大数据
数据库学习笔记(黑马-Javaweb课程)
:数据库:存储和管理数据的仓库SQL:操纵做关系型数据库的编程语言数据库管理系统:DBMS,操纵和管理数据库的大型软件课程介绍:数据的的设计,数据库的操作,数据库的优化-索引P81.MySQL-概述-
安装配置
图文详述
水涵幽树
·
2025-02-24 14:22
oracle
数据库
jmeter 与大数据生态圈中的服务进行集成
以下为你详细介绍JMeter与大数据生态圈中几种常见服务(
Hadoop
HDFS、Spark、Kafka、Elasticsearch)集成的方法:与
Hadoop
HDFS集成实现思路HDFS是
Hadoop
的分布式文件系统
小赖同学啊
·
2025-02-24 13:40
jmeter专栏
jmeter
大数据
数据质量管理工具(Trifacta Wrangler)
2015年10月:正式推出TrifactaWrangler,让非技术用户也能通过直观的可视化工作流程来探索、转换和丰富数据,同时其旗舰产品、专注于
Hadoop
的Trifacta数据处理解决方案更名为TrifactaWranglerEnterprise
deepdata_cn
·
2025-02-24 09:46
数据质量
数据质量
Hadoop
常用操作命令
启动HDFSsbin/start-dfs.sh启动yarnsbin/start-yarn.sh启动NodeManageryarn-daemon.shstartnodemanager启动DataNode
hadoop
-daemon.shstartdatanode
hzw0510
·
2025-02-24 07:02
hadoop
大数据
分布式
【Python爬虫(45)】Python爬虫新境界:分布式与大数据框架的融合之旅
目录一、大数据处理框架初印象1.1
Hadoop
:大数据处理的基石1.2
奔跑吧邓邓子
·
2025-02-24 05:18
Python爬虫
python
爬虫
分布式
开发语言
大数据框架
Mac端
安装配置
Java8环境。
文章目录一、Mac端安装Java,并配置环境变量。1.下载JDK8版本2.配置环境变量总结一、Mac端安装Java,并配置环境变量。以最快的方式使Java在你的电脑运行起来。1.下载JDK8版本浏览器下载点击:OracleJDK.Mac版本下载以.dmg结尾的开发包。下载完成双击安装,一路继续。2.配置环境变量如果是第一次配置,可以在终端使用touch~/.bash_profile创建配置文件,.
wangyanfei2021
·
2025-02-24 05:47
java
jdk
mac
hive运维
showlocks;查看锁unlocktable表名;释放锁发现释放不了锁,执行下面sethive.support.concurrency=false;sethive.txn.manager=org.apache.
hadoop
.hive.ql.lockmgr.DummyTxnManager
花泽啸
·
2025-02-23 23:04
Hive
hive
在vue3安装stylelint和stylelint-config-prettier和stylelint-config-recess-order出现的版本问题
前言:项目式vue3+ts+sass,需要
安装配置
依赖:npmisasssass-loaderstylelintpostcsspostcss-scsspostcss-htmlstylelint-config-prettierstylelint-config-recess-orderstylelint-config-recommended-scssstylelint-config-standards
涛声依旧god
·
2025-02-23 14:03
node.js
npm
前端
Hadoop
~HDFS的Block块
一、HDFS的block块1.介绍block块是HDFS的最小存储单位,每个256MB(可以修改)2.文件在HDFS中的存储方式文件分成多个block块,block块分三份存入对应服务器,每个block块都有2个(可修改)备份,每个副本都复制到其他服务器一份,每个block块都有两个备份在其他服务器上,这使得安全性极大提高3.修改默认文件上传到HDFS中的副本数量hdfs-site.xml默认为3
飞Link
·
2025-02-23 11:37
Hadoop框架
hadoop
hdfs
大数据
基于
Hadoop
的天气数据分析系统的设计与实现-计算机毕业设计源码+LW文档
Hadoop
作为大数据处理领域的领军技术,其分布式计算框架和海量数据存储能力为天气数据分析提供了强大的支持。
qq_375279829
·
2025-02-23 06:04
hadoop
课程设计
eclipse
毕业设计
毕设
大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构
目前已经更新到了:
Hadoop
(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis
m0_74823705
·
2025-02-22 21:50
面试
学习路线
阿里巴巴
大数据
架构
PHP实现站内搜索的开源利器——WindSearch
WindSearch是一个基于中文分词,由纯PHP开发全文检索引擎,可快速搭建PHP站点的站内搜索,他没有任何繁琐的
安装配置
、不需要维护调优、不占用服务器内存、可与PHP项目完美融合在一起。
rock365337
·
2025-02-22 20:43
WindSearch
php
开源
搜索引擎
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他