E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop基础教程
azkaban的概况
Azkaban的性质azkaban是一个任务调度,管理系统,可以帮用户管理,调度各种运算任务的一个web服务器可以调度任何任务,只要你的任务能用脚本启动azkaban的类似的产品还有很多,例如
hadoop
北京小峻
·
2025-01-21 23:35
大数据
azkaban
mysql
数据库
基于
hadoop
的协同过滤算法电影推荐系统的设计与实现
基于
hadoop
的协同过滤算法电影推荐系统的设计与实现文章目录基于
hadoop
的协同过滤算法电影推荐系统的设计与实现1.背景介绍1.1电影推荐系统的重要性1.2传统推荐系统的缺陷1.3
Hadoop
在大数据处理中的作用
AI天才研究院
·
2025-01-21 23:32
大数据AI人工智能
AI大模型企业级应用开发实战
计算科学
神经计算
深度学习
神经网络
大数据
人工智能
大型语言模型
AI
AGI
LLM
Java
Python
架构设计
Agent
RPA
hive电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档]【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到
hadoop
QQ-1305637939
·
2025-01-21 22:28
毕业设计
大数据毕设
计算机毕业设计
hive
spring
boot
爬虫
hadoop
电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
全套视频教程全套开发文档
hadoop
电影数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示【
Hadoop
项目】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv
QQ-1305637939
·
2025-01-21 22:28
计算机毕业设计
毕业设计
大数据毕设
hadoop
spring
boot
爬虫
spark电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到
hadoop
QQ-1305637939
·
2025-01-21 22:58
毕业设计
大数据毕设
计算机毕业设计
spark
spring
boot
爬虫
大数据
电影推荐
电影分析
hadoop
图书数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫1万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
hadoop
图书数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫1万+数据大屏数据展示+[手把手视频教程和开发文档]【亮点功能】1.Springboot+Vue+Element-UI+Mysql
QQ-1305637939
·
2025-01-21 22:57
毕业设计
大数据毕设
图书数据分析
hadoop
spring
boot
爬虫
2024年最全(一)大数据---
Hadoop
整体介绍(架构层)----(组件,并发知识体系大全
Hadoop
方案一、大数据介绍============
2401_84586689
·
2025-01-21 21:19
程序员
大数据
hadoop
架构
大数据分析专业毕业设计最新最全选题精华汇总--持续更新中⑤
以下是学长精心整理的一些选题:21.基于
Hadoop
和Spa
源码空间站11
·
2025-01-21 20:37
python
django
大数据分析
数据可视化
hadoop
hive
大数据分析毕设
Hadoop
常用命令
查看指定目录下的文件及文件夹
hadoop
fs-ls/user/hive/warehouse/查看指定目录下的文件及文件夹大小#文件大小(单位Byte)
hadoop
fs-du/user/hive/warehouse
ZenPower
·
2025-01-21 06:59
hadoop
大数据
分布式
hadoop
常用命令汇总
1、查看目录下的文件列表:
hadoop
fs–ls[文件目录]
hadoop
fs-ls-h/lance2、将本机文件夹存储至
hadoop
上:
hadoop
fs–put[本机目录][
hadoop
目录]
hadoop
fs-putlance
m0_67402026
·
2025-01-21 06:59
java
java
后端
hadoop
常用命令
Yarn查看提交到资源调度器的任务(任何用yarn资源的都可以看,比如spark、tez、mapreduce)看正在运行的yarn任务yarnapplication-list杀死对应的yarn任务yarnapplication-kill{application_Id}(id可以通过-list看到)hdfs查看hdfs目录hdfsdfs-ls/(查看本集群的目录)hdfsdfs-lshdfs://i
我要用代码向我喜欢的女孩表白
·
2025-01-21 05:54
hadoop
npm
大数据
Kylin入门教程
引言ApacheKylin是一个开源的分布式分析引擎,提供
Hadoop
上的多维分析(OLAP)能力,使得超大规模数据集的实时查询和分析成为可能。
-龙川-
·
2025-01-20 20:23
介绍
学习笔记
kylin
flume系列之:flume落cos
flume系列之:flume落cos一、参考文章二、安装cosjar包三、添加
hadoop
-cos的相关配置四、flume环境添加
hadoop
类路径五、使用cos路径六、启动/重启flume一、参考文章
快乐骑行^_^
·
2025-01-20 13:42
日常分享专栏
flume系列
如何用Python爬取网站数据:
基础教程
与实战
数据爬取(WebScraping)是从网站中自动获取信息的过程。借助Python强大的库和工具,数据爬取变得非常简单且高效。本文将介绍Python爬取网站数据的基础知识、常用工具,以及一个简单的实战示例,帮助你快速上手网站数据爬取。1.什么是网站数据爬取?网站数据爬取是通过编写程序自动抓取网页内容的技术,通常用于从公开网站中提取特定数据。数据爬取的应用场景非常广泛,包括:收集商品价格和评论数据新闻
大梦百万秋
·
2025-01-20 12:27
知识学爆
python
开发语言
Hadoop
和 Spark 的内存管理机制分析
大数据技术:涵盖
Hadoop
(HDFS)、Hive、Spark、Fli
王子良.
·
2025-01-20 03:27
经验分享
hadoop
spark
大数据
SS00023.PBpositions——|
Hadoop
&PB级离线数仓.v02|——|Griffin.v02|Griffin部署|
一、Griffin编译准备###---软件解压缩[root@
hadoop
02~]#ls/opt/yanqi/software/griffin-griffin-0.5.0.zip/opt/yanqi/software
yanqi_vip
·
2025-01-19 21:30
数据库
hadoop
hive
大数据
hdfs
解决 WARN util.NativeCodeLoader: Unable to load native-
hadoop
library for your platform...警告
这个警告意味着
Hadoop
在加载本地本机库时遇到了问题。
克里斯蒂亚诺罗纳尔多阿维罗
·
2025-01-19 10:05
hadoop
VXLAN
基础教程
:VXLAN 协议原理介绍
VXLAN(VirtualeXtensibleLocalAreaNetwork,虚拟可扩展局域网),是一种虚拟化隧道通信技术。它是一种Overlay(覆盖网络)技术,通过三层的网络来搭建虚拟的二层网络。简单来讲,VXLAN是在底层物理网络(underlay)之上使用隧道技术,借助UDP层构建的Overlay的逻辑网络,使逻辑网络与物理网络解耦,实现灵活的组网需求。它对原有的网络架构几乎没有影响,不
lingshengxiyou
·
2025-01-19 10:04
网络
linux
运维
c++
开发语言
Hive 数据类型全解析:大数据开发者的实用指南
在大数据处理领域,Hive作为一款基于
Hadoop
的数据仓库工具,被广泛应用于数据的存储、查询和分析。
大鳥
·
2025-01-19 08:42
sql
hive
数据仓库
Java 大视界 -- 解锁 Java 与
Hadoop
HDFS 交互的高效编程之道(二)
亲爱的朋友们,热烈欢迎你们来到青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。本博客的精华专栏:大数
青云交
·
2025-01-19 05:19
大数据新视界
Java
大视界
HDFS
Java
流
代码示例
性能优化
读写操作
大数据
Hadoop
java
Yarn工作机制?思维导图 代码示例(java 架构)
YARN工作机制YARN(YetAnotherResourceNegotiator)是
Hadoop
生态系统中的资源管理和调度框架,它负责管理集群中的所有资源,并为应用程序提供调度服务。
用心去追梦
·
2025-01-19 02:17
java
架构
开发语言
使用
Hadoop
实现大数据的高效存储与查询
大数据技术:涵盖
Hadoop
(HDFS)、Hive、Spark、Fli
王子良.
·
2025-01-18 23:24
经验分享
大数据
hadoop
分布式
集群间hive数仓迁移
上建库建表;showcreatetabletb_name;createdatabasedb_name;createtabletb_name.....第二步:转移数据文件到新集群;在旧集群中下载数据到本地
hadoop
fs-get
one code
·
2025-01-18 17:15
database
Hive中没有超级管理员,如何进行权限控制
grantselectontabletest2touser
hadoop
;如何开发一个超级管理员:创建一个项目,导入mavanjar包,然后开始编写hook类importcom.google.common.base.Joiner
二进制_博客
·
2025-01-18 16:42
大数据
hive
hadoop
数据仓库
调试
Hadoop
源代码
个人博客地址:调试
Hadoop
源代码|一张假钞的真实世界
Hadoop
版本
Hadoop
2.7.3调试模式下启动
Hadoop
NameNode在${
HADOOP
_HOME}/etc/
hadoop
/
hadoop
-env.sh
一张假钞
·
2025-01-18 13:16
hadoop
eclipse
大数据
大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构
目前已经更新到了:
Hadoop
(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis
武子康
·
2025-01-18 10:29
大数据
离线数仓
大数据
数据仓库
java
后端
hadoop
hive
pyspark 中删除hdfs的文件夹
寻找到一个删除的方法,是通过调用shell命令
hadoop
fs-rm-f来删除,这个方法感觉不怎么好,所以继续找。
TDengine (老段)
·
2025-01-18 09:21
大数据
spark
hadoop
hdfs
mapreduce
51单片机
基础教程
所谓单片机,就是把中央处理器CPU(CentralProcessingUnit)、存储器(Memory)、定时器、I/0(Input/Output)接口电路等一些计算机的主要功能部件集成在一块集成电路芯片上的微型计算机。虽然单片机只是一个芯片,但从组成和功能上看,它已具有了微型计算机系统的含义。由于80C51的架构和指令系统为后来的单片机提供了参考基准和强大支持,我们也将以51系列单片机为实例,介
djimon
·
2025-01-18 08:43
51单片机
汇编
语言
processing
编程
flash
工具
Python 爬虫:获取网页数据的 5 种方法
大数据技术:涵盖
Hadoop
(HDFS)、Hive、Spark、Fli
王子良.
·
2025-01-18 07:35
经验分享
python
python
开发语言
爬虫
JavaScript语言
基础教程
笔记
JavaScript语言
基础教程
笔记下面是一个全面的JavaScript教程,适合初学者和有一定编程经验的人士。
fanxbl957
·
2025-01-18 04:37
各类语言和技术总结笔记
javascript
笔记
开发语言
案例分享|快速了解实时湖仓集一体技术如何助力企业降本增效
1.替代TD仓、
Hadoop
湖,助力农商行构建一体化数据平台某农商行最初构建了Teradata数据仓库、Oracle小数据平台以及
Hadoop
数据湖。
·
2025-01-17 20:42
mysql
万字详解数仓分层设计架构 ODS-DWD-DWS-ADS
把复杂问题简单化5、屏蔽原始数据的(影响),屏蔽业务的影响ETL操作1、数据抽取2、数据清洗3、数据转换4、数据加载数据中台包含的内容很多,对应到具体工作中的话,它可以包含下面的这些内容:系统架构:以
Hadoop
_Jordan
·
2025-01-17 16:56
自己写的
数据仓库
深入HDFS——DataNode启动源码
首先,自然还是从元数据管理篇提到的DataNode类(org.apache.
hadoop
.hdfs.server.datanode.DataNode)开始。
黄雪超
·
2025-01-17 12:26
大数据基础
#
深入HDFS
hdfs
hadoop
大数据
深入HDFS——NameNode启动源码
首先还是得从我们的前一篇提到过的NameNode类(org.apache.
hadoop
.hdfs.server.namenode.NameNode)开始,既然是看启动流程,那自然是先找类里面的main方法啦
黄雪超
·
2025-01-17 12:25
大数据基础
#
深入HDFS
hdfs
hadoop
大数据
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【问题分类】功能兼容【关键字】YAS-07202、YAS\_MYERROR,不兼容【问题描述】本项目的架构是
hadoop
+hive+yashandb使用崖山数据库,将mysql相关的创建表语句进行初始化同步使用崖山
·
2025-01-17 10:58
数据库
Spring Boot 和微服务:快速入门指南
大数据技术:涵盖
Hadoop
(HDFS)、Hive、Spark、Fli
王子良.
·
2025-01-17 09:56
Java
经验分享
spring
boot
微服务
后端
【YashanDB知识库】Hive 命令工具insert崖山数据库报错
【问题分类】功能兼容【关键字】spark30041、不兼容【问题描述】本项目的架构是
hadoop
+hive+yashandb使用崖山数据库,初始化所有的原数据表和数据新建表之后,插入数据时候报错,
hadoop
code30041
·
2025-01-17 00:46
数据库
Docker
基础教程
由于格式和图片解析问题,可能会影响阅读体验,可前往博客阅读原文Docker是一个开源的容器化平台,可以帮助开发者和运维人员更快地构建、发布和运行应用程序。Docker使用容器技术,将应用程序和其依赖项打包到一个可移植的容器中,从而实现跨平台、快速部署和易于管理的目的。本文主要从docker的基础开始学习,包括基本架构、全局命令、镜像、仓库、容器扫码关注公众号,查看更多优质文章Docker架构Doc
·
2025-01-16 23:59
初学者如何用 Python 写第一个爬虫?
大数据技术:涵盖
Hadoop
(HDFS)、Hive、Spark、Fli
王子良.
·
2025-01-16 23:27
python
经验分享
python
开发语言
爬虫
大数据学习笔记——zookeeper在
hadoop
集群中的作用
zookeeper主要是用来搭建高可用的
Hadoop
集群,即HighAvailability,简称(HA)测试中集群是可以不需要高可用的,即使用一个namenode即可。
鹅鹅鹅呢
·
2025-01-16 17:08
java
hadoop
大数据
学习
tcp/ip
tomcat
应急救援路径规划中的蚁群算法与路径评价研究【附代码】
数据分析与模型构建|数据驱动决策✨专业领域:数据挖掘与清洗大数据处理与存储技术机器学习与深度学习模型数据可视化与报告生成分布式计算与云计算数据安全与隐私保护擅长工具:Python/R/Matlab数据分析与建模
Hadoop
拉勾科研工作室
·
2025-01-16 17:36
算法
浅谈MapReduce
从今天开始,本人将会开始对另一项技术的学习,就是当下炙手可热的
Hadoop
分布式就算技术。目前国内外的诸多公司因为业务发展的需要,都纷纷用了此平台。
Android路上的人
·
2024-09-16 04:40
Hadoop
分布式计算
mapreduce
分布式
框架
hadoop
Hadoop
Apache
Hadoop
是一个开源的分布式计算框架,主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。
傲雪凌霜,松柏长青
·
2024-09-16 00:16
后端
大数据
hadoop
大数据
分布式
Hadoop
架构
一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代,数以万计用户的互联网服务时时刻刻都在产生大量的交互,要处理的数据量实在是太大了,以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现,在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合,
henan程序媛
·
2024-09-16 00:14
hadoop
大数据
分布式
分享一个基于python的电子书数据采集与可视化分析
hadoop
电子书数据分析与推荐系统 spark大数据毕设项目(源码、调试、LW、开题、PPT)
作者:计算机源码社个人简介:本人八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流!学习资料、程序开发、技术解答、文档报告如需要源码,可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
计算机源码社
·
2024-09-15 20:02
Python项目
大数据
大数据
python
hadoop
计算机毕业设计选题
计算机毕业设计源码
数据分析
spark毕设
MATLAB语言
基础教程
、 小项目1:简单的计算器、 小项目2:有页面的计算器、使用App Designer创建GUI计算器
MATLABMATLAB语言
基础教程
1.MATLAB简介2.基本语法变量与赋值向量与矩阵矩阵运算数学函数控制流3.函数4.绘图案例:简单方程求解小项目1:简单的科学计算器功能代码项目说明小项目2:有页面的计算器使用
azuredragonz
·
2024-09-15 20:01
学习教程
matlab
开发语言
hbase介绍
hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用
hadoop
hdfs作为其文件存储系统,提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用
CrazyL-
·
2024-09-15 13:06
云计算+大数据
hbase
大数据毕业设计
hadoop
+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能
做了那么多年开发,自学了很多门编程语言,我很明白学习资源对于学一门新语言的重要性,这些年也收藏了不少的Python干货,对我来说这些东西确实已经用不到了,但对于准备自学Python的人来说,或许它就是一个宝藏,可以给你省去很多的时间和精力。别在网上瞎学了,我最近也做了一些资源的更新,只要你是我的粉丝,这期福利你都可拿走。我先来介绍一下这些东西怎么用,文末抱走。(1)Python所有方向的学习路线(
2401_84572577
·
2024-09-15 10:20
程序员
大数据
hadoop
人工智能
Day25_0.1基础学习MATLAB学习小技巧总结(25)——四维图形的可视化
参考书目:1、《MATLAB
基础教程
(第三版)(薛山)》2、《MATLABR2020a完全自学一本通》之前的章节都是基础的数据运算用法,对于功课来说更加重要的内容是建模、绘图、观察数据趋势,接下来我会结合自己的使用经验
非常规定义M
·
2024-09-15 09:42
0.1基础学习MATLAB
学习
matlab
开发语言
SIMULINK
数学建模
Spark集群的三种模式
文章目录1、Spark的由来1.1
Hadoop
的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式
MelodyYN
·
2024-09-15 01:16
#
Spark
spark
hadoop
big
data
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他