E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop命令详解
集群间hive数仓迁移
上建库建表;showcreatetabletb_name;createdatabasedb_name;createtabletb_name.....第二步:转移数据文件到新集群;在旧集群中下载数据到本地
hadoop
fs-get
one code
·
2025-01-18 17:15
database
Hive中没有超级管理员,如何进行权限控制
grantselectontabletest2touser
hadoop
;如何开发一个超级管理员:创建一个项目,导入mavanjar包,然后开始编写hook类importcom.google.common.base.Joiner
二进制_博客
·
2025-01-18 16:42
大数据
hive
hadoop
数据仓库
调试
Hadoop
源代码
个人博客地址:调试
Hadoop
源代码|一张假钞的真实世界
Hadoop
版本
Hadoop
2.7.3调试模式下启动
Hadoop
NameNode在${
HADOOP
_HOME}/etc/
hadoop
/
hadoop
-env.sh
一张假钞
·
2025-01-18 13:16
hadoop
eclipse
大数据
大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构
目前已经更新到了:
Hadoop
(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis
武子康
·
2025-01-18 10:29
大数据
离线数仓
大数据
数据仓库
java
后端
hadoop
hive
pyspark 中删除hdfs的文件夹
寻找到一个删除的方法,是通过调用shell命令
hadoop
fs-rm-f来删除,这个方法感觉不怎么好,所以继续找。
TDengine (老段)
·
2025-01-18 09:21
大数据
spark
hadoop
hdfs
mapreduce
Python 爬虫:获取网页数据的 5 种方法
大数据技术:涵盖
Hadoop
(HDFS)、Hive、Spark、Fli
王子良.
·
2025-01-18 07:35
经验分享
python
python
开发语言
爬虫
案例分享|快速了解实时湖仓集一体技术如何助力企业降本增效
1.替代TD仓、
Hadoop
湖,助力农商行构建一体化数据平台某农商行最初构建了Teradata数据仓库、Oracle小数据平台以及
Hadoop
数据湖。
·
2025-01-17 20:42
mysql
万字详解数仓分层设计架构 ODS-DWD-DWS-ADS
把复杂问题简单化5、屏蔽原始数据的(影响),屏蔽业务的影响ETL操作1、数据抽取2、数据清洗3、数据转换4、数据加载数据中台包含的内容很多,对应到具体工作中的话,它可以包含下面的这些内容:系统架构:以
Hadoop
_Jordan
·
2025-01-17 16:56
自己写的
数据仓库
深入HDFS——DataNode启动源码
首先,自然还是从元数据管理篇提到的DataNode类(org.apache.
hadoop
.hdfs.server.datanode.DataNode)开始。
黄雪超
·
2025-01-17 12:26
大数据基础
#
深入HDFS
hdfs
hadoop
大数据
深入HDFS——NameNode启动源码
首先还是得从我们的前一篇提到过的NameNode类(org.apache.
hadoop
.hdfs.server.namenode.NameNode)开始,既然是看启动流程,那自然是先找类里面的main方法啦
黄雪超
·
2025-01-17 12:25
大数据基础
#
深入HDFS
hdfs
hadoop
大数据
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【问题分类】功能兼容【关键字】YAS-07202、YAS\_MYERROR,不兼容【问题描述】本项目的架构是
hadoop
+hive+yashandb使用崖山数据库,将mysql相关的创建表语句进行初始化同步使用崖山
·
2025-01-17 10:58
数据库
Spring Boot 和微服务:快速入门指南
大数据技术:涵盖
Hadoop
(HDFS)、Hive、Spark、Fli
王子良.
·
2025-01-17 09:56
Java
经验分享
spring
boot
微服务
后端
【YashanDB知识库】Hive 命令工具insert崖山数据库报错
【问题分类】功能兼容【关键字】spark30041、不兼容【问题描述】本项目的架构是
hadoop
+hive+yashandb使用崖山数据库,初始化所有的原数据表和数据新建表之后,插入数据时候报错,
hadoop
code30041
·
2025-01-17 00:46
数据库
初学者如何用 Python 写第一个爬虫?
大数据技术:涵盖
Hadoop
(HDFS)、Hive、Spark、Fli
王子良.
·
2025-01-16 23:27
python
经验分享
python
开发语言
爬虫
大数据学习笔记——zookeeper在
hadoop
集群中的作用
zookeeper主要是用来搭建高可用的
Hadoop
集群,即HighAvailability,简称(HA)测试中集群是可以不需要高可用的,即使用一个namenode即可。
鹅鹅鹅呢
·
2025-01-16 17:08
java
hadoop
大数据
学习
tcp/ip
tomcat
Linux pget 下载
命令详解
简介pget命令是一个实用程序,它允许通过将文件分成多个部分并同时下载每个部分来并行下载文件。这使得文件下载速度更快,特别是对于大文件。安装Debian/UbuntusudoaptinstallpgetRedHat/CentOSsudoyuminstallpget从源码构建makesudomakeinstall示例用法基础用法pgethttp://example.com/file.zip设置并发连
·
2025-01-16 17:49
linux
应急救援路径规划中的蚁群算法与路径评价研究【附代码】
数据分析与模型构建|数据驱动决策✨专业领域:数据挖掘与清洗大数据处理与存储技术机器学习与深度学习模型数据可视化与报告生成分布式计算与云计算数据安全与隐私保护擅长工具:Python/R/Matlab数据分析与建模
Hadoop
拉勾科研工作室
·
2025-01-16 17:36
算法
cat
命令详解
️专栏:https://blog.csdn.net/2301_81831423/category_12872319.html主页:猫咪-9527-CSDN博客“欲穷千里目,更上一层楼。会当凌绝顶,一览众山小。”cat是Linux/Unix中的一个非常常用的命令,主要用于连接文件并显示文件内容。它的名称来源于concatenate(连接),不仅可以查看文件内容,还能将多个文件合并为一个文件,或用作其
猫咪-9527
·
2025-01-16 14:39
计算机操作系统
Linux
指令
浅谈MapReduce
从今天开始,本人将会开始对另一项技术的学习,就是当下炙手可热的
Hadoop
分布式就算技术。目前国内外的诸多公司因为业务发展的需要,都纷纷用了此平台。
Android路上的人
·
2024-09-16 04:40
Hadoop
分布式计算
mapreduce
分布式
框架
hadoop
Dockerfile
命令详解
之 FROM
许多同学不知道Dockerfile应该如何写,不清楚Dockerfile中的指令分别有什么意义,能达到什么样的目的,接下来我将在容器化专栏中详细的为大家解释每一个指令的含义以及用法。专栏订阅传送门https://blog.csdn.net/qq_38220908/category_11989778.html指令不区分大小写。但是,按照惯例,它们应该是大写的,以便更容易地将它们与参数区分开来。(引用
清风怎不知意
·
2024-09-16 03:32
容器化
java
前端
javascript
Hadoop
Apache
Hadoop
是一个开源的分布式计算框架,主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。
傲雪凌霜,松柏长青
·
2024-09-16 00:16
后端
大数据
hadoop
大数据
分布式
Hadoop
架构
一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代,数以万计用户的互联网服务时时刻刻都在产生大量的交互,要处理的数据量实在是太大了,以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现,在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合,
henan程序媛
·
2024-09-16 00:14
hadoop
大数据
分布式
Linux中GCC与GDB 常用
命令详解
GCC和GDB常用
命令详解
GCC常用的选项GDBLINUX下编程,少不了和GCC,GDB打交道,现在总结下常用命令,掌握这些足够用了。
Dijkstra's Monk-ey
·
2024-09-15 21:28
Linux与安全
linux
gdb
shell
安全
c语言
分享一个基于python的电子书数据采集与可视化分析
hadoop
电子书数据分析与推荐系统 spark大数据毕设项目(源码、调试、LW、开题、PPT)
作者:计算机源码社个人简介:本人八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流!学习资料、程序开发、技术解答、文档报告如需要源码,可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
计算机源码社
·
2024-09-15 20:02
Python项目
大数据
大数据
python
hadoop
计算机毕业设计选题
计算机毕业设计源码
数据分析
spark毕设
hbase介绍
hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用
hadoop
hdfs作为其文件存储系统,提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用
CrazyL-
·
2024-09-15 13:06
云计算+大数据
hbase
大数据毕业设计
hadoop
+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能
做了那么多年开发,自学了很多门编程语言,我很明白学习资源对于学一门新语言的重要性,这些年也收藏了不少的Python干货,对我来说这些东西确实已经用不到了,但对于准备自学Python的人来说,或许它就是一个宝藏,可以给你省去很多的时间和精力。别在网上瞎学了,我最近也做了一些资源的更新,只要你是我的粉丝,这期福利你都可拿走。我先来介绍一下这些东西怎么用,文末抱走。(1)Python所有方向的学习路线(
2401_84572577
·
2024-09-15 10:20
程序员
大数据
hadoop
人工智能
Spark集群的三种模式
文章目录1、Spark的由来1.1
Hadoop
的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式
MelodyYN
·
2024-09-15 01:16
#
Spark
spark
hadoop
big
data
Docker 安装配置和基本
命令详解
以及案例示范
1.引言容器化技术的快速发展给软件开发和运维带来了革命性的变化,Docker作为这一领域的领军者,已经成为软件开发和部署流程中的重要工具。Docker的轻量化、快速启动和高效资源利用让开发者能够在不同的环境中实现一致的开发体验。本篇文章将详细讲解如何在CentOS系统中安装Docker,如何配置阿里云镜像加速,Docker的基本命令和语法,以及通过实际的电商交易系统案例来演示如何在Docker环境
J老熊
·
2024-09-15 00:37
docker
容器
运维
面试
linux
月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线
申请到了校图书馆的考研专座,决定暂时放弃就业,先准备考研,买了数学和408的资料书3月9日-3月13日,因疫情原因,宿舍区暂封,这段时间在准备考研,发现内容特别多3月13日-3月19日,大部分时间在刷
Hadoop
「已注销」
·
2024-09-14 23:30
个人总结
hadoop
HBase介绍
HBase是GoogleBigtable的开源实现,它利用
Hadoop
HDFS作为其文件存储系统,利用
Hadoop
MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。
mingyu1016
·
2024-09-14 21:47
数据库
Java中的大数据处理框架对比分析
本文将重点介绍Apache
Hadoop
、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
省赚客app开发者
·
2024-09-14 20:41
java
开发语言
Ubuntu系统入门指南:常用
命令详解
Ubuntu系统入门指南:常用
命令详解
引言Ubuntu是一个基于Linux内核的开源操作系统,由Canonical公司和社区共同开发和维护。
像风一样自由2020
·
2024-09-14 20:11
ubuntu
ubuntu
linux
运维
Hadoop
windows intelij 跑 MR WordCount
一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9
Hadoop
分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven
piziyang12138
·
2024-09-14 12:33
Linux三剑客之grep
命令详解
grep是Linux中最常用的文本搜索工具,用于在文件或文本输出中查找与指定模式匹配的行。它支持基本正则表达式、扩展正则表达式、多文件搜索、递归搜索等多种功能,非常适合过滤、搜索和提取文本内容。1.grep的基本语法grep[选项]模式[文件...]模式:搜索的文本模式,可以是普通字符串或正则表达式。[文件...]:要搜索的文件。如果没有指定文件,grep会从标准输入中读取数据。2.常用选项-i:
promise524
·
2024-09-14 11:43
Linux
linux
服务器
python
shell
bash
后端
运维
Linux tar.gz、tar、bz2、zip 等解压缩、压缩
命令详解
tar最常用的打包命令是tar,使用tar程序打出来的包我们常称为tar包,tar包文件的命令通常都是以.tar结尾的。生成tar包后,就可以用其它的程序来进行压缩了,所以首先就来讲讲tar命令的基本用法。tar命令的选项有很多(用mantar可以查看到),但常用的就那么几个选项,下面来举例说明一下:#tar-cfall.tar*.jpg这条命令是将所有.jpg的文件打成一个名为all.tar的包
虫儿飞..
·
2024-09-14 11:41
LINUX操作系统
linux
运维
服务器
Hadoop
学习第三课(HDFS架构--读、写流程)
1010ml,瓶子的规格200ml=>需要6个瓶子装完块的大小规格,只要是需要存储,哪怕一点点,也是要占用一个块的块大小的参数:dfs.blocksize官方默认的大小为128M官网:https://
hadoop
.apache.org
小小程序员呀~
·
2024-09-14 03:53
数据库
hadoop
架构
big
data
hadoop
启动HDFS命令
启动命令:/
hadoop
/sbin/start-dfs.sh停止命令:/
hadoop
/sbin/stop-dfs.sh
m0_67401228
·
2024-09-14 03:49
java
搜索引擎
linux
后端
【计算机毕设-大数据方向】基于
Hadoop
的电商交易数据分析可视化系统的设计与实现
博主介绍:✌全平台粉丝5W+,高级大厂开发程序员,博客之星、掘金/知乎/华为云/阿里云等平台优质作者。【源码获取】关注并且私信我【联系方式】最下边感兴趣的可以先收藏起来,同学门有不懂的毕设选题,项目以及论文编写等相关问题都可以和学长沟通,希望帮助更多同学解决问题前言随着电子商务行业的迅猛发展,电商平台积累了海量的数据资源,这些数据不仅包括用户的基本信息、购物记录,还包括用户的浏览行为、评价反馈等多
程序员-石头山
·
2024-09-13 13:19
大数据实战案例
大数据
hadoop
毕业设计
毕设
分布式离线计算—Spark—基础介绍
原文作者:饥渴的小苹果原文地址:【Spark】Spark基础教程目录Spark特点Spark相对于
Hadoop
的优势Spark生态系统Spark基本概念Spark结构设计Spark各种概念之间的关系Executor
测试开发abbey
·
2024-09-13 11:11
人工智能—大数据
spark常用命令
hadoop
@wyy:/app/
hadoop
/spark100$bin/spark-submit--
我是浣熊的微笑
·
2024-09-13 10:38
spark
spark启动命令
hadoop
启动:cd/root/toolssstart-dfs.sh,只需在
hadoop
01上启动stop-dfs.sh日志查看:cat/root/toolss/
hadoop
/logs/
hadoop
-root-datanode-
hadoop
03
学不会又听不懂
·
2024-09-13 10:36
spark
大数据
分布式
编程常用命令总结
编程命令大全1.软件环境变量的配置JavaScalaSpark
Hadoop
Hive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令
Yellow0523
·
2024-09-13 02:42
Linux
BigData
大数据
Hadoop
常见面试题整理及解答
Hadoop
常见面试题整理及解答一、基础知识篇:1.把数据仓库从传统关系型数据库转到
hadoop
有什么优势?答:(1)关系型数据库成本高,且存储空间有限。
叶青舟
·
2024-09-12 19:24
Linux
hdfs
大数据
hadoop
linux
2025毕业设计指南:如何用
Hadoop
构建超市进货推荐系统?大数据分析助力精准采购
⚡⚡Java实战|SpringBoot/SSMPython实战项目|Django微信小程序/安卓实战项目大数据实战项目⚡⚡文末获取源码文章目录⚡⚡文末获取源码基于
hadoop
的超市进货推荐系
计算机编程指导师
·
2024-09-11 18:08
Java实战集
Python实战集
大数据实战集
课程设计
hadoop
数据分析
spring
boot
java
进货
python
Windows和Mac命令窗快速打开文件夹
Windowsexplorer.和macOSopen.
命令详解
1.Windowsexplorer.explorer是Windows上的文件资源管理器,用于通过命令行打开文件夹或文件。
奔跑的呱呱牛
·
2024-09-11 16:53
windows
macos
Hadoop
Common 之序列化机制小解
这不过此种序列化虽然跨病态兼容性强,但是因为存储过多的信息,但是传输效率比较低,所以
hadoop
弃用它。
猫君之上
·
2024-09-11 08:59
#
Apache
Hadoop
深入理解
hadoop
(一)----Common的实现----Configuration
一,
hadoop
的配置管理a,
hadoop
通过独有的Configuration处理配置信息Configurationconf=newConfiguration();conf.addResource("core-default.xml
maoxiao_jsd
·
2024-09-11 08:59
深入理解----hadoop
Linux shell sed
命令详解
详细的sed
命令详解
,请参考https://my.oschina.net/u/3908182/blog/1921761一、sed命令工作机制:每次读取一行文本至“模式空间(patternspace)”中
BugBear1989
·
2024-09-11 08:26
hadoop
0.22.0 部署笔记
hbase是部署在
hadoop
平台上的NOSql数据库,因此在部署hbase之前需要先部署
hadoop
。
weixin_33701564
·
2024-09-10 17:41
大数据
java
运维
解决Windows环境下
hadoop
集群的运行_window运行
hadoop
,unknown
hadoop
01(4)
org.apache.
hadoop
hadoop
-com
2401_84160087
·
2024-09-10 16:34
大数据
面试
学习
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他