E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop小记
Hive 数据类型全解析:大数据开发者的实用指南
在大数据处理领域,Hive作为一款基于
Hadoop
的数据仓库工具,被广泛应用于数据的存储、查询和分析。
大鳥
·
2025-01-19 08:42
sql
hive
数据仓库
Java 大视界 -- 解锁 Java 与
Hadoop
HDFS 交互的高效编程之道(二)
亲爱的朋友们,热烈欢迎你们来到青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。本博客的精华专栏:大数
青云交
·
2025-01-19 05:19
大数据新视界
Java
大视界
HDFS
Java
流
代码示例
性能优化
读写操作
大数据
Hadoop
java
MarsCode青训营打卡Day1(2025年1月14日)|稀土掘金-16.最大矩形面积问题
资源引用:最大矩形面积问题-MarsCode打卡
小记
录:今天是开营第一天,和小伙伴们组成了8人的团队,在接下来的数十天里相互监督,打卡刷题!
Aqua Cheng.
·
2025-01-19 03:54
MarsCode青训营
算法
java
Yarn工作机制?思维导图 代码示例(java 架构)
YARN工作机制YARN(YetAnotherResourceNegotiator)是
Hadoop
生态系统中的资源管理和调度框架,它负责管理集群中的所有资源,并为应用程序提供调度服务。
用心去追梦
·
2025-01-19 02:17
java
架构
开发语言
使用
Hadoop
实现大数据的高效存储与查询
大数据技术:涵盖
Hadoop
(HDFS)、Hive、Spark、Fli
王子良.
·
2025-01-18 23:24
经验分享
大数据
hadoop
分布式
集群间hive数仓迁移
上建库建表;showcreatetabletb_name;createdatabasedb_name;createtabletb_name.....第二步:转移数据文件到新集群;在旧集群中下载数据到本地
hadoop
fs-get
one code
·
2025-01-18 17:15
database
Hive中没有超级管理员,如何进行权限控制
grantselectontabletest2touser
hadoop
;如何开发一个超级管理员:创建一个项目,导入mavanjar包,然后开始编写hook类importcom.google.common.base.Joiner
二进制_博客
·
2025-01-18 16:42
大数据
hive
hadoop
数据仓库
调试
Hadoop
源代码
个人博客地址:调试
Hadoop
源代码|一张假钞的真实世界
Hadoop
版本
Hadoop
2.7.3调试模式下启动
Hadoop
NameNode在${
HADOOP
_HOME}/etc/
hadoop
/
hadoop
-env.sh
一张假钞
·
2025-01-18 13:16
hadoop
eclipse
大数据
大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构
目前已经更新到了:
Hadoop
(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis
武子康
·
2025-01-18 10:29
大数据
离线数仓
大数据
数据仓库
java
后端
hadoop
hive
pyspark 中删除hdfs的文件夹
寻找到一个删除的方法,是通过调用shell命令
hadoop
fs-rm-f来删除,这个方法感觉不怎么好,所以继续找。
TDengine (老段)
·
2025-01-18 09:21
大数据
spark
hadoop
hdfs
mapreduce
Python 爬虫:获取网页数据的 5 种方法
大数据技术:涵盖
Hadoop
(HDFS)、Hive、Spark、Fli
王子良.
·
2025-01-18 07:35
经验分享
python
python
开发语言
爬虫
案例分享|快速了解实时湖仓集一体技术如何助力企业降本增效
1.替代TD仓、
Hadoop
湖,助力农商行构建一体化数据平台某农商行最初构建了Teradata数据仓库、Oracle小数据平台以及
Hadoop
数据湖。
·
2025-01-17 20:42
mysql
万字详解数仓分层设计架构 ODS-DWD-DWS-ADS
把复杂问题简单化5、屏蔽原始数据的(影响),屏蔽业务的影响ETL操作1、数据抽取2、数据清洗3、数据转换4、数据加载数据中台包含的内容很多,对应到具体工作中的话,它可以包含下面的这些内容:系统架构:以
Hadoop
_Jordan
·
2025-01-17 16:56
自己写的
数据仓库
深入HDFS——DataNode启动源码
首先,自然还是从元数据管理篇提到的DataNode类(org.apache.
hadoop
.hdfs.server.datanode.DataNode)开始。
黄雪超
·
2025-01-17 12:26
大数据基础
#
深入HDFS
hdfs
hadoop
大数据
深入HDFS——NameNode启动源码
首先还是得从我们的前一篇提到过的NameNode类(org.apache.
hadoop
.hdfs.server.namenode.NameNode)开始,既然是看启动流程,那自然是先找类里面的main方法啦
黄雪超
·
2025-01-17 12:25
大数据基础
#
深入HDFS
hdfs
hadoop
大数据
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【问题分类】功能兼容【关键字】YAS-07202、YAS\_MYERROR,不兼容【问题描述】本项目的架构是
hadoop
+hive+yashandb使用崖山数据库,将mysql相关的创建表语句进行初始化同步使用崖山
·
2025-01-17 10:58
数据库
Spring Boot 和微服务:快速入门指南
大数据技术:涵盖
Hadoop
(HDFS)、Hive、Spark、Fli
王子良.
·
2025-01-17 09:56
Java
经验分享
spring
boot
微服务
后端
【YashanDB知识库】Hive 命令工具insert崖山数据库报错
【问题分类】功能兼容【关键字】spark30041、不兼容【问题描述】本项目的架构是
hadoop
+hive+yashandb使用崖山数据库,初始化所有的原数据表和数据新建表之后,插入数据时候报错,
hadoop
code30041
·
2025-01-17 00:46
数据库
初学者如何用 Python 写第一个爬虫?
大数据技术:涵盖
Hadoop
(HDFS)、Hive、Spark、Fli
王子良.
·
2025-01-16 23:27
python
经验分享
python
开发语言
爬虫
大数据学习笔记——zookeeper在
hadoop
集群中的作用
zookeeper主要是用来搭建高可用的
Hadoop
集群,即HighAvailability,简称(HA)测试中集群是可以不需要高可用的,即使用一个namenode即可。
鹅鹅鹅呢
·
2025-01-16 17:08
java
hadoop
大数据
学习
tcp/ip
tomcat
应急救援路径规划中的蚁群算法与路径评价研究【附代码】
数据分析与模型构建|数据驱动决策✨专业领域:数据挖掘与清洗大数据处理与存储技术机器学习与深度学习模型数据可视化与报告生成分布式计算与云计算数据安全与隐私保护擅长工具:Python/R/Matlab数据分析与建模
Hadoop
拉勾科研工作室
·
2025-01-16 17:36
算法
浅谈MapReduce
从今天开始,本人将会开始对另一项技术的学习,就是当下炙手可热的
Hadoop
分布式就算技术。目前国内外的诸多公司因为业务发展的需要,都纷纷用了此平台。
Android路上的人
·
2024-09-16 04:40
Hadoop
分布式计算
mapreduce
分布式
框架
hadoop
Hadoop
Apache
Hadoop
是一个开源的分布式计算框架,主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。
傲雪凌霜,松柏长青
·
2024-09-16 00:16
后端
大数据
hadoop
大数据
分布式
Hadoop
架构
一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代,数以万计用户的互联网服务时时刻刻都在产生大量的交互,要处理的数据量实在是太大了,以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现,在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合,
henan程序媛
·
2024-09-16 00:14
hadoop
大数据
分布式
分享一个基于python的电子书数据采集与可视化分析
hadoop
电子书数据分析与推荐系统 spark大数据毕设项目(源码、调试、LW、开题、PPT)
作者:计算机源码社个人简介:本人八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流!学习资料、程序开发、技术解答、文档报告如需要源码,可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
计算机源码社
·
2024-09-15 20:02
Python项目
大数据
大数据
python
hadoop
计算机毕业设计选题
计算机毕业设计源码
数据分析
spark毕设
心得随笔
小记
1.人要想把一件事情做好,往往需要分两步,第一步是让自己处于可以把事情做好的状态,第二步才是把事情做好。当你不在状态,不想做事时,你此时需要做的不是硬着头皮继续做,而是应该调整一下姿势,做一些放松休息的事情,以让自己的状态重新在线。唯有这样,你才能持续做好一件事。2.遇见一个正确的远远高于你认知的人,就像是为自己的世界开了一个天窗一样。电视剧《天道》里面,肖亚文关于丁元英如是说,不求和他做朋友,但
GuangHui
·
2024-09-15 15:25
hbase介绍
hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用
hadoop
hdfs作为其文件存储系统,提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用
CrazyL-
·
2024-09-15 13:06
云计算+大数据
hbase
大数据毕业设计
hadoop
+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能
做了那么多年开发,自学了很多门编程语言,我很明白学习资源对于学一门新语言的重要性,这些年也收藏了不少的Python干货,对我来说这些东西确实已经用不到了,但对于准备自学Python的人来说,或许它就是一个宝藏,可以给你省去很多的时间和精力。别在网上瞎学了,我最近也做了一些资源的更新,只要你是我的粉丝,这期福利你都可拿走。我先来介绍一下这些东西怎么用,文末抱走。(1)Python所有方向的学习路线(
2401_84572577
·
2024-09-15 10:20
程序员
大数据
hadoop
人工智能
2019-12-24
2019年12月24日达吉工作室
小记
今天来到凤姐这里,凤姐没在店里,辉哥说凤姐陪桐桐玩,睡到现在还没有睡起来,这是第一次来店里遇到凤姐会去放松的睡个觉。
猴行者演懿
·
2024-09-15 09:49
变
小记
1、变小了有一天上课了,我听老师讲课,突然我发现自己慢慢的变小,我站在椅子上都看不见黑板,我跳到桌子里,此时,我已经变得像乐高人一样想小,我拿起乐高人手中的枪,套上乐高人的护甲,我看见了一只羊,我问他:“请问你跑的快不快,跳的高不高?”羊回答:“我跑的比兰博基尼还快,跳的比房子还高。”我又问:“你想不想当我的坐骑?”小羊回答:“想,想,只要告诉我去哪,我都去。”,此时老师看见了,急忙问:“孙建宇去
孙建贸
·
2024-09-15 08:13
周末
小记
平淡的日子波浪不惊,来不及仔细品味,五天就已经匆匆而过了。值得一提的是周一的“推普周”启动仪式,每年9月的第三周为全国普通话推广周,今年是第23届。在这一周里要广泛开展推普宣传、培训,开展主题班会、“啄木鸟”行动、“咬文嚼字”活动,一时间人们说普通话、写规范字的积极性空前高涨,以往好多习惯性读错的字音被纠正了,一直以来写错的字被发现了,大家的汉语拼音、写字、用字、标点符号、文字排版、语文常识等方面
Lcm梅子
·
2024-09-15 05:33
【生活
小记
录】记录一下今天我是怎么度过的吧!(2022134)
每周都是盼着休息日快点到来,可是这一天来了无论怎么过总会觉得这一天没过好!觉得如果再给我一次机会我一定会过得更好!就这样每一个休息日都在这样周而复始的状态中过去了!所以我就想好好记录一下这一天,我倒要看看这一天怎么过才算是过得好,才算是让自己满意的一天!好吧!开始记录:起床时间:早上7点,小猫咪依然是在平常6点零五分的时刻对着我叫了两声让我起床,毕竟休息日嘛!怎可辜负这能睡懒觉的美好时光,一巴掌把
恋上清咖
·
2024-09-15 05:40
Spark集群的三种模式
文章目录1、Spark的由来1.1
Hadoop
的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式
MelodyYN
·
2024-09-15 01:16
#
Spark
spark
hadoop
big
data
月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线
申请到了校图书馆的考研专座,决定暂时放弃就业,先准备考研,买了数学和408的资料书3月9日-3月13日,因疫情原因,宿舍区暂封,这段时间在准备考研,发现内容特别多3月13日-3月19日,大部分时间在刷
Hadoop
「已注销」
·
2024-09-14 23:30
个人总结
hadoop
HBase介绍
HBase是GoogleBigtable的开源实现,它利用
Hadoop
HDFS作为其文件存储系统,利用
Hadoop
MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。
mingyu1016
·
2024-09-14 21:47
数据库
Java中的大数据处理框架对比分析
本文将重点介绍Apache
Hadoop
、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
省赚客app开发者
·
2024-09-14 20:41
java
开发语言
一落索 小苇的花
2019.5.23新结识的简友,拍下好漂亮的花,传给了我,
小记
附词谱又名洛阳春、玉连环、一络索等。双调46字,上下片各四句三仄韵。⊙⊙⊙⊙⊙,⊙□⊙。□⊙□□,⊙⊙、□□。⊙□⊙,⊙□⊙。
松涛_5e7b
·
2024-09-14 15:56
(2019-08-29~31周四~周六)三天
小记
(283)
8月29日,周四:今日没出去,我们在舞蹈教室里练功跳舞,打扫教室卫生,还唱起了卡拉0k!原来教室里有一套不错的音箱,管理这个教室这么久了,我才第一次发现可以唱卡拉0k,在"想唱歌"的念头调动下,我终于又开始练歌啦!这周我给儿子加了一道菜是秋葵刺身,儿子喜欢芥末酱,所以会吃这道素菜,不简单啊,他能喜欢让我很快乐!秋葵含有多种维生素矿物质和适量的膳食纤维,比其他的蔬菜粘液质含量高,含有丰富的植物多糖,
云庆亲子教育
·
2024-09-14 13:15
周检视会议
啊就就啊它记录,我帮她
小记
一下,吧他不发了一个,个然后
策划运营I周长胜
·
2024-09-14 12:20
Hadoop
windows intelij 跑 MR WordCount
一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9
Hadoop
分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven
piziyang12138
·
2024-09-14 12:33
不定期
后来他干脆就回我打
小记
事起它就叫白
胡须老七
·
2024-09-14 08:14
Hadoop
学习第三课(HDFS架构--读、写流程)
1010ml,瓶子的规格200ml=>需要6个瓶子装完块的大小规格,只要是需要存储,哪怕一点点,也是要占用一个块的块大小的参数:dfs.blocksize官方默认的大小为128M官网:https://
hadoop
.apache.org
小小程序员呀~
·
2024-09-14 03:53
数据库
hadoop
架构
big
data
hadoop
启动HDFS命令
启动命令:/
hadoop
/sbin/start-dfs.sh停止命令:/
hadoop
/sbin/stop-dfs.sh
m0_67401228
·
2024-09-14 03:49
java
搜索引擎
linux
后端
冬日·喂猫
小记
(2022.12.25)
吃过午饭,记挂着校园的小流浪们,还是带上猫粮,去了学校。天气更加明朗,没了呼啸的北风,人体舒适度亦大增。街上没有人,街道似乎都宽了不少。大大小小的私家车停在车位上,安安静静的。如此情形,往常只会在过年时出现,小镇外来人口众多,过年时候鸟归巢,小镇才会有难得的宁静,可如今刚进腊月,如此好的阳光下,本应到处人头攒动,如此静谧,只能是羊圈效应,主人该不是阳了就是阳康着吧。走进校园,四下里更是安静,两个门
开心就好7947
·
2024-09-13 23:22
无题:此时
小记
今日在去超市买鞋垫的时候,我竟冲着昨日卖臭豆腐的那个地方下意识瞄了一眼,没有看到我想要的答案,内心竟还有一些小失望,不过这种感觉随即也就消失了。买这个鞋垫主要是最近上班走的步数比较多,这脚未免就会有些疼痛,也就去了超市买了一双透气且除臭的鞋垫。不过在付账的时候,我颇为搞笑的问了一句,这鞋垫是一次性的么?只听老板淡淡回了一句,你要是当做一次性的,穿几天也可以扔掉的呀!虽说老板语气很平淡,不过我还是听
諦羽沐楓
·
2024-09-13 18:01
llm-universe学习
小记
录4--构建RAG应用
构建RAG应用一、将LLM接入LangChain1、基于LangChain调用ChatGPT2、使用LangChain调用百度文心一言3、使用LangChain调用讯飞星火4、使用LangChain调用智谱GLM具体内容与代码详见将LLM接入LangChain。二、构建检索问答链1、加载向量数据库2、创建一个LLM3、构建检索问答链4、检索问答链效果测试5、添加历史对话的记忆功能(1)记忆(Mem
Adela0546
·
2024-09-13 16:43
学习
语言模型
小记
2
回到老位置,盯着似懂非懂的文字,还是无可奈何。窗外有大风,我有些燥热,不知是不是下雨的前兆。很早就把伞准备好了,雨还不来。湖面不在平静,大风似乎推着湖水前进,始终都逃不了这个圈。至今才觉,湖岸的曲线,勾勒的太好了,曲曲绕绕,适合慢走。又有满青的柳条摇曳,更有一番滋味。小情侣坐在长椅,畅谈,于美景之下。不知今日的风,是否会把那满树桃花、樱花吹尽,落地生五彩。风,些许大了一些,仍是惹人喜爱的。前几日的
默守温柔annmor
·
2024-09-13 15:53
【计算机毕设-大数据方向】基于
Hadoop
的电商交易数据分析可视化系统的设计与实现
博主介绍:✌全平台粉丝5W+,高级大厂开发程序员,博客之星、掘金/知乎/华为云/阿里云等平台优质作者。【源码获取】关注并且私信我【联系方式】最下边感兴趣的可以先收藏起来,同学门有不懂的毕设选题,项目以及论文编写等相关问题都可以和学长沟通,希望帮助更多同学解决问题前言随着电子商务行业的迅猛发展,电商平台积累了海量的数据资源,这些数据不仅包括用户的基本信息、购物记录,还包括用户的浏览行为、评价反馈等多
程序员-石头山
·
2024-09-13 13:19
大数据实战案例
大数据
hadoop
毕业设计
毕设
分布式离线计算—Spark—基础介绍
原文作者:饥渴的小苹果原文地址:【Spark】Spark基础教程目录Spark特点Spark相对于
Hadoop
的优势Spark生态系统Spark基本概念Spark结构设计Spark各种概念之间的关系Executor
测试开发abbey
·
2024-09-13 11:11
人工智能—大数据
spark常用命令
hadoop
@wyy:/app/
hadoop
/spark100$bin/spark-submit--
我是浣熊的微笑
·
2024-09-13 10:38
spark
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他