Hadoop小记

Hive 数据类型全解析：大数据开发者的实用指南

在大数据处理领域，Hive作为一款基于Hadoop的数据仓库工具，被广泛应用于数据的存储、查询和分析。
大鳥·2025-01-19 08:42

Java 大视界 -- 解锁 Java 与 Hadoop HDFS 交互的高效编程之道（二）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:19

MarsCode青训营打卡Day1（2025年1月14日）|稀土掘金-16.最大矩形面积问题

资源引用：最大矩形面积问题-MarsCode打卡小记录：今天是开营第一天，和小伙伴们组成了8人的团队，在接下来的数十天里相互监督，打卡刷题！
Aqua Cheng.·2025-01-19 03:54

Yarn工作机制？思维导图 代码示例（java 架构)

YARN工作机制YARN（YetAnotherResourceNegotiator）是Hadoop生态系统中的资源管理和调度框架，它负责管理集群中的所有资源，并为应用程序提供调度服务。
用心去追梦·2025-01-19 02:17

使用 Hadoop 实现大数据的高效存储与查询

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 23:24

集群间hive数仓迁移

上建库建表；showcreatetabletb_name;createdatabasedb_name;createtabletb_name.....第二步：转移数据文件到新集群；在旧集群中下载数据到本地hadoopfs-get
one code·2025-01-18 17:15

Hive中没有超级管理员，如何进行权限控制

grantselectontabletest2touserhadoop;如何开发一个超级管理员：创建一个项目，导入mavanjar包，然后开始编写hook类importcom.google.common.base.Joiner
二进制_博客·2025-01-18 16:42

调试Hadoop源代码

个人博客地址：调试Hadoop源代码|一张假钞的真实世界Hadoop版本Hadoop2.7.3调试模式下启动HadoopNameNode在${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
一张假钞·2025-01-18 13:16

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
武子康·2025-01-18 10:29

pyspark 中删除hdfs的文件夹

寻找到一个删除的方法，是通过调用shell命令hadoopfs-rm-f来删除，这个方法感觉不怎么好，所以继续找。
TDengine （老段）·2025-01-18 09:21

Python 爬虫：获取网页数据的 5 种方法

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 07:35

案例分享｜快速了解实时湖仓集一体技术如何助力企业降本增效

1.替代TD仓、Hadoop湖，助力农商行构建一体化数据平台某农商行最初构建了Teradata数据仓库、Oracle小数据平台以及Hadoop数据湖。
·2025-01-17 20:42

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

把复杂问题简单化5、屏蔽原始数据的(影响)，屏蔽业务的影响ETL操作1、数据抽取2、数据清洗3、数据转换4、数据加载数据中台包含的内容很多，对应到具体工作中的话，它可以包含下面的这些内容：系统架构：以Hadoop
_Jordan·2025-01-17 16:56

深入HDFS——DataNode启动源码

首先，自然还是从元数据管理篇提到的DataNode类（org.apache.hadoop.hdfs.server.datanode.DataNode）开始。
黄雪超·2025-01-17 12:26

深入HDFS——NameNode启动源码

首先还是得从我们的前一篇提到过的NameNode类（org.apache.hadoop.hdfs.server.namenode.NameNode）开始，既然是看启动流程，那自然是先找类里面的main方法啦
黄雪超·2025-01-17 12:25

【YashanDB知识库】原生mysql驱动配置连接崖山数据库

【问题分类】功能兼容【关键字】YAS-07202、YAS\_MYERROR，不兼容【问题描述】本项目的架构是hadoop+hive+yashandb使用崖山数据库，将mysql相关的创建表语句进行初始化同步使用崖山
·2025-01-17 10:58

Spring Boot 和微服务：快速入门指南

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-17 09:56

【YashanDB知识库】Hive 命令工具insert崖山数据库报错

【问题分类】功能兼容【关键字】spark30041、不兼容【问题描述】本项目的架构是hadoop+hive+yashandb使用崖山数据库，初始化所有的原数据表和数据新建表之后，插入数据时候报错，hadoopcode30041
·2025-01-17 00:46

初学者如何用 Python 写第一个爬虫？

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-16 23:27

大数据学习笔记——zookeeper在hadoop集群中的作用

zookeeper主要是用来搭建高可用的Hadoop集群，即HighAvailability，简称(HA)测试中集群是可以不需要高可用的，即使用一个namenode即可。
鹅鹅鹅呢·2025-01-16 17:08

应急救援路径规划中的蚁群算法与路径评价研究【附代码】

数据分析与模型构建|数据驱动决策✨专业领域：数据挖掘与清洗大数据处理与存储技术机器学习与深度学习模型数据可视化与报告生成分布式计算与云计算数据安全与隐私保护擅长工具：Python/R/Matlab数据分析与建模Hadoop
拉勾科研工作室·2025-01-16 17:36

浅谈MapReduce

从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。
Android路上的人·2024-09-16 04:40

Hadoop

ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。
傲雪凌霜，松柏长青·2024-09-16 00:16

Hadoop架构

一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
henan程序媛·2024-09-16 00:14

分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT)

作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
计算机源码社·2024-09-15 20:02

心得随笔小记

1.人要想把一件事情做好，往往需要分两步，第一步是让自己处于可以把事情做好的状态，第二步才是把事情做好。当你不在状态，不想做事时，你此时需要做的不是硬着头皮继续做，而是应该调整一下姿势，做一些放松休息的事情，以让自己的状态重新在线。唯有这样，你才能持续做好一件事。2.遇见一个正确的远远高于你认知的人，就像是为自己的世界开了一个天窗一样。电视剧《天道》里面，肖亚文关于丁元英如是说，不求和他做朋友，但
GuangHui·2024-09-15 15:25

hbase介绍

hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用
CrazyL-·2024-09-15 13:06

大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能

做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
2401_84572577·2024-09-15 10:20

2019-12-24

2019年12月24日达吉工作室小记今天来到凤姐这里，凤姐没在店里，辉哥说凤姐陪桐桐玩，睡到现在还没有睡起来，这是第一次来店里遇到凤姐会去放松的睡个觉。
猴行者演懿·2024-09-15 09:49

变小记

1、变小了有一天上课了，我听老师讲课，突然我发现自己慢慢的变小，我站在椅子上都看不见黑板，我跳到桌子里，此时，我已经变得像乐高人一样想小，我拿起乐高人手中的枪，套上乐高人的护甲，我看见了一只羊，我问他:“请问你跑的快不快，跳的高不高？”羊回答:“我跑的比兰博基尼还快，跳的比房子还高。”我又问:“你想不想当我的坐骑?”小羊回答:“想，想，只要告诉我去哪，我都去。”，此时老师看见了，急忙问:“孙建宇去
孙建贸·2024-09-15 08:13

周末小记

平淡的日子波浪不惊，来不及仔细品味，五天就已经匆匆而过了。值得一提的是周一的“推普周”启动仪式，每年9月的第三周为全国普通话推广周，今年是第23届。在这一周里要广泛开展推普宣传、培训，开展主题班会、“啄木鸟”行动、“咬文嚼字”活动，一时间人们说普通话、写规范字的积极性空前高涨，以往好多习惯性读错的字音被纠正了，一直以来写错的字被发现了，大家的汉语拼音、写字、用字、标点符号、文字排版、语文常识等方面
Lcm梅子·2024-09-15 05:33

【生活小记录】记录一下今天我是怎么度过的吧！(2022134)

每周都是盼着休息日快点到来，可是这一天来了无论怎么过总会觉得这一天没过好！觉得如果再给我一次机会我一定会过得更好！就这样每一个休息日都在这样周而复始的状态中过去了！所以我就想好好记录一下这一天，我倒要看看这一天怎么过才算是过得好，才算是让自己满意的一天！好吧！开始记录：起床时间：早上7点，小猫咪依然是在平常6点零五分的时刻对着我叫了两声让我起床，毕竟休息日嘛！怎可辜负这能睡懒觉的美好时光，一巴掌把
恋上清咖·2024-09-15 05:40

Spark集群的三种模式

文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式
MelodyYN·2024-09-15 01:16

月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线

申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop
「已注销」·2024-09-14 23:30

HBase介绍

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
mingyu1016·2024-09-14 21:47

Java中的大数据处理框架对比分析

本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
省赚客app开发者·2024-09-14 20:41

一落索 小苇的花

2019.5.23新结识的简友，拍下好漂亮的花，传给了我，小记附词谱又名洛阳春、玉连环、一络索等。双调46字，上下片各四句三仄韵。⊙⊙⊙⊙⊙，⊙□⊙。□⊙□□，⊙⊙、□□。⊙□⊙，⊙□⊙。
松涛_5e7b·2024-09-14 15:56

（2019-08-29~31周四~周六）三天小记（283）

8月29日，周四：今日没出去，我们在舞蹈教室里练功跳舞，打扫教室卫生，还唱起了卡拉0k！原来教室里有一套不错的音箱，管理这个教室这么久了，我才第一次发现可以唱卡拉0k，在"想唱歌"的念头调动下，我终于又开始练歌啦！这周我给儿子加了一道菜是秋葵刺身，儿子喜欢芥末酱，所以会吃这道素菜，不简单啊，他能喜欢让我很快乐！秋葵含有多种维生素矿物质和适量的膳食纤维，比其他的蔬菜粘液质含量高，含有丰富的植物多糖，
云庆亲子教育·2024-09-14 13:15

周检视会议

啊就就啊它记录，我帮她小记一下，吧他不发了一个，个然后
策划运营I周长胜·2024-09-14 12:20

Hadoop windows intelij 跑 MR WordCount

一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9Hadoop分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven
piziyang12138·2024-09-14 12:33

不定期

后来他干脆就回我打小记事起它就叫白
胡须老七·2024-09-14 08:14

Hadoop学习第三课（HDFS架构--读、写流程）

1010ml，瓶子的规格200ml=>需要6个瓶子装完块的大小规格，只要是需要存储，哪怕一点点，也是要占用一个块的块大小的参数：dfs.blocksize官方默认的大小为128M官网：https://hadoop.apache.org
小小程序员呀~·2024-09-14 03:53

hadoop启动HDFS命令

启动命令：/hadoop/sbin/start-dfs.sh停止命令：/hadoop/sbin/stop-dfs.sh
m0_67401228·2024-09-14 03:49

冬日·喂猫小记（2022.12.25）

吃过午饭，记挂着校园的小流浪们，还是带上猫粮，去了学校。天气更加明朗，没了呼啸的北风，人体舒适度亦大增。街上没有人，街道似乎都宽了不少。大大小小的私家车停在车位上，安安静静的。如此情形，往常只会在过年时出现，小镇外来人口众多，过年时候鸟归巢，小镇才会有难得的宁静，可如今刚进腊月，如此好的阳光下，本应到处人头攒动，如此静谧，只能是羊圈效应，主人该不是阳了就是阳康着吧。走进校园，四下里更是安静，两个门
开心就好7947·2024-09-13 23:22

无题:此时小记

今日在去超市买鞋垫的时候，我竟冲着昨日卖臭豆腐的那个地方下意识瞄了一眼，没有看到我想要的答案，内心竟还有一些小失望，不过这种感觉随即也就消失了。买这个鞋垫主要是最近上班走的步数比较多，这脚未免就会有些疼痛，也就去了超市买了一双透气且除臭的鞋垫。不过在付账的时候，我颇为搞笑的问了一句，这鞋垫是一次性的么？只听老板淡淡回了一句，你要是当做一次性的，穿几天也可以扔掉的呀！虽说老板语气很平淡，不过我还是听
諦羽沐楓·2024-09-13 18:01

llm-universe学习小记录4--构建RAG应用

构建RAG应用一、将LLM接入LangChain1、基于LangChain调用ChatGPT2、使用LangChain调用百度文心一言3、使用LangChain调用讯飞星火4、使用LangChain调用智谱GLM具体内容与代码详见将LLM接入LangChain。二、构建检索问答链1、加载向量数据库2、创建一个LLM3、构建检索问答链4、检索问答链效果测试5、添加历史对话的记忆功能（1）记忆（Mem
Adela0546·2024-09-13 16:43

小记２

回到老位置，盯着似懂非懂的文字，还是无可奈何。窗外有大风，我有些燥热，不知是不是下雨的前兆。很早就把伞准备好了，雨还不来。湖面不在平静，大风似乎推着湖水前进，始终都逃不了这个圈。至今才觉，湖岸的曲线，勾勒的太好了，曲曲绕绕，适合慢走。又有满青的柳条摇曳，更有一番滋味。小情侣坐在长椅，畅谈，于美景之下。不知今日的风，是否会把那满树桃花、樱花吹尽，落地生五彩。风，些许大了一些，仍是惹人喜爱的。前几日的
默守温柔annmor·2024-09-13 15:53

【计算机毕设-大数据方向】基于Hadoop的电商交易数据分析可视化系统的设计与实现

博主介绍：✌全平台粉丝5W+,高级大厂开发程序员，博客之星、掘金/知乎/华为云/阿里云等平台优质作者。【源码获取】关注并且私信我【联系方式】最下边感兴趣的可以先收藏起来，同学门有不懂的毕设选题，项目以及论文编写等相关问题都可以和学长沟通，希望帮助更多同学解决问题前言随着电子商务行业的迅猛发展，电商平台积累了海量的数据资源，这些数据不仅包括用户的基本信息、购物记录，还包括用户的浏览行为、评价反馈等多
程序员-石头山·2024-09-13 13:19

分布式离线计算—Spark—基础介绍

原文作者：饥渴的小苹果原文地址：【Spark】Spark基础教程目录Spark特点Spark相对于Hadoop的优势Spark生态系统Spark基本概念Spark结构设计Spark各种概念之间的关系Executor
测试开发abbey·2024-09-13 11:11

spark常用命令

hadoop@wyy:/app/hadoop/spark100$bin/spark-submit--
我是浣熊的微笑·2024-09-13 10:38
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他