Hadoop学习记录

sql耗时监控与sql语句日志输出

由于工作上涉及到分库分表查询，需要监测每条sql的执行耗时并打印sql语句，下面分享一下p6spy监控的使用，同时也当做一个学习记录。
心写来潮·2025-01-24 19:22

【大数据入门核心技术-Hive】（十六）hive表加载csv格式数据或者json格式数据

高可用集群搭建二、hive加载Json格式数据1、数据准备vistu.json[{"id":111,"name":"name111"},{"id":222,"name":"name22"}]上传到hdfshadoopfs-putstu.j
forest_long·2025-01-24 12:27

6.1 贪心算法 | 区间选点、Huffman树

6.1贪心算法|区间选点、Huffman树这是我的一个算法网课学习记录，道阻且长，好好努力可以尝试的做法：区间问题重要的步骤就是排序按左端点排序，按右端点排序，双关键字排序区间问题区间选点例题：AcWing905
镜水不emo·2025-01-24 11:22

cascading 入门 （一）

1cascading是什么cascading是一个架构在Hadoop上的API，用来创建复杂和容错数据处理工作流。
zhumin726·2025-01-24 01:28

C语言学习记录——通讯录(静态内存)

分模块contact.h类型定义，函数声明。contact.c函数的实现test.c测试通讯录的模块test.c#include"contact.h"voidmenu(){printf("\n");printf("1.add2.del\n");printf("3.search4.modify\n");printf("5.sort6.print\n");printf("0.exit\n");prin
qiyi.sky·2025-01-24 00:22

搭建单机伪分布式Hadoop+spark+scala

五、免密登陆1.创建ssh秘钥，输入如下命令，生成公私密钥2.将master公钥id_dsa复制到master进行公钥认证，实现本机免密登陆，测试完exit退出六、安装Hadoop软件1.解压hadoo
啥也不会0-0·2025-01-23 16:21

Hadoop 与 Spark：大数据处理的比较

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-23 16:50

虚拟机VMware Workstation Pro安装集群+hadoop+spark+scala

参考资料：参考视频教程链接：大数据实验虚拟机安装Hadoop和Spark_哔哩哔哩_bilibiliup主：孤独时代的硕硕namenode安装选择镜像、路径、磁盘（最好不要c盘）、内存和处理器编辑名称与位置可点击此处自定义硬盘进行设置
落枫兮·2025-01-23 15:16

Hadoop分布式文件系统-HDFS架构

一、HDFS的简介HDFS全称HadoopDistributedFileSystem，是分布式文件管理系统。
Fancs2024·2025-01-23 09:37

TiDB 对 Hadoop 的影响：大数据时代的新选择

TiDB对Hadoop的影响：大数据时代的新选择随着大数据时代的到来，各种处理和存储海量数据的技术应运而生。
狮歌~资深攻城狮·2025-01-23 06:10

嵌入式Linux系统学习记录13

在C语言中，构造数据类型（也叫复合数据类型）包括结构体（struct）、共用体（union）和枚举类型（enum）。这些类型允许用户根据需求创建复杂的数据结构。下面是对每种类型的详细解析以及需要注意的细节和常见的陷阱。1.结构体（struct）结构体是C语言中最常用的复合数据类型，它允许将不同类型的数据（例如整数、字符数组等）组合在一起形成一个新类型。定义：structStudent{  char
hhdk1·2025-01-23 01:20

学习记录：OpenMV 摄像头的一个简单示例，主要实现了对摄像头的基本设置和图像采集，并计算和显示采集图像的帧率。

代码解释：整体功能：此代码是使用OpenMV摄像头的一个简单示例，主要实现了对摄像头的基本设置和图像采集，并计算和显示采集图像的帧率。首先，对摄像头进行初始化，包括重置、设置像素格式和帧大小，并等待设置生效。然后创建一个时间对象用于计算帧率。最后在一个无限循环中不断采集图像并打印出每秒采集的帧数。#此作品遵循MIT许可证授权。#版权所有(c)2013-2023OpenMVLLC。保留所有权利。#h
DIY机器人工房·2025-01-22 21:23

Apache DolphinScheduler 限制秒级别的定时调度

但历史上出现过因配置的疏忽大意而产生故障时间，如应该配置每分钟执行的工作流被配置长了每秒执行，造成短时间内产生大量工作流实例，对ApacheDolphinScheduler服务可用性和提交任务的Hadoop
·2025-01-22 16:58

有了TiDB，是否还需要“散装”大数据组件？

最近和同事们讨论一个问题：在大数据应用日益增多的今天，如果使用了TiDB这样的一体化数据库，还需要使用那些传统的大数据组件（比如Hadoop、Spark等）吗？
狮歌~资深攻城狮·2025-01-22 15:02

Hadoop是什么，怎么部署安装？

Hadoop是什么？Hadoop是一个由Apache基金会开发的开源分布式系统基础架构，主要用于处理和存储大规模数据集。
狮歌~资深攻城狮·2025-01-22 15:01

[Foc学习记录00]导览

电机理论基础电磁基础【电机学复习笔记】第一章磁路_电机学csdn-CSDN博客电路基础磁滞现象：一讲就懂，很nb【经典】深刻阐述磁性材料的磁滞现象_哔哩哔哩_bilibili《现代永磁同步电机控制原理及Matlab仿真》学习第一章、三相永磁同步电机的数学建模006永磁电机永磁体的类型：何为凸极性、隐极性，表贴式、内置式，傻瓜式讲解，专为零基础编写。_表贴式和内置式的区别-CSDN博客根据学习进度，
GivemeAK·2025-01-22 06:25

azkaban的概况

Azkaban的性质azkaban是一个任务调度,管理系统,可以帮用户管理,调度各种运算任务的一个web服务器可以调度任何任务,只要你的任务能用脚本启动azkaban的类似的产品还有很多,例如hadoop
北京小峻·2025-01-21 23:35

基于hadoop的协同过滤算法电影推荐系统的设计与实现

基于hadoop的协同过滤算法电影推荐系统的设计与实现文章目录基于hadoop的协同过滤算法电影推荐系统的设计与实现1.背景介绍1.1电影推荐系统的重要性1.2传统推荐系统的缺陷1.3Hadoop在大数据处理中的作用
AI天才研究院·2025-01-21 23:32

hive电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]

协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档]【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到hadoop
QQ-1305637939·2025-01-21 22:28

hadoop电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]

全套视频教程全套开发文档hadoop电影数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示【Hadoop项目】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv
QQ-1305637939·2025-01-21 22:28

spark电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]

协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到hadoop
QQ-1305637939·2025-01-21 22:58

hadoop图书数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫1万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]

hadoop图书数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫1万+数据大屏数据展示+[手把手视频教程和开发文档]【亮点功能】1.Springboot+Vue+Element-UI+Mysql
QQ-1305637939·2025-01-21 22:57

数据结构学习记录-队列

队列的基本概念1、队列是操作受限的线性表2、队头：允许删除的一端3、队尾：允许插入的一端4、空队列：不含任何元素的空表5、特点：先进先出、FIFO6、应用场景：栈：解决括号匹配；逆波兰表达式求解;递归改非递归等等队列：公平排队，广度优先遍历等等队列的结构：队列的具体实现结构比较灵活，只要遵循先进先出原则即可。顺序表的方式实现，如果用数组表示，虽然尾插数据比较方便，但当头删数据时，还要移动剩余元素，
墨楠。·2025-01-21 22:24

2024年最全（一）大数据---Hadoop整体介绍（架构层）----（组件，并发知识体系大全

Hadoop方案一、大数据介绍============
2401_84586689·2025-01-21 21:19

改善python程序的91建议记录(学习记录)

使用else子句简化循环（异常处理）案例1执行sql异常时处理defsave(db,obj):try:#saveattr1db.execute('asqlstmt',obj.attr1)#saveattr2db.execute('anothersqlstmt',obj.attr2)exceptDBError:db.rollback()else:db.commit()案例2defprint_prim
·2025-01-21 21:48

大数据分析专业毕业设计最新最全选题精华汇总--持续更新中⑤

以下是学长精心整理的一些选题:21.基于Hadoop和Spa
源码空间站11·2025-01-21 20:37

Hadoop 常用命令

查看指定目录下的文件及文件夹hadoopfs-ls/user/hive/warehouse/查看指定目录下的文件及文件夹大小#文件大小（单位Byte）hadoopfs-du/user/hive/warehouse
ZenPower·2025-01-21 06:59

hadoop常用命令汇总

1、查看目录下的文件列表：hadoopfs–ls[文件目录]hadoopfs-ls-h/lance2、将本机文件夹存储至hadoop上：hadoopfs–put[本机目录][hadoop目录]hadoopfs-putlance
m0_67402026·2025-01-21 06:59

hadoop常用命令

Yarn查看提交到资源调度器的任务（任何用yarn资源的都可以看，比如spark、tez、mapreduce）看正在运行的yarn任务yarnapplication-list杀死对应的yarn任务yarnapplication-kill{application_Id}（id可以通过-list看到）hdfs查看hdfs目录hdfsdfs-ls/（查看本集群的目录）hdfsdfs-lshdfs://i
我要用代码向我喜欢的女孩表白·2025-01-21 05:54

Kylin入门教程

引言ApacheKylin是一个开源的分布式分析引擎，提供Hadoop上的多维分析（OLAP）能力，使得超大规模数据集的实时查询和分析成为可能。
-龙川-·2025-01-20 20:23

flume系列之：flume落cos

flume系列之：flume落cos一、参考文章二、安装cosjar包三、添加hadoop-cos的相关配置四、flume环境添加hadoop类路径五、使用cos路径六、启动/重启flume一、参考文章
快乐骑行^_^·2025-01-20 13:42

Hadoop 和 Spark 的内存管理机制分析

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-20 03:27

嵌入式Linux系统学习记录10

在C语言中，指针是一个非常重要的概念。指针是一个变量，它存储的是另一个变量的内存地址。理解指针的细节和注意事项对于编写高效、稳定的C语言程序至关重要。以下是C语言中指针的一些细节和注意事项：1.指针的定义和初始化指针是用*来声明的，表示指向某种类型的变量。例如：int*ptr;//定义一个指向整数的指针初始化指针：指针在定义时不初始化时，会指向不确定的地址，可能导致不可预期的行为。可以将其初始化为
hhdk1·2025-01-19 21:37

SS00023.PBpositions——|Hadoop&PB级离线数仓.v02|——|Griffin.v02|Griffin部署|

一、Griffin编译准备###---软件解压缩[root@hadoop02~]#ls/opt/yanqi/software/griffin-griffin-0.5.0.zip/opt/yanqi/software
yanqi_vip·2025-01-19 21:30

解决 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...警告

这个警告意味着Hadoop在加载本地本机库时遇到了问题。
克里斯蒂亚诺罗纳尔多阿维罗·2025-01-19 10:05

Hive 数据类型全解析：大数据开发者的实用指南

在大数据处理领域，Hive作为一款基于Hadoop的数据仓库工具，被广泛应用于数据的存储、查询和分析。
大鳥·2025-01-19 08:42

Java 大视界 -- 解锁 Java 与 Hadoop HDFS 交互的高效编程之道（二）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:19

Yarn工作机制？思维导图 代码示例（java 架构)

YARN工作机制YARN（YetAnotherResourceNegotiator）是Hadoop生态系统中的资源管理和调度框架，它负责管理集群中的所有资源，并为应用程序提供调度服务。
用心去追梦·2025-01-19 02:17

使用 Hadoop 实现大数据的高效存储与查询

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 23:24

集群间hive数仓迁移

上建库建表；showcreatetabletb_name;createdatabasedb_name;createtabletb_name.....第二步：转移数据文件到新集群；在旧集群中下载数据到本地hadoopfs-get
one code·2025-01-18 17:15

Hive中没有超级管理员，如何进行权限控制

grantselectontabletest2touserhadoop;如何开发一个超级管理员：创建一个项目，导入mavanjar包，然后开始编写hook类importcom.google.common.base.Joiner
二进制_博客·2025-01-18 16:42

java学习记录17

泛型泛型概念Java泛型（generics）是JDK5引入的一个新特性，泛型提供了编译时类型安全检测机制，该机制允许程序员在编译时检测到非法的类型。泛型的本质是参数化类型，即给类型指定一个参数，然后在使用时再指定该参数的值，那么这个类型就可以在使用时决定了。这种参数类型可以用在类、接口和方法中，分别被称为泛型类、泛型接口、泛型方法。publicclassTestClass{privateTvalu
cwtlw·2025-01-18 14:26

调试Hadoop源代码

个人博客地址：调试Hadoop源代码|一张假钞的真实世界Hadoop版本Hadoop2.7.3调试模式下启动HadoopNameNode在${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
一张假钞·2025-01-18 13:16

Pytorch实现：LSTM-火灾温度预测

本文为365天深度学习训练营中的学习记录博客原作者：K同学啊前期工作语言环境：Python3.9.18编译器：JupyterLab深度学习环境：Pytorch1.12.11.设置GPUimporttorchimporttorch.nnasnnimporttorchvisionfromtorchvisionimporttransforms
骑猪玩狗·2025-01-18 11:32

深度学习项目--基于LSTM的火灾预测研究(pytorch实现)

本文为365天深度学习训练营中的学习记录博客原作者：K同学啊前言LSTM模型一直是一个很经典的模型，这个模型当然也很复杂，一般需要先学习RNN、GRU模型之后再学，GRU、LSTM的模型讲解将在这两天发布更新
羊小猪~~·2025-01-18 10:30

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
武子康·2025-01-18 10:29

pyspark 中删除hdfs的文件夹

寻找到一个删除的方法，是通过调用shell命令hadoopfs-rm-f来删除，这个方法感觉不怎么好，所以继续找。
TDengine （老段）·2025-01-18 09:21

Python 爬虫：获取网页数据的 5 种方法

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 07:35

案例分享｜快速了解实时湖仓集一体技术如何助力企业降本增效

1.替代TD仓、Hadoop湖，助力农商行构建一体化数据平台某农商行最初构建了Teradata数据仓库、Oracle小数据平台以及Hadoop数据湖。
·2025-01-17 20:42

Unity学习记录——UI设计

Unity学习记录——UI设计前言本文是中山大学软件工程学院2020级3d游戏编程与设计的作业8编程题：血条制作1.相关资源本次项目之中的人物模型来自StarterAssets-ThirdPersonCharacterController
XiaoChen04_3·2025-01-17 17:11
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他