Hadoop学习总结

DiNO (Knowledge Distillation with No Labels)（二）

本文是对DiNOv2论文的学习总结，更多详细细节可以参考论文原稿。
CL.LIANG·2025-01-25 11:51

不同hive集群中基于表的数据一致性比对

前阵子博主遇到一个需求，因对hadoop集群进行数据迁移，数据迁移完毕后进行两个hive库的数据一致性的比对，不仅对源表数据进行比对，而且要同时使用两个集群加工相同数据，对加工后的数据进行数据一致性比对
AA赵师傅·2025-01-25 07:19

Hadoop、Hive、Hbase集群间的数据迁移

一、hadoop集群间拷贝数据：迁移之前需要把两个集群的所有节点都互通/etc/hosts文件（重要，包括各个数据节点）两个集群版本不相同hadoopdistcphftp://192.168.57.73
这个操蛋的人生！！！·2025-01-25 07:18

Hive面试题汇总

Hive定义Hive是建立在Hadoop上的数据仓库基础构架。可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
大数据侠客·2025-01-25 07:18

CDH大数据平台

CDH概念CDH（ClouderaDistributionIncludingApacheHadoop)是由Cloudera公司提供的一个集成了ApacheHadoop以及相关生态系统的发行版本。
梦龙zmc·2025-01-25 06:44

2024 年度学习总结

目录1.前言2.csdn对于我的意义3.写博客的初衷3.1现在的想法4.写博客的意义5.关于生活和博客创作5.1写博客较于纸质笔记的优势6.致20251.前言不知不觉,来到csdn已经快一年了,在这一年中,我通过csdn学习到了很多知识,结识了很多的良师益友.最重要的是,在技术上,我有了质的飞跃.2.csdn对于我的意义csdn,对我来说不仅是一个学习平台,更记录了我在2024的成长历程,可以说,
Sunrise_angel·2025-01-25 01:36

【大数据入门核心技术-Hive】（十六）hive表加载csv格式数据或者json格式数据

高可用集群搭建二、hive加载Json格式数据1、数据准备vistu.json[{"id":111,"name":"name111"},{"id":222,"name":"name22"}]上传到hdfshadoopfs-putstu.j
forest_long·2025-01-24 12:27

24.11.15学习总结

就“24.11.14学习总结”的第一题的代码修改。
The_cute_cat·2025-01-24 01:00

cascading 入门 （一）

1cascading是什么cascading是一个架构在Hadoop上的API，用来创建复杂和容错数据处理工作流。
zhumin726·2025-01-24 01:28

搭建单机伪分布式Hadoop+spark+scala

五、免密登陆1.创建ssh秘钥，输入如下命令，生成公私密钥2.将master公钥id_dsa复制到master进行公钥认证，实现本机免密登陆，测试完exit退出六、安装Hadoop软件1.解压hadoo
啥也不会0-0·2025-01-23 16:21

Hadoop 与 Spark：大数据处理的比较

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-23 16:50

虚拟机VMware Workstation Pro安装集群+hadoop+spark+scala

参考资料：参考视频教程链接：大数据实验虚拟机安装Hadoop和Spark_哔哩哔哩_bilibiliup主：孤独时代的硕硕namenode安装选择镜像、路径、磁盘（最好不要c盘）、内存和处理器编辑名称与位置可点击此处自定义硬盘进行设置
落枫兮·2025-01-23 15:16

Hadoop分布式文件系统-HDFS架构

一、HDFS的简介HDFS全称HadoopDistributedFileSystem，是分布式文件管理系统。
Fancs2024·2025-01-23 09:37

TiDB 对 Hadoop 的影响：大数据时代的新选择

TiDB对Hadoop的影响：大数据时代的新选择随着大数据时代的到来，各种处理和存储海量数据的技术应运而生。
狮歌~资深攻城狮·2025-01-23 06:10

【学习总结|DAY033】后端Web进阶(AOP)

在当今的软件开发领域，提高代码的可维护性、可扩展性以及减少重复代码是至关重要的。SpringAOP（AspectOrientedProgramming，面向切面编程）作为一种强大的编程思想和技术，在解决这些问题上发挥着重要作用。本文将结合实际代码示例，深入探讨SpringAOP的相关知识，帮助大家更好地掌握这一技术。一、AOP基础概念1.1什么是AOPAOP即面向切面编程，它可以简单理解为面向特定
123yhy传奇·2025-01-23 06:39

【学习总结|DAY021】Java 多线程

多线程是Java编程中非常重要的概念，它允许程序同时执行多个任务，提高程序的执行效率。本文将详细介绍多线程的创建方式、常用方法、线程安全、线程同步、线程池以及并发和并行的概念，并结合代码案例进行讲解。一、线程的创建方式Java中创建线程主要有三种方式：方式一：继承Thread类classMyThreadextendsThread{@Overridepublicvoidrun(){//线程执行的任务
123yhy传奇·2025-01-23 06:09

Apache DolphinScheduler 限制秒级别的定时调度

但历史上出现过因配置的疏忽大意而产生故障时间，如应该配置每分钟执行的工作流被配置长了每秒执行，造成短时间内产生大量工作流实例，对ApacheDolphinScheduler服务可用性和提交任务的Hadoop
·2025-01-22 16:58

有了TiDB，是否还需要“散装”大数据组件？

最近和同事们讨论一个问题：在大数据应用日益增多的今天，如果使用了TiDB这样的一体化数据库，还需要使用那些传统的大数据组件（比如Hadoop、Spark等）吗？
狮歌~资深攻城狮·2025-01-22 15:02

Hadoop是什么，怎么部署安装？

Hadoop是什么？Hadoop是一个由Apache基金会开发的开源分布式系统基础架构，主要用于处理和存储大规模数据集。
狮歌~资深攻城狮·2025-01-22 15:01

1.21学习总结

今天不知道点到什么把codeblock给玩死了，试图抢救，但是抢救无效，只好删了重下，终于让他变成了记忆中的模样。在博客上看了背包问题详解，不是很理解，题目也没能做出来。P1387：最大正方形b[i][j]表示以节点i,j为右下角，可构成的最大正方形的边长。只有a[i][j]==1时，节点i,j才能作为正方形的右下角；对于一个已经确定的b[i][j]=x，它表明包括节点i，j在内向上x个节点，向左
2401_89561082·2025-01-22 06:53

azkaban的概况

Azkaban的性质azkaban是一个任务调度,管理系统,可以帮用户管理,调度各种运算任务的一个web服务器可以调度任何任务,只要你的任务能用脚本启动azkaban的类似的产品还有很多,例如hadoop
北京小峻·2025-01-21 23:35

基于hadoop的协同过滤算法电影推荐系统的设计与实现

基于hadoop的协同过滤算法电影推荐系统的设计与实现文章目录基于hadoop的协同过滤算法电影推荐系统的设计与实现1.背景介绍1.1电影推荐系统的重要性1.2传统推荐系统的缺陷1.3Hadoop在大数据处理中的作用
AI天才研究院·2025-01-21 23:32

hive电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]

协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档]【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到hadoop
QQ-1305637939·2025-01-21 22:28

hadoop电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]

全套视频教程全套开发文档hadoop电影数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示【Hadoop项目】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv
QQ-1305637939·2025-01-21 22:28

spark电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]

协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到hadoop
QQ-1305637939·2025-01-21 22:58

hadoop图书数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫1万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]

hadoop图书数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫1万+数据大屏数据展示+[手把手视频教程和开发文档]【亮点功能】1.Springboot+Vue+Element-UI+Mysql
QQ-1305637939·2025-01-21 22:57

2024年最全（一）大数据---Hadoop整体介绍（架构层）----（组件，并发知识体系大全

Hadoop方案一、大数据介绍============
2401_84586689·2025-01-21 21:19

大数据分析专业毕业设计最新最全选题精华汇总--持续更新中⑤

以下是学长精心整理的一些选题:21.基于Hadoop和Spa
源码空间站11·2025-01-21 20:37

Hadoop 常用命令

查看指定目录下的文件及文件夹hadoopfs-ls/user/hive/warehouse/查看指定目录下的文件及文件夹大小#文件大小（单位Byte）hadoopfs-du/user/hive/warehouse
ZenPower·2025-01-21 06:59

hadoop常用命令汇总

1、查看目录下的文件列表：hadoopfs–ls[文件目录]hadoopfs-ls-h/lance2、将本机文件夹存储至hadoop上：hadoopfs–put[本机目录][hadoop目录]hadoopfs-putlance
m0_67402026·2025-01-21 06:59

hadoop常用命令

Yarn查看提交到资源调度器的任务（任何用yarn资源的都可以看，比如spark、tez、mapreduce）看正在运行的yarn任务yarnapplication-list杀死对应的yarn任务yarnapplication-kill{application_Id}（id可以通过-list看到）hdfs查看hdfs目录hdfsdfs-ls/（查看本集群的目录）hdfsdfs-lshdfs://i
我要用代码向我喜欢的女孩表白·2025-01-21 05:54

Kylin入门教程

引言ApacheKylin是一个开源的分布式分析引擎，提供Hadoop上的多维分析（OLAP）能力，使得超大规模数据集的实时查询和分析成为可能。
-龙川-·2025-01-20 20:23

大模型-LangChain4j 学习总结

通过网盘分享的文件：langchain4j-study-test大模型学习后整理.rar链接:https://pan.baidu.com/s/1HpHzVaGotD6cfeaszEwEQg?pwd=73sy提取码:73sy
小哇666·2025-01-20 17:19

flume系列之：flume落cos

flume系列之：flume落cos一、参考文章二、安装cosjar包三、添加hadoop-cos的相关配置四、flume环境添加hadoop类路径五、使用cos路径六、启动/重启flume一、参考文章
快乐骑行^_^·2025-01-20 13:42

Hadoop 和 Spark 的内存管理机制分析

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-20 03:27

SS00023.PBpositions——|Hadoop&PB级离线数仓.v02|——|Griffin.v02|Griffin部署|

一、Griffin编译准备###---软件解压缩[root@hadoop02~]#ls/opt/yanqi/software/griffin-griffin-0.5.0.zip/opt/yanqi/software
yanqi_vip·2025-01-19 21:30

sed学习笔记1

0.引用《Linux命令行与shell脚本编程大全.第3版by布鲁姆，布雷斯纳汉》第19章，第21章1.今晚回家学习总结
我要精通C++·2025-01-19 19:16

【学习总结|DAY031】后端Web实战(员工管理)三

一、删除员工功能实现（一）需求分析删除单条员工数据可视为特殊的批量删除，开发一个接口即可满足删除员工的功能需求，该接口需实现根据ID删除单个员工信息以及根据ID批量删除员工信息。（二）代码实现Controller层：提供两种接收请求参数的方式。通过集合接收参数的代码如下：@DeleteMappingpublicResultdelete(@RequestParamListids){log.info(
123yhy传奇·2025-01-19 14:04

【学习总结|DAY027】JAVA操作数据库

在后端开发中，Java操作数据库是核心技能。本文将详细介绍JDBC、MyBatis及SpringBoot配置文件相关知识，并给出实用代码示例。一、JDBC（JavaDataBaseConnectivity）（一）简介JDBC是sun公司定义的操作关系型数据库的API规范。它如同一个标准接口，各数据库厂商实现此接口并提供驱动jar包。例如，我们在使用MySQL数据库时，需引入mysql-connec
123yhy传奇·2025-01-19 14:33

【学习总结|DAY028】后端Web实战(部门管理)

在Web后端开发领域，构建高效、规范且功能完备的系统是核心目标。本文将围绕Tlias智能学习辅助系统的后端开发展开，详细阐述从开发准备工作到各部门管理功能实现，以及日志技术应用的全过程，为开发者提供全面的实践参考。一、开发准备（一）开发模式与规范前后端分离开发已成为主流趋势。在这种模式下，前端项目和后端项目的开发、部署相互独立。其开发流程包括需求分析、接口设计、前后端并行开发、测试以及联调等环节。
123yhy传奇·2025-01-19 14:33

【学习总结|DAY029】后端Web实战(员工管理)一：多表操作与查询优化

在Web后端开发中，员工管理模块是企业级应用的重要组成部分。本文将深入探讨Tlias系统员工管理模块的开发过程，重点聚焦于多表关系处理、多表查询实现以及员工列表查询的优化，为开发者提供全面的技术参考。一、多表关系剖析（一）一对多关系（以部门与员工为例）在实际业务场景中，一个部门通常会包含多个员工，这就形成了典型的一对多关系。在数据库设计层面，我们通过在员工表（emp）中添加外键dept_id来关联
123yhy传奇·2025-01-19 14:33

【学习总结|DAY030】后端Web实战(员工管理)二：新增员工、事务管理与文件上传

在Web后端开发领域，实现复杂业务功能是开发者的核心任务之一。本文将围绕Tlias系统的员工管理模块，详细介绍新增员工、事务管理以及文件上传功能的开发过程，通过实际代码示例帮助读者深入理解相关技术要点。一、新增员工功能实现新增员工功能涉及员工基本信息和工作经历信息的存储。在数据库设计上，使用emp表存储员工基本信息，emp_expr表存储员工工作经历信息。（一）需求与接口设计接口用于添加员工信息，
123yhy传奇·2025-01-19 14:33

【学习总结|DAY026】MySQL基础

在Web后端开发中，数据库扮演着至关重要的角色，它是存储和管理数据的核心组件。近期学习了数据库相关知识，在此分享学习过程中的重点内容，涵盖数据库基础概念、MySQL操作以及SQL语句的详细使用等方面。一、数据库基础概念数据库（DataBase-DB）：形象地说，它就像是一个大型的数据仓库，专门用于高效地存储和管理海量数据。例如，在金融领域，同花顺的数据中心需要存储海量的股票、基金等金融数据，包括股
123yhy传奇·2025-01-19 14:02

【学习总结|DAY025】JAVA-WEB基础

在Web开发领域，SpringBoot已成为重要的技术框架，其简化配置和快速开发的特性深受开发者喜爱。本文将详细介绍SpringBootWeb开发的基础知识，涵盖从入门程序搭建到HTTP协议解析，再到分层解耦实践等内容，助力读者快速上手。一、SpringBootWeb入门（一）Spring生态与SpringBoot优势Spring发展出庞大生态，提供众多子项目，各有特定功能。SpringBoot尤
123yhy传奇·2025-01-19 14:02

解决 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...警告

这个警告意味着Hadoop在加载本地本机库时遇到了问题。
克里斯蒂亚诺罗纳尔多阿维罗·2025-01-19 10:05

Hive 数据类型全解析：大数据开发者的实用指南

在大数据处理领域，Hive作为一款基于Hadoop的数据仓库工具，被广泛应用于数据的存储、查询和分析。
大鳥·2025-01-19 08:42

Java 大视界 -- 解锁 Java 与 Hadoop HDFS 交互的高效编程之道（二）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:19

Yarn工作机制？思维导图 代码示例（java 架构)

YARN工作机制YARN（YetAnotherResourceNegotiator）是Hadoop生态系统中的资源管理和调度框架，它负责管理集群中的所有资源，并为应用程序提供调度服务。
用心去追梦·2025-01-19 02:17

使用 Hadoop 实现大数据的高效存储与查询

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 23:24

集群间hive数仓迁移

上建库建表；showcreatetabletb_name;createdatabasedb_name;createtabletb_name.....第二步：转移数据文件到新集群；在旧集群中下载数据到本地hadoopfs-get
one code·2025-01-18 17:15
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他