Hadoop自学史

有了TiDB，是否还需要“散装”大数据组件？

最近和同事们讨论一个问题：在大数据应用日益增多的今天，如果使用了TiDB这样的一体化数据库，还需要使用那些传统的大数据组件（比如Hadoop、Spark等）吗？
狮歌~资深攻城狮·2025-01-22 15:02

Hadoop是什么，怎么部署安装？

Hadoop是什么？Hadoop是一个由Apache基金会开发的开源分布式系统基础架构，主要用于处理和存储大规模数据集。
狮歌~资深攻城狮·2025-01-22 15:01

Pytorch 自学笔记（三）：利用自定义文本数据集构建Dataset和DataLoader

Pytorch自学笔记（三）1.Dataset与DataLoader1.1torch.utils.data.Dataset1.2torch.utils.data.DataLoaderPytorch自学笔记系列的第三篇
JimmyTotoro·2025-01-22 04:11

【云原生布道系列】第三篇：“软”饭“硬”吃的计算

1虚拟化技术定义首先援引一段《虚拟化技术发展编年史》中针对虚拟化技术的定义：在计算机科学中，虚拟化技术（Virtualization）是一种资源管理（优化）技术，将计算机的各种物理资源（例如CPU、内存
江中散人·2025-01-22 00:35

azkaban的概况

Azkaban的性质azkaban是一个任务调度,管理系统,可以帮用户管理,调度各种运算任务的一个web服务器可以调度任何任务,只要你的任务能用脚本启动azkaban的类似的产品还有很多,例如hadoop
北京小峻·2025-01-21 23:35

基于hadoop的协同过滤算法电影推荐系统的设计与实现

基于hadoop的协同过滤算法电影推荐系统的设计与实现文章目录基于hadoop的协同过滤算法电影推荐系统的设计与实现1.背景介绍1.1电影推荐系统的重要性1.2传统推荐系统的缺陷1.3Hadoop在大数据处理中的作用
AI天才研究院·2025-01-21 23:32

hive电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]

协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档]【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到hadoop
QQ-1305637939·2025-01-21 22:28

hadoop电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]

全套视频教程全套开发文档hadoop电影数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示【Hadoop项目】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv
QQ-1305637939·2025-01-21 22:28

spark电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]

协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到hadoop
QQ-1305637939·2025-01-21 22:58

hadoop图书数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫1万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]

hadoop图书数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫1万+数据大屏数据展示+[手把手视频教程和开发文档]【亮点功能】1.Springboot+Vue+Element-UI+Mysql
QQ-1305637939·2025-01-21 22:57

2024年最全（一）大数据---Hadoop整体介绍（架构层）----（组件，并发知识体系大全

Hadoop方案一、大数据介绍============
2401_84586689·2025-01-21 21:19

大数据分析专业毕业设计最新最全选题精华汇总--持续更新中⑤

以下是学长精心整理的一些选题:21.基于Hadoop和Spa
源码空间站11·2025-01-21 20:37

自学记录：用鸿蒙API 13 开发一个专业的进度条与二维码组件

这篇文章，我会结合自己的学习故事，讲解如何使用API13的全新能力，打造一个进度条和二维码展示组件，并以实际开发项目作为成果展示。我的学习路线：从文档到实践如果正在看的同学如果你不了解鸿蒙，那么我简单说一下，鸿蒙目前需要使用ArkUI配合ArkTS进行开发。它们不仅支持声明式开发，还通过DSL(领域专用语言)的设计，使代码更高效、模块化。于是，我们从以下几点展开学习：了解进度条与二维码组件的能力\
·2025-01-21 17:04

C++的auto_ptr智能指针：从诞生到被弃用的历程

本文将深入剖析auto_ptr的诞生、发展以及最终被弃用和移除的历程，帮助你更好地理解这一智能指针的兴衰史。auto_ptr的诞生背景与初衷在C++98标准中，auto_ptr
码事漫谈·2025-01-21 15:48

科研绘图系列：R语言绘制带有数值的地图（map with values）

禁止商业或二改转载，仅供自学使用，侵权必究，如需截取部分内容请后台联系作者!
生信学习者1·2025-01-21 10:04

Hadoop 常用命令

查看指定目录下的文件及文件夹hadoopfs-ls/user/hive/warehouse/查看指定目录下的文件及文件夹大小#文件大小（单位Byte）hadoopfs-du/user/hive/warehouse
ZenPower·2025-01-21 06:59

hadoop常用命令汇总

1、查看目录下的文件列表：hadoopfs–ls[文件目录]hadoopfs-ls-h/lance2、将本机文件夹存储至hadoop上：hadoopfs–put[本机目录][hadoop目录]hadoopfs-putlance
m0_67402026·2025-01-21 06:59

hadoop常用命令

Yarn查看提交到资源调度器的任务（任何用yarn资源的都可以看，比如spark、tez、mapreduce）看正在运行的yarn任务yarnapplication-list杀死对应的yarn任务yarnapplication-kill{application_Id}（id可以通过-list看到）hdfs查看hdfs目录hdfsdfs-ls/（查看本集群的目录）hdfsdfs-lshdfs://i
我要用代码向我喜欢的女孩表白·2025-01-21 05:54

自学 python 中的异步编程 asyncio (五)：asyncio 与 线程thread

自学python中的异步编程asyncio(一)：学习基本概念自学python中的异步编程asyncio(二)：asyncio模块与核心组件自学python中的异步编程asyncio(三)：asyncio
Eaton5959·2025-01-21 04:45

webUI自动化之基本框架搭建（python + selenium + unittest）_python ui自动框架

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
2401_84140628·2025-01-21 02:42

Kylin入门教程

引言ApacheKylin是一个开源的分布式分析引擎，提供Hadoop上的多维分析（OLAP）能力，使得超大规模数据集的实时查询和分析成为可能。
-龙川-·2025-01-20 20:23

直播预告丨精度优于AlphaFold，基于深度学习实现生物大分子及其互作的三维结构预测

「MeetAI4S」系列直播第6期将于1月15日19:00准时开播，HyperAI超神经有幸邀请到了南开大学统计与数据科学学院教授郑伟，他本次分享的主题是「AlphaFold3王座未稳，来自学术界的反超
·2025-01-20 18:28

flume系列之：flume落cos

flume系列之：flume落cos一、参考文章二、安装cosjar包三、添加hadoop-cos的相关配置四、flume环境添加hadoop类路径五、使用cos路径六、启动/重启flume一、参考文章
快乐骑行^_^·2025-01-20 13:42

Kotlin Bootcamp 自学（2）：Kotlin基础

KotlinBootcamp自学（2）：Kotlin基础目录KotlinBootcamp自学（2）：Kotlin基础前言运算符与数据类型(OperatorsandTypes)数值类型（NumericalType
EdwardW@ng·2025-01-20 13:09

【Rust自学】13.7. 迭代器 Pt.3：使用闭包捕获环境配合迭代器的使用

13.7.0.写在正文之前Rust语言在设计过程中收到了很多语言的启发，而函数式编程对Rust产生了非常显著的影响。函数式编程通常包括通过将函数作为值传递给参数、从其他函数返回它们、将它们分配给变量以供以后执行等等。在本章中，我们会讨论Rust的一些特性，这些特性与许多语言中通常称为函数式的特性相似：闭包迭代器（本文）使用闭包和迭代器改进I/O项目闭包和迭代器的性能喜欢的话别忘了点赞、收藏加关注哦
SomeB1oody·2025-01-20 11:48

C#的学习方法和思路，全部整理在这了！

今天梳理下，我从写公众号以来，发表过的有关学习编程的自学方法、架构、学习路线、重构、编程经验等内容，希望对大家有点启发。一、自学编程的方法用这个方法学习C#的，一年后都变成高级工程师了！
编程乐趣·2025-01-20 09:00

周末了，写个转码经历流水账

我是普通学校出身，硕士期间自学Java，秋招最终斩获12个offer，包含中大厂、初创公司、国企等各类型公司。自学路上遇到不少问题，但最终结果还是满意的，最终是在北京某互联网厂从事一线开发。
·2025-01-20 08:49

Hadoop 和 Spark 的内存管理机制分析

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-20 03:27

python传参是什么意思_如何最简单、通俗地理解Python的传入参数？

目录：一、笔记二、我的自学路线三、笔记目录一、笔记①传入参数分为形参和实参两种，形参是形式参数(变量)，实参是实际参数(值)。②传入参数，一个星号*表示传入一个元组，两个星号表示传入一个字典。
weixin_39857876·2025-01-20 02:25

SS00023.PBpositions——|Hadoop&PB级离线数仓.v02|——|Griffin.v02|Griffin部署|

一、Griffin编译准备###---软件解压缩[root@hadoop02~]#ls/opt/yanqi/software/griffin-griffin-0.5.0.zip/opt/yanqi/software
yanqi_vip·2025-01-19 21:30

Python测试框架 Pytest —— mock使用（pytest-mock）_python pytest mock数据

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
2401_84263262·2025-01-19 11:46

解决 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...警告

这个警告意味着Hadoop在加载本地本机库时遇到了问题。
克里斯蒂亚诺罗纳尔多阿维罗·2025-01-19 10:05

Hive 数据类型全解析：大数据开发者的实用指南

在大数据处理领域，Hive作为一款基于Hadoop的数据仓库工具，被广泛应用于数据的存储、查询和分析。
大鳥·2025-01-19 08:42

Java 大视界 -- 解锁 Java 与 Hadoop HDFS 交互的高效编程之道（二）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:19

关于我的博客建站经历

我是一名前端开发工程师，从大四的时候开始自学前端，荒废了三年时光，在大四的时候才算真正走进“编程”这扇大门。也是从那个时候开始学着搭建自己的个人博客，用来记录自己的学习笔记，但是却坚持不下来。
忆宸_1·2025-01-19 05:12

PyTest自学 - 将多个用例组织在一个类中

<<返回目录1PyTest自学-将多个用例组织在一个类中  pytest支持并不限制一个用例占用一个文件，实际使用中可以一个用例一个文件，也可以多个用例一个文件。  
彩虹小黑馬·2025-01-19 04:33

Python自学 - 递归函数

<<返回目录1Python自学-递归函数  递归函数是一种在函数体内调用自己的函数，就像“左脚踩着右脚，再右脚踩着左脚…嗯，你就可以上天了！”。
彩虹小黑馬·2025-01-19 04:33

自学[vue+SpringCloud]-002-配置本机java环境

文章目录前言一、本机电脑java环境配置1.mac电脑1.1安装JDK1.2查找JDK的安装路径1.3配置`JAVA_HOME`环境变量1.4加载配置文件1.5验证配置1.6多JDK版本切换（可选）2.windows电脑2.1安装JDK2.2查找JDK的安装路径2.3配置`JAVA_HOME`环境变量2.3.1设置`JAVA_HOME`2.3.2配置PATH变量2.4验证配置2.5多JDK版本切换
搬砖天才、·2025-01-19 04:31

Yarn工作机制？思维导图 代码示例（java 架构)

YARN工作机制YARN（YetAnotherResourceNegotiator）是Hadoop生态系统中的资源管理和调度框架，它负责管理集群中的所有资源，并为应用程序提供调度服务。
用心去追梦·2025-01-19 02:17

使用 Hadoop 实现大数据的高效存储与查询

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 23:24

黑马程序员Python自学课程笔记】课上笔记+案例源码+作业源码

第十章-数据可视化之地图构建10.1数据可视化-地图-基础地图使用注意！！！现在的版本，需要加：省，市"""演示地图可视化的基本使用"""frompyecharts.chartsimportMapfrompyecharts.optionsimportVisualMapOpts#准备地图对象map=Map()#准备数据data=[("北京市",9),("上海市",8),("湖南省",5),("台湾省
嗯哈！·2025-01-18 17:21

集群间hive数仓迁移

上建库建表；showcreatetabletb_name;createdatabasedb_name;createtabletb_name.....第二步：转移数据文件到新集群；在旧集群中下载数据到本地hadoopfs-get
one code·2025-01-18 17:15

Hive中没有超级管理员，如何进行权限控制

grantselectontabletest2touserhadoop;如何开发一个超级管理员：创建一个项目，导入mavanjar包，然后开始编写hook类importcom.google.common.base.Joiner
二进制_博客·2025-01-18 16:42

自学记录鸿蒙API 13：PreviewKit从文件预览到应用开发

学习了一些API13之后，我决定研究一下PreviewKit（文件预览服务）。这个模块可以快速预览多种文件类型，包括文本、图片、视频、音频和PDF等，为文件管理类应用提供了系统级支持。这次学习不仅是技术上的积累，更是个人能力的全面提升。我会从实际开发的角度，带大家了解PreviewKit的功能和实现，并分享如何利用它开发出一款实用的文件预览助手应用。通过我的实践经验，希望能为其他开发者提供灵感与帮
·2025-01-18 14:58

调试Hadoop源代码

个人博客地址：调试Hadoop源代码|一张假钞的真实世界Hadoop版本Hadoop2.7.3调试模式下启动HadoopNameNode在${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
一张假钞·2025-01-18 13:16

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
武子康·2025-01-18 10:29

pyspark 中删除hdfs的文件夹

寻找到一个删除的方法，是通过调用shell命令hadoopfs-rm-f来删除，这个方法感觉不怎么好，所以继续找。
TDengine （老段）·2025-01-18 09:21

Python 爬虫：获取网页数据的 5 种方法

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 07:35

案例分享｜快速了解实时湖仓集一体技术如何助力企业降本增效

1.替代TD仓、Hadoop湖，助力农商行构建一体化数据平台某农商行最初构建了Teradata数据仓库、Oracle小数据平台以及Hadoop数据湖。
·2025-01-17 20:42

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

把复杂问题简单化5、屏蔽原始数据的(影响)，屏蔽业务的影响ETL操作1、数据抽取2、数据清洗3、数据转换4、数据加载数据中台包含的内容很多，对应到具体工作中的话，它可以包含下面的这些内容：系统架构：以Hadoop
_Jordan·2025-01-17 16:56
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他