大数据~Hadoop 第2页

Flink读取kafka数据并写入HDFS

硬刚大数据系列文章链接：2021年从零到大数据专家的学习指南(全面升级版)2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇2021年从零到大数据专家面试篇之SparkSQL篇2021

王知无(import_bigdata)·2025-03-19 22:59

Java 大视界 -- Java 大数据在智能体育赛事直播数据分析与观众互动优化中的应用（142）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视

青云交·2025-03-19 20:13

Apache storm

Apachestorm是一个分布式的实时大数据处理系统。用于在容错和水平可拓展方法中处理大量数据。它是一个流数据框架，具有很高的摄取率，无状态。

赵世炎·2025-03-19 19:09

探索电商大数据的艺术：TBBKAnalysis深度解读与应用推荐

探索电商大数据的艺术：TBBKAnalysis深度解读与应用推荐TBBKAnalysis关于淘宝“爆款”数据爬取与分析。

洪显彦Lawyer·2025-03-19 19:04

什么是Apache Avro？

它由ApacheHadoop项目开发，广泛应用于大数据生态系统中（如Hadoop、Kafka等）。Avro提供了一种紧凑、快速的二进制数据格式，同时支持丰富的数据结构和模式演化。

maozexijr·2025-03-19 19:32

计算机毕业设计之基于Hadoop的热点新闻分析系统的设计与实现

本文拟采用PyCharm开发工具，django框架、Python语言、Hadoop大数据处理技术进行开发，后台使用MySQL数据库进行信息管理，设计开发的热点新闻分析系统。

微信bishe69·2025-03-19 18:31

python爬虫项目

项目名称：国家自然科学基金大数据知识管理服务门户爬取项目爬取内容：爬取内容：资助项目爬取链接：HTTP://KD.NSFC.GOV.CN/BASEQUERY/SUPPORTQUERY为了完成“国家自然科学基金大数据知识管理服务门户

范哥来了·2025-03-19 17:50

Hadoop 实战笔记（二）-- HDFS 常用 shell 命令总结

一、HDFS命令显示当前目录结构#显示当前目录结构hadoopfs-ls#递归显示当前目录结构hadoopfs-ls-R#显示根目录下内容hadoopfs-ls/创建目录#创建目录hadoopfs-mkdir

dazhong2012·2025-03-19 17:48

Java 大视界 -- 基于 Java 的大数据实时流处理中的窗口操作与时间语义详解（135）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视

青云交·2025-03-19 15:38

Lisp语言的云存储

尤其是在大数据、人工智能等领域，对数据的快速访问和高效存储要求尤为迫切。

俞嫦曦·2025-03-19 14:57

How Spark Read Sftp Files from Hadoop SFTP FileSystem

3.5.3'){excludegroup:"org.apache.logging.log4j",module:"log4j-slf4j2-impl"}implementation('org.apache.hadoop

IT•轩辕·2025-03-19 13:18

中电金信25/3/18面前笔试（需求分析岗+数据开发岗）

一、需求分析第1题，单选题,Hadoop的核心组件包括HDFS和以下哪个？

苍曦·2025-03-19 12:43

Flink实践：通过Flink SQL进行SFTP文件的读写操作

在大数据处理领域，ApacheFlink出类拔萃，它是一个高性能、易扩展、用于处理有界和无界数据流的分布式处理引擎。

kkk1622245·2025-03-19 12:41

题解 | 牛客周赛 Round 49 DEF Java题解

面试又黄了反正不是什么喜欢的工作[牛泪]面试又黄了反正不是什么喜欢的工作2024秋招数据开发第一波面试题露出#字节##滴滴##大数据##面经##秋招#引流字节阿里巴巴腾讯百度美团美团后端暑期实习体验——

han_xue_feng·2025-03-19 08:05

Search after解决ES深度分页问题

相比于传统的from和size分页方式，search_after更适合处理大数据集的分页查询，因为它避免了深度分页带来的性能问题。1、search_aft

Elastic开源社区·2025-03-19 08:01

第七章Solr：企业级搜索应用

然而,如何快速、准确地从大数据中检索出所需的信息,一直是企业和组织面临的巨大挑战。传统的数据库查询方式已经无法满足现代搜索需求,因此高效的搜索引擎应运而生。

AGI大模型与大数据研究院·2025-03-19 06:42

金融租赁系统的创新发展与市场竞争力提升探讨

在现今环境下，新兴技术如人工智能、大数据和区块链等正加速推动金融租赁的创新。通过这些技术，不仅可以优化业务流程，提升运营效率，还可以增强风险管理能力。

红点租赁系统开发·2025-03-19 05:33

分块查找算法

分块的原则前一块的最大数据，小于后一窥啊中所有的数据（块内无序，块间有序）块数数量一般等于数字的个数开根号。比如：16个数字一般分为4块左右。

1haooo·2025-03-19 02:09

Spark集群启动与关闭

Hadoop集群和Spark的启动与关闭Hadoop集群开启三台虚拟机均启动ZookeeperzkServer.shstartMaster1上面执行启动HDFSstart-dfs.shslave1上面执行开启

陈沐·2025-03-18 23:17

Hive函数大全：从核心内置函数到自定义UDF实战指南（附详细案例与总结）

用户自定义函数（UDF）分类二、常用函数详解与实战案例‌1.数学函数‌2.字符串函数‌3.窗口函数‌4.自定义UDF实战‌三、总结与优化建议‌1.核心总结2.性能优化建议‌3.常问问题背景‌Hive作为Hadoop

一个天蝎座白勺程序猿·2025-03-18 23:45

MongoDB数据库使用及常见问题

MongoDB具备高性能和可扩展性，能够轻松应对大数据量和高并发的访问，通过分片技术实现水平扩展，确保系统稳定运行。

微笑的曙光（StevenLi）·2025-03-18 20:23

智慧社区2.0

项目亮点1.技术架构层面✅多数据源整合（MySQL+Redis+HDFS+OSS）核心亮点：不仅仅是单一数据库，而是根据数据特性使用MySQL（结构化数据）+Redis（缓存）+HDFS（大数据存储）+

陈陈爱java·2025-03-18 19:53

Pandas与PySpark混合计算实战：突破单机极限的智能数据处理方案

引言：大数据时代的混合计算革命当数据规模突破十亿级时，传统单机Pandas面临内存溢出、计算缓慢等瓶颈。PySpark虽能处理PB级数据，但在开发效率和局部计算灵活性上存在不足。

Eqwaak00·2025-03-18 19:52

Hadoop MapReduce 词频统计（WordCount）代码解析教程

一、概述这是一个基于HadoopMapReduce框架实现的经典词频统计程序。程序会统计输入文本中每个单词出现的次数，并将结果输出到HDFS文件系统。

我不是少爷.·2025-03-18 17:07

智能汽车：驶向未来的革命

人工智能、大数据、云计算等技术的飞速发展，正推动着汽车从单纯的交通工具向智能移动空间转变。智能汽车，作为这场变革的主角，正悄然改变着我们的出行方式和生活方式。

·2025-03-18 13:52

介绍 Apache Spark 的基本概念和在大数据分析中的应用

ApacheSpark是一个开源的集群计算框架，最初由加州大学伯克利分校的AMPLab开发，用于大规模数据处理和分析。相比于传统的MapReduce框架，Spark具有更快的数据处理速度和更强大的计算能力。ApacheSpark的基本概念包括：弹性分布式数据集（RDD）：是Spark中基本的数据抽象，是一个可并行操作的分区记录集合。RDD可以在集群中的节点间进行分布式计算。转换（Transform

佛渡红尘·2025-03-18 13:31

从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路

从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路说起大数据技术，Hadoop和Spark可以说是这个领域的两座里程碑。

Echo_Wish·2025-03-18 12:57

hadoop集群关闭命令顺序_启动和关闭Hadoop集群命令步骤

启动和关闭Hadoop集群命令步骤总结：1.在master上启动hadoop-daemon.shstartnamenode.2.在slave上启动hadoop-daemon.shstartdatanode

氪老师·2025-03-18 12:55

Flume详解——介绍、部署与使用

它特别擅长将数据从各种数据源（如日志文件、消息队列等）传输到HDFS、HBase、Kafka等大数据存储系统。

克里斯蒂亚诺罗纳尔多阿维罗·2025-03-18 12:23

智能租赁系统助力数字化转型提升管理效率与服务质量

通过先进的数字技术，比如云计算和大数据分析，这些系统能够优化资源配置，让企业的每一分钱都花得物有所值。更妙的是，智能租赁系统不仅高效处理日常事务，还能提供精确的数据分析，

红点租赁系统开发·2025-03-18 12:22

金融租赁系统智慧风控实践探索

这套系统就像给资产装上了GPS定位器+心电图监测仪，通过物联网传感器实时捕捉设备运行数据，配合卫星定位追踪车辆轨迹，再让大数据分析引擎消化海量场景信息——从工地的混凝土搅拌频率到物流车队的急刹车次数，全被转化成可量化的风险坐标

红点租赁系统开发·2025-03-18 12:22

在kali linux中配置hadoop伪分布式

目录一.配置静态网络二.配置主机名与IP地址映射三.配置SSH免密登录四.配置Java和Hadoop环境五.配置Hadoop伪分布式六.启动与验证一.配置静态网络原因：Hadoop集群依赖稳定的网络通信

we19a0sen·2025-03-18 11:47

07-单链表-单链表基本操作

数组其实跟静态链表等价，由于动态链表动态new对于大数据太过于耗时，因此采用数组的方式。那数组如何起到链表的效果？用下标来索引。

哆啦A梦阳·2025-03-18 11:44

如果我想成为一名大数据和算法工程师，我需要学会哪些技能，获取大厂的offer

成为一名大数据和算法工程师并获取大厂Offer，需要掌握一系列核心技能，并具备丰富的项目经验与扎实的理论基础。

红豆和绿豆·2025-03-18 10:05

KVM 内核优化全攻略：全方位释放服务器性能

KVM内核优化全攻略：全方位释放服务器性能在云计算、大数据、人工智能等前沿技术蓬勃发展的当下，服务器性能面临着前所未有的挑战。

TechStack 创行者·2025-03-18 10:34

Hive 与 SparkSQL 的语法差异及性能对比

在大数据处理领域，Hive和SparkSQL都是极为重要的工具，它们为大规模数据的存储、查询和分析提供了高效的解决方案。

自然术算·2025-03-18 09:22

【实操回顾】基于Apache SeaTunnel从MySQL同步到PostgreSQL——Demo方舟计划

文章作者：马全才奥克斯集团大数据工程师编辑整理：国电南自赵鸿辉白鲸开源曾辉本文详细演示了如何通过ApacheSeaTunnel2.3.9实现**MySQL**到PostgreSQL的全量数据同步。

SeaTunnel·2025-03-18 08:44

Flink 初体验：从 Hello World 到实时数据流处理

在大数据处理领域，ApacheFlink以其卓越的流批一体化处理能力脱颖而出，成为众多企业构建实时数据应用的首选框架。

小诸葛IT课堂·2025-03-18 07:12

大数据开发之Kubernetes篇----安装部署Kubernetes&dashboard

Kubernetes简介由于公司有需要，需要将外后的服务外加Tensorflow模型部署加训练全部集成到k8s上，所以特意记录下这次简单部署的过程。k8s安装部署首先，我们在部署任何大型的组件前都必须要做的事情就是关闭防火墙和设置hostname了vi/etc/hostsk8s001xxx.xxx.xxx.xxk8s002xxx.xxx.xxx.xx...systemctlstopfirewall

豆豆总·2025-03-18 06:02

毕设分享大数据B站数据分析可视化系统

文章目录0前言1项目运行效果2设计原理数据处理方案可视化呈现方案综合得分计算指标综合得分漏斗图游客画像完成度三连排行榜点赞、投币、收藏与白嫖的比例分析3最后0前言这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天

bee_dc·2025-03-18 03:39

毕业设计项目大数据B站数据分析可视化系统

文章目录0前言1项目运行效果2设计原理数据处理方案可视化呈现方案综合得分计算指标综合得分漏斗图游客画像完成度三连排行榜点赞、投币、收藏与白嫖的比例分析3最后0前言这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天

bee_dc·2025-03-18 03:09

python数据可视化玩转Matplotlib subplot子图操作，四个子图（一包四），三个子图，子图拉伸_python subplot

大锤爱编程的博客_CSDN博客-大数据,Go,数据分析领域博主Matplotlib是一个流行的Python可视化库，它提供了许多功能来创建各种类型的图表。

2401_83817843·2025-03-18 03:01

C/C++每日一练：实现选择排序

选择排序选择排序是一种简单直观的排序算法，时间复杂度为，其中n是数组长度，不适合大数据集的排序，适合于元素较少且对性能要求不高的场景。

風清掦·2025-03-17 20:11

Spark任务读取hive表数据导入es

使用elasticsearch-hadoop将hive表数据导入es，超级简单1.引入pomorg.elasticsearchelasticsearch-hadoop9.0.0-SNAPSHOT2.创建

小小小小小小小小小小码农·2025-03-17 18:25

怎么做一个AI产品经理？

随着大数据、云计算和大模型技术的不断成熟，产品经理不仅需要具备敏锐的市场洞察，还必须深刻理解AI技术本质，跨界整合技术、数据与业务优势，从而推动产品的持续创新与落地。本文将全面解析AI产品经理的角

AI筑梦师·2025-03-17 18:25

运维面试常问的100道题（大数据统计）

一、基础知识类1、请解释什么是运维？运维是指对企业的IT系统进行运行维护，包括硬件设备、软件系统、网络等的监控、管理、优化和故障处理，以确保系统的稳定、高效运行，满足业务需求。2、简述运维的主要职责有哪些？服务器的安装、配置、维护和监控。网络设备的管理和维护。数据库的管理和维护。应用系统的部署、升级和维护。故障处理和应急响应。性能优化和容量规划。安全管理和漏洞修复。3、什么是服务器？有哪些类型？服

無爲謂·2025-03-17 15:33

融合网络实训室初步建设方案设想

随着5G、物联网、云计算、大数据等新兴技术的迅猛发展，网络技术领域对于专业人才的需求呈现出爆发式增长。据权威机构预测，未来几年，网络技术相关岗位的人才缺口将持续扩大。这些岗位不仅要求从业者具备扎

武汉唯众智创·2025-03-17 11:37

hive-进阶版-1

第6章hive内部表与外部表的区别Hive是一个基于Hadoop的数据仓库工具，用于对大规模数据集进行数据存储、查询和分析。

数据牧马人·2025-03-17 10:59

嵌入式SDIO 总线面试题及参考答案

SDIO总线支持的最大数据传输位宽是多少？如何配置？解释SDIO总线中的主从模式架构及通信流程。SDIO卡的功能类型有哪些（如Wi-Fi、蓝牙、GPS）？

大模型大数据攻城狮·2025-03-17 10:56

推荐频道

大数据~Hadoop