大数据专业第10页

大数据面试之路 (二) hive小文件合并优化方法

大量小文件容易在文件存储端造成瓶颈，影响处理效率。对此，您可以通过合并Map和Reduce的结果文件来处理。一、合并小文件的常见场景写入时产生小文件：Reduce任务过多或数据量过小，导致每个任务输出一个小文件。动态分区插入：分区字段基数高，每个分区生成少量数据，形成大量小文件。频繁追加数据：通过INSERTINTO多次追加数据，导致文件碎片化。二、合并小文件的核心方法方法1：调整Reduce任务

愿与狸花过一生·2025-03-12 12:11

LeetCode 191 位1的个数

计算正整数二进制表示中汉明重量的两种实现方式对比在编程的世界里，我们常常会遇到一些有趣又实用的小问题，今天就来和大家分享一下如何计算一个正整数二进制表示中设置位（也就是1的个数，专业术语叫汉明重量）的问题

雾月55·2025-03-12 11:05

第八课：Scrapy框架入门：工业级爬虫开发

在当今大数据时代，数据抓取已成为信息获取的重要手段。Scrapy作为一个基于Python的开源网络爬虫框架，凭借其高效、灵活的特性，在工业级爬虫开发中占据重要地位。

deming_su·2025-03-12 11:05

flink（十一）：Table&Sql实现窗口水印计算

文章目录分享说明实现讲解代码总结分享大数据博客列表说明本博客每周五更新一次。

羽落风起·2025-03-12 11:34

大模型微调：定义、方法、应用与未来展望

例如，在自然语言处理中，预训练模型可能无法准确理解特定领域的专业术语或逻辑。通过微调，模型可以学习到特定领域的特征和规律，从而在特定任务上表现出更高的专业性和准确率。微调的过程可以被视为一

软件职业规划·2025-03-12 11:33

从自动化到测开，测试人员逆袭之路从此起步！

更不幸的是，连自动化测试和性能测试这些专业领域也受到了测试开发人员的竞争压力。然而，让我们抛开焦虑，聚焦于一个更广阔的发展方向——测试平台开发。

小码哥说测试·2025-03-12 09:19

【愚公系列】2023年10月 WPF控件专题 Path控件详解

《博客内容》：.NET、Java、Python、Go、Node、前端、IOS、Android、鸿蒙、Linux、物联网、网络安全、大数据、人

愚公搬代码·2025-03-12 09:18

51-53 CVPR 2024 | DriveWorld：通过自动驾驶世界模型进行 4D 预训练场景理解（含模型数据流梳理）

DriveWorld在UniAD的基础上又有所成长，提升了自动驾驶目标检测、目标追踪、3D占用、运动预测及规划的性能，后期扩大数据集和调整骨干网络大小应该会

深圳季连AIgraphX·2025-03-12 08:43

智能制造中的工业大数据分析实践

智能制造中的工业大数据分析实践关键词:智能制造，工业大数据，数据分析，机器学习，深度学习，预测性维护，质量控制，生产优化文章目录智能制造中的工业大数据分析实践1.背景介绍1.1问题的由来1.2研究现状1.3

AI天才研究院·2025-03-12 08:12

Java 大视界 -- 基于 Java 的大数据可视化交互设计与实现技巧（105）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视

青云交·2025-03-12 07:07

Java 大视界 -- Java 大数据中的时间序列数据异常检测算法对比与实践（103）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视

青云交·2025-03-12 07:07

实施一套先进的智能摄像头服务系统。

一、项目背景随着物联网、人工智能和大数据技术的飞速发展，智能摄像头已成为家庭、企业以及公共安全领域的重要设备。其便捷、高效、智能的特点，使得市场需求日益增长。

合方圆～小文·2025-03-12 07:04

十大软件供应链安全AI代表厂商，一文快速了解！

中国网络安全行业专业媒体安全牛正式发布《软件供应链安全能力构建指南（2024版）》报告，悬镜安全（官网访问地址：悬镜安全-DevSecOps数字供应链安全开拓者）作为DevSecOps软件供应链安全领域领导者

数字供应链安全产品选型·2025-03-12 07:03

【AI赋能】蓝耘赋能通义万相2.1：AI创作新时代的强力引擎

在视频生成方面，通义万相2.1推出极速版和专业版两个版本，在权威的VBenchLeaderboard评测榜单上以84.7%的总分登顶。

星落无尘·2025-03-12 06:00

测试江湖：为什么大多数人宁愿吃生活的苦，也不愿意吃学习的苦

（大家刷起来…）职场经验干货：软件测试工程师简历上如何编写个人信息（一周8个面试）软件测试工程师简历上如何编写专业技能（一周8个面试）软件测

爱吃香菜·2025-03-12 05:20

记一次多线程导入问题排查过程

记一次多线程导入问题排查过程1.需求2.遇到问题3.排查解决问题1.需求大数据量的核对：现在有1000个excel文件，每个excel文件内有21个sheet页，现在要对这些数据进行核对，需要先将这些数据导入到库中

程序辕日记·2025-03-12 04:07

【大数据】大数据处理-Lambda架构-Kappa架构

大数据处理-Lambda架构-Kappa架构elasticsearch-headElasticsearch-sqlclientNLPchina/elasticsearch-sql:UseSQLtoqueryElasticsearch360

weixin_33884611·2025-03-12 04:37

2024年大数据技术4：Lambda和Kappa架构区别_lambda架构和kappa架构区别，2024年最新你花了多久弄明白架构设计

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

2401_84182146·2025-03-12 03:32

大数据技术4：Lambda和Kappa架构区别_lambda架构和kappa架构区别(3)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！Lambda架构总共由三层系统组成：批处理层（Batc

2301_76348014·2025-03-12 03:32

mySQL和Hive的区别

Mysql将数据存储在设备或本地系统中；2、数据更新：Hive不支持数据的改写和添加，是在加载的时候就已经确定好了；数据库可以CRUD；3、索引：Hive无索引，每次扫描所有数据，底层是MR，并行计算，适用于大数据量

iijik55·2025-03-12 00:41

重生之我在学Vue--第8天 Vue 3 UI 框架（Element Plus）

（ElementPlus）前言一、ElementPlus基础：从安装到组件革命1.1安装与两种引入模式全量引入（适合快速原型）按需引入（推荐生产环境）二、核心组件实战：重构任务管理系统2.1表格组件：专业数据展示

野生的程序媛·2025-03-12 00:09

考研复习之记忆方法

曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

herosunly·2025-03-11 23:51

2025年工业智能对讲机有多智能？数据采集+AI不在话下！

遨游通讯推出的新一代智能对讲机，凭借DeepSeek本地化部署与模块化数据采集能力，实现了语音交互的智能升级，并通过红外热成像、NFC、工业内窥镜等专业模块的深度融合，构建起覆盖现场感知、数据分析与决策支持的闭环体系

AORO_BEIDOU·2025-03-11 22:18

【时间序列聚类】从数据中发现隐藏的模式

在大数据时代，时间序列数据无处不在。无论是股票市场的价格波动、天气的变化趋势，还是用户的点击行为，这些数据都随着时间推移而产生。然而，面对海量的时间序列数据，我们如何从中提取有价值的信息？

T-I-M·2025-03-11 22:45

Deepseek结合AnythingLLM搭建个人本地智能知识库

之前通过Ollama搭建了本地Deepseek大模型对话机制，但知识点仅限于Deepseek内部的数据，且目前数据截止时间为2024年7月，如果我们询问一些专业性比较强的内容，则Deepseek也显得无能为力

曲幽·2025-03-11 22:15

我的投资组合网站：打造个性化的在线投资展示平台

本文还有配套的精品资源，点击获取简介：本文介绍如何创建和设计一个在线平台，用于展示个人或专业投资者的投资策略、历史表现和投资理念。

Tranyn.X·2025-03-11 19:55

家居巨头的觉醒，永洪科技为林氏家居开启一站式智慧决策

永洪科技与林氏家居的合作，是共同开发了一个企业级的一站式大数据分析平台。在合作多年的积累下，已逐步成为家居行业数字化转型的代表性案例。

永洪科技·2025-03-11 19:53

Hive在大数据集群下的部署

hive安装1）把apache-hive-3.1.3-bin.tar.gz上传到Linux的/opt/software目录下2）解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下面tar-zxvf/opt/software/apache-hive-3.1.3-bin.tar.gz-C/opt/module/3）修改apache-hive-3.1.3-bin

正在绘制中·2025-03-11 18:47

搭建分布式Hive集群

title:搭建分布式Hive集群date:2024-11-2923:39:00categories:-服务器tags:-Hive-大数据搭建分布式Hive集群本次实验环境：Centos7-2009、Hadoop

逸曦玥泱·2025-03-11 18:17

斐波拉契数列

大数据版：斐波拉契数列-大数据版输入描述一个正整数n（1≤n≤104）。输出描述斐波那契数列的第n项F(n)。由于结果可能很大，因此将结果对10007取模后输出。样例1输入1输出1解释边界定义：F

RichardK.·2025-03-11 17:10

大数据技术生态圈：Hadoop、Hive、Spark的区别和关系

大数据技术生态圈：Hadoop、Hive、Spark的区别和关系在大数据领域中，Hadoop、Hive和Spark是三个常用的开源技术，它们在大数据处理和分析方面发挥着重要作用。

雨中徜徉的思绪漫溢·2025-03-11 17:07

flink+kafka实现流数据处理学习

1、概念介绍flink：是一个分布式、高可用、高可靠的大数据处理引擎，提供了一种高效、可靠、可扩展的方式来处理和分析实时数据。

上海研博数据·2025-03-11 17:06

大数据面试之路 (一) 数据倾斜

记录大数据面试历程数据倾斜大数据岗位，数据倾斜面试必问的一个问题。一、数据倾斜的表现与原因表现某个或某几个Task执行时间过长，其他Task快速完成。

愿与狸花过一生·2025-03-11 17:34

Yarn：包管理优化与工作空间的最佳实践

本文将深入探讨Yarn的专业使用，包括其工作空间的强大功能、性能优化技术以及在大型项目中的最佳实践。

·2025-03-11 15:59

Zookeeper与Kafka学习笔记

同步等元数据采用层次化数据模型（Znode树结构），每个节点可存储<1MB数据典型应用场景：HadoopNameNode高可用HBase元数据管理Kafka集群选举与状态管理2.设计限制内存型存储，不适合大数据量场景数据变更通过版本号

上海研博数据·2025-03-11 15:51

Qt程序闪退如何查原因呢，闪退点不是自己应用代码

本文收录于《CSDN问答解惑-专业版》专栏，主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由；同时，欢迎大家关注&&收藏&&订阅！

bug菌¹·2025-03-11 15:19

一文理清：阿里系数据中台-数据治理工具集(傻傻也能分清楚）

阿里云提供的大数据与数据分析产品种类较多，各产品的定位和核心功能有所不同。

Debug_Snail·2025-03-11 14:09

探索未知，从脚下开始：国内高清卫星影像地图全攻略

星图云开放平台：专业级的高清视界超高清分辨率：星图云开放平台拥有全国0.8米分辨率的影像地图，部分重点城市更是达到了惊人的0.5米，这种精度让我们仿佛能看清地面上的每一块砖石。

夜雨声超烦·2025-03-11 13:04

使用LangChain访问个人数据第一章-简介

需要学习提示词工程的同学请看面向开发者的提示词工程需要学习ChatGPT的同学请查看搭建基于ChatGPT的问答系统需要学习LangChian开发的同学请查看基于LangChain开发应用程序正文在大数据时代

明志刘明·2025-03-11 12:24

云存储技术的神器--rclone

Rclone，即"rsyncforcloudstorage"，是一款专业的用于管理和同步云储存数据的开源命令行工具。通过该工具，用户不仅可以在各类型云盘之间拷

llody_55·2025-03-11 11:51

Manus演示案例：英伟达财务估值建模解锁投资洞察的深度剖析

Manus凭借专业的财务估值建模能力，深入挖掘英伟达的潜在价值，为投资者提供了一份极具价值的分析报告。Manus在接到为英伟达进行详细财务估值建模的任务后，迅速且有条不紊地开展工作。

ylfhpy·2025-03-11 10:42

新的一年，新的感受和成长

其实我在大学刚开始的时候因为体验过社会的毒打，所以发誓一定要好好学习，而我也的确好好学习了，在学校2年时间里，大部分时间都是在图书馆里面看书，主要为啥天天在图书馆很大原因是本专业的课程自己不是非常喜欢（

是小天才哦·2025-03-11 09:36

“大语言模型微调”（Fine-tuning）与“大语言模型应用”（LLM Applications）之间的区别

目标：使模型更好地适应特定任务（如医疗问答、法律咨询、编程辅助等），提高准确性和专业性。

AI Echoes·2025-03-11 09:06

ArcGIS 工程文件到 ArcGIS Pro 的无缝迁移：详细步骤与技巧

在地理信息系统（GIS）领域，ArcGIS长期以来都是专业人士进行地图制作、空间分析和数据管理的重要工具。

白水先森·2025-03-11 09:33

架构生命周期（演进史）技术应服务于业务

饿了么（工商局）4、大数据+云计算5、AI未来以来时代…第一时期单一应用架构allinone。所有的模块和代码都在一起。技术也不分层。(2000年左右)网站的初

Limbo1213·2025-03-11 09:59

MySQL-关于如何保存“大数据”

作者：赵师的工作日（赵明中）现役OracleACE、MySQL8.0ocp、TiDBPCTA\PCTP、ElasticsearchCertifiedEngineer微信号：mzzhao23微信公众号：赵师的工作日墨天轮社区：赵师的工作日CSND：赵师的工作日数据库的种类有很多，各类数据库充分发挥各自的优势从而保证业务稳定运行，mysql轻量级、关键数据，redis缓存、快，ES搜索，Mongodb

赵师的工作日·2025-03-11 08:55

PIPCA个人信息保护合规审计师认证介绍！

个人信息保护合规审计师"（PersonalInformationProtectionComplianceAuditor-CCRC）是中国网络安全审查认证中心与市场监管大数据中心为深入贯彻实施《

熙丫 13381482386·2025-03-11 07:50

Apache Doris 实现毫秒级查询响应

1.引言1.1数据分析的重要性随着大数据时代的到来，企业对实时数据分析的需求日益增长。快速、准确地获取数据洞察成为企业在竞争中脱颖而出的关键。

随风九天·2025-03-11 07:19

公司共享网盘怎么建立

尤其要强调选择合适的网盘服务这一点，如果企业规模较大，且对协同办公的需求强烈，就需要考虑支持多人实时协作、稳定高效的专业网盘。

·2025-03-11 06:12

推荐频道

大数据专业