大数据——机器学习第11页

Hive实用小文件合并方案

#Hive常见故障#大数据#生产环境真实案例#Hive#离线数据库#整理#经验总结说明：此篇总结hive常见故障案例处理方案结合自身经历总结不易+关注+收藏欢迎留言Hive实用小文件合并方案请往下翻！！

500佰·2025-03-12 12:45

大数据面试之路 (二) hive小文件合并优化方法

大量小文件容易在文件存储端造成瓶颈，影响处理效率。对此，您可以通过合并Map和Reduce的结果文件来处理。一、合并小文件的常见场景写入时产生小文件：Reduce任务过多或数据量过小，导致每个任务输出一个小文件。动态分区插入：分区字段基数高，每个分区生成少量数据，形成大量小文件。频繁追加数据：通过INSERTINTO多次追加数据，导致文件碎片化。二、合并小文件的核心方法方法1：调整Reduce任务

愿与狸花过一生·2025-03-12 12:11

机器学习背后的数学芝士

在当今快速发展的科技领域，机器学习作为人工智能的核心技术之一，正在深刻地改变我们的生活和工作方式。本文将了解一下机器学习背后的关键数学芝士。

小技工丨·2025-03-12 11:36

第八课：Scrapy框架入门：工业级爬虫开发

在当今大数据时代，数据抓取已成为信息获取的重要手段。Scrapy作为一个基于Python的开源网络爬虫框架，凭借其高效、灵活的特性，在工业级爬虫开发中占据重要地位。

deming_su·2025-03-12 11:05

flink（十一）：Table&Sql实现窗口水印计算

文章目录分享说明实现讲解代码总结分享大数据博客列表说明本博客每周五更新一次。

羽落风起·2025-03-12 11:34

FileNotFoundError: [WinError 2] 系统找不到指定的文件。: ‘UIAutomationCore.dll‘解决方案

爱编程的喵喵·2025-03-12 10:25

Python训练的机器学习模型【保存】和【加载】的方法？

一.为什么要保存训练好的模型由于传统训练机器学习模型，需要耗费大量的人力和资源。因此，将训练好的模型保存成为一件特别重要的事情。

福葫芦·2025-03-12 09:22

【愚公系列】2023年10月 WPF控件专题 Path控件详解

《博客内容》：.NET、Java、Python、Go、Node、前端、IOS、Android、鸿蒙、Linux、物联网、网络安全、大数据、人

愚公搬代码·2025-03-12 09:18

【漫话机器学习系列】129.主成分分析（Principal Component Analysis，PCA）

主成分分析（PCA）：降维与特征提取的强大工具1.什么是主成分分析（PCA）？主成分分析（PrincipalComponentAnalysis，PCA）是一种常见的数据降维技术，主要用于将高维数据投影到低维空间，同时尽可能保留数据的主要信息。PCA通过线性变换，将原始特征变量转换为一组新的变量，这些新变量被称为主成分（PrincipalComponents）。在这张图中，我们可以看到PCA的核心概

IT古董·2025-03-12 09:17

保姆级别&使用Python实现“机器学习“案例

从安装到运行手把手教学，保证不迷路～零基础友好版教程第一步：安装必备工具包别慌！这里有两种安装方式，选你顺手的方式1：用代码自动安装（推荐新手）直接在你的Python代码最前面加这几行，运行时会自动安装：#把这坨代码贴在文件最前面！importsysimportsubprocess#需要装的包列表packages=['numpy','pandas','matplotlib','scikit-lea

dami_king·2025-03-12 08:45

51-53 CVPR 2024 | DriveWorld：通过自动驾驶世界模型进行 4D 预训练场景理解（含模型数据流梳理）

DriveWorld在UniAD的基础上又有所成长，提升了自动驾驶目标检测、目标追踪、3D占用、运动预测及规划的性能，后期扩大数据集和调整骨干网络大小应该会

深圳季连AIgraphX·2025-03-12 08:43

智能制造中的工业大数据分析实践

智能制造中的工业大数据分析实践关键词:智能制造，工业大数据，数据分析，机器学习，深度学习，预测性维护，质量控制，生产优化文章目录智能制造中的工业大数据分析实践1.背景介绍1.1问题的由来1.2研究现状1.3

AI天才研究院·2025-03-12 08:12

人工智能机器学习算法分类全解析

目录一、引言二、机器学习算法分类概述（一）基于学习方式的分类1.监督学习（SupervisedLearning）2.无监督学习（UnsupervisedLearning）3.强化学习（ReinforcementLearning

power-辰南·2025-03-12 07:08

Java 大视界 -- 基于 Java 的大数据可视化交互设计与实现技巧（105）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视

青云交·2025-03-12 07:07

Java 大视界 -- Java 大数据中的时间序列数据异常检测算法对比与实践（103）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视

青云交·2025-03-12 07:07

实施一套先进的智能摄像头服务系统。

一、项目背景随着物联网、人工智能和大数据技术的飞速发展，智能摄像头已成为家庭、企业以及公共安全领域的重要设备。其便捷、高效、智能的特点，使得市场需求日益增长。

合方圆～小文·2025-03-12 07:04

00_01 python机器学习_环境搭建

机器学习环境的搭建Windows+Python3Python3下载地址python环境设置安装尽量安装在自定义目录下,方便查找,其他选项都用默认值就行.安装成功后,cmd里输入python校验.下载用于机器学习的虚拟环境的包

辛　欣·2025-03-12 07:03

机器学习入门指南：从 TensorFlow 到 PyTorch

机器学习入门指南：从TensorFlow到PyTorch机器学习（MachineLearning）是人工智能的核心领域之一，近年来在图像识别、自然语言处理、推荐系统等领域取得了巨大进展。

6v6-博客·2025-03-12 06:23

记一次多线程导入问题排查过程

记一次多线程导入问题排查过程1.需求2.遇到问题3.排查解决问题1.需求大数据量的核对：现在有1000个excel文件，每个excel文件内有21个sheet页，现在要对这些数据进行核对，需要先将这些数据导入到库中

程序辕日记·2025-03-12 04:07

【大数据】大数据处理-Lambda架构-Kappa架构

大数据处理-Lambda架构-Kappa架构elasticsearch-headElasticsearch-sqlclientNLPchina/elasticsearch-sql:UseSQLtoqueryElasticsearch360

weixin_33884611·2025-03-12 04:37

2024年大数据技术4：Lambda和Kappa架构区别_lambda架构和kappa架构区别，2024年最新你花了多久弄明白架构设计

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

2401_84182146·2025-03-12 03:32

大数据技术4：Lambda和Kappa架构区别_lambda架构和kappa架构区别(3)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！Lambda架构总共由三层系统组成：批处理层（Batc

2301_76348014·2025-03-12 03:32

人工智能学习

//-----初探-----//人工智能三大核心要素数据/算法/算力人工智能是通过机器来模拟人类认知能力的技术机器学习/神经网络/深度学习(多层隐藏层神经网络)tf1.14python3.5keras2.1.5

星月IWJ·2025-03-12 03:59

向量空间与范数

前言本文隶属于专栏《机器学习数学通关指南》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

Shockang·2025-03-12 03:56

互信息详解

前言本文隶属于专栏《机器学习数学通关指南》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

Shockang·2025-03-12 03:56

QP 问题（Quadratic Programming, 二次规划）

QP问题是线性规划（LP，LinearProgramming）的扩展形式，广泛应用于最优控制、机器学习、金融优化、信号处理等领域。一、QP问题的数学定义标准形式的QP问题如下：min⁡x12xTQx

BineHello·2025-03-12 02:22

机器学习中的谱方法（Spectral Methods）与核方法（Kernel Methods）

文章目录机器学习中的谱方法（SpectralMethods）与核方法（KernelMethods）1.谱方法（SpectralMethods）核心思想关键技术示例：谱聚类2.核方法（KernelMethods

Cachel wood·2025-03-12 01:44

mySQL和Hive的区别

Mysql将数据存储在设备或本地系统中；2、数据更新：Hive不支持数据的改写和添加，是在加载的时候就已经确定好了；数据库可以CRUD；3、索引：Hive无索引，每次扫描所有数据，底层是MR，并行计算，适用于大数据量

iijik55·2025-03-12 00:41

基于Pytorch深度学习——Softmax回归

并且由于李沐老师的代码能力很强，以及视频中讲解代码的部分较少，所以这里将代码进行尽量逐行详细解释并且由于pytorch的语法有些小伙伴可能并不熟悉，所以我们会采用逐行解释+小实验的方式来给大家解释代码大家都知道二分类问题我们在机器学习里面使用到的是逻辑回归这个算法

EchoToMe·2025-03-12 00:08

Python 在深度学习中的应用

深度学习是机器学习的一个分支，它通过构建和训练深层神经网络来实现对数据的学习和理解。Python作为一种简洁、易读、功能强大的编程语言，在深度学习领域得到了广泛的应用。

2501_90435375·2025-03-12 00:38

基于PyTorch的深度学习——机器学习1

监督学习是最常见的一种机器学习类型，其任务的特点就是给定学习目标，这个学习目标又称标签、标注或实际值等，整个学习过程就是围绕如何使预测与目标更接近而来的。

Wis4e·2025-03-12 00:31

考研复习之记忆方法

对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

herosunly·2025-03-11 23:51

OPPO机器学习算法岗（AI智能体）内推

专注于以端设备为中心的AI智能体研究与应用，研究方向包括但不限于智能体与多智能体框架、大模型推理与规划、大模型工具使用等。1、负责大模型驱动的AI智能体框架的实现、评估与优化，并参与构建产品原型；2、设计微调方案、适配算法和调优工程方案，结合智能体应用，实现最佳效果与性能；3、跟踪与研究AI智能体相关前沿技术，并针对大模型推理与规划、工具使用、结构化输出等提出创新性方案。推荐码：X3448036

飞300·2025-03-11 23:19

【时间序列聚类】从数据中发现隐藏的模式

在大数据时代，时间序列数据无处不在。无论是股票市场的价格波动、天气的变化趋势，还是用户的点击行为，这些数据都随着时间推移而产生。然而，面对海量的时间序列数据，我们如何从中提取有价值的信息？

T-I-M·2025-03-11 22:45

模型优化前沿趋势与行业应用实战

随着自动化机器学习（AutoML）与边缘计算技术的深度融合，模型开发范式正从人工调参转向自动化、自适应优化。

智能计算研究中心·2025-03-11 22:12

AIGC视频生成模型：ByteDance的PixelDance模型

好评笔记·2025-03-11 21:09

1.动手学习深度学习课程安排及深度学习数学基础

李沐目录目标内容将学到什么1.N维数组样例2.访问2维数组元素3.数据操作4.线性代数5.矩阵计算6.自动求导目标介绍深度学习景点和最新模型LeNetAlexNetVGGResNetLSTMBERT…机器学习基础损失函数

Unknown To Known·2025-03-11 21:09

Python机器学习实战：使用Flask构建机器学习API

Python机器学习实战：使用Flask构建机器学习API作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来在数据科学和机器学习领域

AI天才研究院·2025-03-11 20:03

【TVM教程】为 Mobile GPU 自动调优卷积网络

ApacheTVM是一个深度的深度学习编译框架，适用于CPU、GPU和各种机器学习加速芯片。

·2025-03-11 19:35

家居巨头的觉醒，永洪科技为林氏家居开启一站式智慧决策

永洪科技与林氏家居的合作，是共同开发了一个企业级的一站式大数据分析平台。在合作多年的积累下，已逐步成为家居行业数字化转型的代表性案例。

永洪科技·2025-03-11 19:53

Hive在大数据集群下的部署

hive安装1）把apache-hive-3.1.3-bin.tar.gz上传到Linux的/opt/software目录下2）解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下面tar-zxvf/opt/software/apache-hive-3.1.3-bin.tar.gz-C/opt/module/3）修改apache-hive-3.1.3-bin

正在绘制中·2025-03-11 18:47

搭建分布式Hive集群

title:搭建分布式Hive集群date:2024-11-2923:39:00categories:-服务器tags:-Hive-大数据搭建分布式Hive集群本次实验环境：Centos7-2009、Hadoop

逸曦玥泱·2025-03-11 18:17

XGBoost常见面试题（五）——模型对比

XGBoost与GBDT的区别机器学习算法中GBDT和XGBOOST的区别有哪些？

月亮月亮要去太阳·2025-03-11 18:15

斐波拉契数列

大数据版：斐波拉契数列-大数据版输入描述一个正整数n（1≤n≤104）。输出描述斐波那契数列的第n项F(n)。由于结果可能很大，因此将结果对10007取模后输出。样例1输入1输出1解释边界定义：F

RichardK.·2025-03-11 17:10

大数据技术生态圈：Hadoop、Hive、Spark的区别和关系

大数据技术生态圈：Hadoop、Hive、Spark的区别和关系在大数据领域中，Hadoop、Hive和Spark是三个常用的开源技术，它们在大数据处理和分析方面发挥着重要作用。

雨中徜徉的思绪漫溢·2025-03-11 17:07

flink+kafka实现流数据处理学习

1、概念介绍flink：是一个分布式、高可用、高可靠的大数据处理引擎，提供了一种高效、可靠、可扩展的方式来处理和分析实时数据。

上海研博数据·2025-03-11 17:06

Python从0到100（七十六）：计算机视觉-直方图和自适应直方图均衡化

想做这件事情很久了，这次我更新了自己所写过的所有博客，汇集成了Python从0到100，共一百节课，帮助大家一个月时间里从零基础到学习Python基础语法、Python爬虫、Web开发、计算机视觉、机器学习

是Dream呀·2025-03-11 17:35

大数据面试之路 (一) 数据倾斜

记录大数据面试历程数据倾斜大数据岗位，数据倾斜面试必问的一个问题。一、数据倾斜的表现与原因表现某个或某几个Task执行时间过长，其他Task快速完成。

愿与狸花过一生·2025-03-11 17:34

Zookeeper与Kafka学习笔记

同步等元数据采用层次化数据模型（Znode树结构），每个节点可存储<1MB数据典型应用场景：HadoopNameNode高可用HBase元数据管理Kafka集群选举与状态管理2.设计限制内存型存储，不适合大数据量场景数据变更通过版本号

上海研博数据·2025-03-11 15:51

机器学习之线性代数

文章目录一、引言：线性代数为何是AI的基石二、向量：AI世界的基本构建块（一）向量的定义（二）向量基础操作（三）重要概念三、矩阵：AI数据的强大容器（一）矩阵的定义（二）矩阵运算（三）矩阵特性（四）矩阵分解（五）Python示例（使用NumPy库）四、线性代数在AI中的应用（一）数据表示（二）降维：PCA（三）线性回归（四）计算机视觉（五）自然语言处理一、引言：线性代数为何是AI的基石在人工智能领

珠峰日记·2025-03-11 15:20

推荐频道

大数据——机器学习