大数据学习中踩过的坑

交叉熵损失函数（Cross-Entropy Loss）

原理交叉熵损失函数是深度学习中分类问题常用的损失函数，特别适用于多分类问题。它通过度量预测分布与真实分布之间的差异，来衡量模型输出的准确性。
我叫罗泽南·2025-01-20 12:01

minio免费文件管理器（windows版本），若依RuoYi-Vue-Plus框架使用，有需要的可以下载，因为官网下载特别慢

MinIO设计为高性能、安全且易于使用，适合存储大量的非结构化数据，如图片、文档、视频以及大数据分析中的日志文件等。
程序员WANG·2025-01-20 10:43

分布式系统理论基础二-CAP

GitHub：https://github.com/wangzhiwubigdata/God-Of-BigData关注公众号,内推,面试,资源下载,关注更多大数据技术~大数据成神之路~预计更新500+篇文章
王知无(import_bigdata)·2025-01-20 10:41

数学：机器学习的理论基石

数学在机器学习中起着至关重要的作用，它提供了一种数学模型来描述数据和模式，以及一种数学方法来优化模型。数学在机器学习中的应用非常广泛，涵盖了线性代数、概率论、统计学、微积分、优化等多个领域。
每天五分钟玩转人工智能·2025-01-20 09:03

大数据湖仓一体架构未来思考

湖仓一体架构是最近1-2年时间开始频繁出现在数据开发领域的新名词。也是各大公司竞相投入的对象。网络上关于湖仓一体架构的实践文章很多，看得也很眼花缭乱。我们今天站在一个「接地气」的角度，来说一说湖仓一体架构中未来需要关注的核心框架有哪些。文章内容也没有经过仔细的斟酌，完全是一点不成熟的想法，而且站的角度不是高屋建瓴的而是从下往上的。一个基本判断是湖仓一体架构在形式上不止一种大家可以从网上看到很多关于
王知无(import_bigdata)·2025-01-20 09:27

大数据是什么？用浅显的语言揭开神秘面纱

大数据是什么？用浅显的语言揭开神秘面纱在我们生活的时代，“大数据”已经从一个技术术语，成为了街头巷尾时常听到的词汇。然而，究竟什么是大数据？它离我们有多远？我们该如何理解这个复杂又常用的概念？
Echo_Wish·2025-01-20 08:23

在 Python 中使用 Ollama API

无论你是想进行简单的聊天对话、使用流式响应处理大数据、还是希望在本地进行模型的创建、复制、删除等操作，本文都可以为你提供指导。
一路追寻·2025-01-20 06:05

AI与API的融合：构建智能互联技术世界的基石

一、AI与API融合的背景随着大数据、云计算、物联网等技术的快速发展，人工
IT数据V+I7809804594·2025-01-20 05:55

Hadoop 和 Spark 的内存管理机制分析

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-20 03:27

2025最新大数据毕业设计选题汇总：创新课题推荐

学长给大家整理了大数据专业最新精选选题，如遇选题困难或选题有任何疑问，都可以问学长哦(见文末)!对毕设有任何疑问都可以问学长哦!更多选题指导:最新最全计算机专业毕设选题精选推荐汇总
HaiLang_IT·2025-01-20 02:51

qwenvl 代码中的attention pool 注意力池如何理解，attention pool注意力池是什么？

huggingface的代码的时候，发现代码里有一个Resampler以及attn_pool，这和之前理解的连接池线程池表示资源复用的意思不太一样，查了一下：注意这里的pool和线程池连接池里面的pool不一样:深度学习中的池化
OpenSani·2025-01-20 01:13

PL/SQL语言的文件操作

PL/SQL语言的文件操作引言PL/SQL（ProceduralLanguage/SQL）是Oracle数据库提供的一种过程化编程语言，它结合了SQL的强大数据处理能力和过程性编程的灵活性。
云端 架构师·2025-01-20 01:41

机器学习特征重要性之feature_importances_属性与permutation_importance方法

一、feature_importances_属性在机器学习中，分类和回归算法的feature_importances_属性用于衡量每个特征对模型预测的重要性。
一叶_障目·2025-01-19 23:21

大数据学习（五）：如何使用 Livy提交spark批量任务--转载

Livy是一个开源的REST接口，用于与Spark进行交互，它同时支持提交执行代码段和完整的程序。Livy封装了spark-submit并支持远端执行。启动服务器执行以下命令，启动livy服务器。./bin/livy-server这里假设spark使用yarn模式，所以所有文件路径都默认位于HDFS中。如果是本地开发模式的话，直接使用本地文件即可（注意必须配置livy.conf文件，设置livy.
zuoseve01·2025-01-19 22:15

全局变量的优缺点

全局变量的优缺点1.写在前面在上一文中，我谈到了在完成项目中将需要的变量分为了“全局变量”和“局部变量”，但是在后来的学习中发现，虽然全局变量有一些优点，但同时也伴随着许多的缺点，于是在此做出一些小结，
时光札记z·2025-01-19 22:11

Spark Livy 指南及livy部署访问实践

背景：ApacheSpark是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark
house.zhang·2025-01-19 22:40

大数据学习（四）：Livy的安装配置及pyspark的会话执行

一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。它提供了以下这些基本功能：提交Scala、Python或是R代码片段到远端的Spark集群上执行；提交Java、Scala、Python所编写的Spark作业到远端的Spark集群上执行；提交批处理应用在集群中运行。从Livy所提供的基本功能可以看到Livy涵盖了原生Spar
猪笨是念来过倒·2025-01-19 21:08

单片机静态数码管显示

在嵌入式系统学习中，51单片机是经典入门选择，而静态数码管是常用显示设备。本文深入探讨51单片机与静态数码管的结合应用，带你从原理到代码实现，全方位掌握这一技术。
Uitwaaien54·2025-01-19 21:33

网络爬虫——分布式爬虫架构

分布式爬虫在现代大数据采集中是不可或缺的一部分。随着互联网信息量的爆炸性增长，单机爬虫在性能、效率和稳定性上都面临巨大的挑战。
好看资源分享·2025-01-19 18:40

Python-玩转数据-数据分析之分析思维

二、大数据思维自从几年前大数据开始兴起，大数据思维已经逐渐被更动的人接受，随着其进一步发展，产生了巨大的生产效果。
人猿宇宙·2025-01-19 17:33

什么是AI显卡，英伟达与AMD显卡的全面对比

在人工智能领域，尤其是深度学习中，训练和推理任务需要处理大量的矩阵运算，这正是GPU擅长的领域。AI显卡通过高度并行的架构，可以显著提升训练速度和模型性能，同时降低功耗和延迟。
wit_@·2025-01-19 16:53

python 特征选择方法_【来点干货】机器学习中常用的特征选择方法及非常详细的Python实例...

它是机器学习中非常重要的一步并在很大程度上可以提高模型预测精度。这里我总结了一些机器学习中常见的比较有用的特征选择方法并附上相关python实现code。希望可以给大家一些启发。
Blair Long·2025-01-19 15:14

火星数据电竞数据，世界杯数据接口api，足球数据资料库

电竞数据包含的内容有很多，比如说基础数据（实时比分，关键事件，赛后数据等等），统计数据（阵容分析，选手分析，地图分析等），还有资料库数据（赛事战队，赛程赛果，赛况榜单等等），众多的数据组合而成形成如今的电竞大数据
Tina0898·2025-01-19 14:04

构建高效GPU算力平台：挑战、策略与未来展望

引言随着深度学习、高性能计算和大数据分析等领域的快速发展，GPU（图形处理器）因其强大的并行计算能力和浮点运算速度而成为首选的计算平台。
Mr' 郑·2025-01-19 11:43

详解深度学习中的Dropout

Dropout是一种在神经网络训练中常用的正则化技术，其操作是在每次训练迭代中随机“丢弃”一部分神经元（即将其输出置为零）。以下是对这一操作的详细解释：一、基本思想Dropout的基本思想是减少神经元之间的复杂共适应关系，迫使网络在训练过程中不依赖于特定的神经元子集。这有助于增加模型的泛化能力，防止过拟合。二、具体实现随机选择：在每次训练迭代中，以一定的概率p（通常设定为0.2到0.5之间）随机选
nk妹妹·2025-01-19 11:43

Databricks:打造数据国度的“金砖四国”

Databricks，一个并不算熟悉的名字，是大数据国度的后起之星。成立不够一年，但却阵容强大，创始人都是开源圈子里面的重要级人物，值得关注。
weixin_33832340·2025-01-19 11:40

一文详解大厂数据中台架构

在大数据发展的黄金期，几乎所有的高科技企业都在思考一个问题：海量数据作为大多数企业发展不可避免的一个趋势之后，企业该怎么去应用这部分数据资产，会对其商业产生什么影响，如何使数据对企业产生正面的推动而不是成为企业的负担
isNotNullX·2025-01-19 10:06

大数据公司 Databricks 详解

Databricks是一家在大数据和人工智能领域具有重要影响力的美国企业软件公司，以下是关于它的详细技术解析：1.起源与背景：Databricks成立于2013年，由来自加州大学伯克利分校AMP实验室的
Bj陈默·2025-01-19 10:00

OSPF（2）：基础配置、拓展配置

引言在前面的学习中我们知道了ospf的基础理论知识：ospf（1），那么这一节我们就来继续学习ospf的配置吧，而在本节我们的学习将基于以下这张图来讲解配置命令：R1、R2、R3都有一个环回接口，分别为
小度爱学习·2025-01-19 09:28

hive小文件合并机制_hive小文件的问题弊端以及合并

，包括位置大小分块信息等，都保存在NN内存中，在小文件数较多的情况下，会造成占用大量内存空间，导致NN性能下降；2、在读取小文件多的目录时，MR会产生更多map数，造成GC频繁，浪费集群资源；3、现在大数据平台文件总数超过
做生活的创作者·2025-01-19 08:49

数仓建模（五）选择数仓技术栈：Hive & ClickHouse & 其它

在大数据技术的飞速发展下，数据仓库（DataWarehouse，简称数仓）成为企业处理和分析海量数据的核心工具。
昊昊该干饭了·2025-01-19 08:45

Hive 数据类型全解析：大数据开发者的实用指南

在大数据处理领域，Hive作为一款基于Hadoop的数据仓库工具，被广泛应用于数据的存储、查询和分析。
大鳥·2025-01-19 08:42

机器学习——认识有监督学习与无监督学习

目录有监督学习与无监督学习有监督学习无监督学习监督学习与无监督学习的区别有监督学习与无监督学习有监督学习和无监督学习是机器学习中的两种主要学习方式，它们的主要区别在于数据的标注情况和学习的目标。
伊一大数据&人工智能学习日志·2025-01-19 08:41

2024年网络安全最全CTF —— 网络安全大赛_ctf网络安全大赛

前言随着大数据、人工智能的发展，人们步入了新的时代，逐渐走上科技的巅峰。
网安墨雨·2025-01-19 07:35

基于Python大数据的王者荣耀战队数据分析及可视化系统

专栏推荐：前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码精品专栏：Java精选实战项目源码、Python精选实战项目源码、大数据精选实战项目源码系统展示
计算机学姐·2025-01-19 07:03

Apache Hive--排序函数解析

在大数据处理与分析中，ApacheHive是一个至关重要的数据仓库工具。其丰富的函数库为数据处理提供了诸多便利，排序函数便是其中一类非常实用的工具。
大鳥·2025-01-19 06:31

基于微信小程序的健身房预约管理系统

专栏推荐：前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码精品专栏：Java精选实战项目源码、Python精选实战项目源码、大数据精选实战项目源码系统展示基于微信小程序
计算机学姐·2025-01-19 06:31

Java 大视界 -- Java 大数据文本分析与自然语言处理：从文本挖掘到智能对话（十）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。一、本博客的精华专栏：
青云交·2025-01-19 05:50

Java 大视界 -- Java 大数据物联网应用：数据处理与设备管理（八）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。一、本博客的精华专栏：
青云交·2025-01-19 05:20

Java 大视界 -- Java 大数据分布式缓存：提升数据访问性能（五）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:50

Java 大视界 -- Java 微服务架构在大数据应用中的实践：服务拆分与数据交互（一）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:20

Java 大视界 -- Java 驱动大数据流处理：Storm 与 Flink 入门（六）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:50

大数据新视界 -- Hive 数据仓库设计的优化原则（2 - 16 - 4）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:49

大数据新视界 -- 大数据大厂之 Impala 性能优化：基于数据特征的存储格式选择（上）（19/30）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:19

大数据新视界 --大数据大厂之 Hudi 数据湖框架性能提升：高效处理大数据变更

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:49

【深度学习】AMP（Automatic Mixed Precision，自动混合精度）

@[toc]AMP（AutomaticMixedPrecision，自动混合精度）AMP在深度学习中，AMP（AutomaticMixedPrecision，自动混合精度）是一种通过混合使用单精度（FP32
shanks66·2025-01-19 04:38

【Delete 删除数据语法合集】.NET开源ORM框架 SqlSugar 系列

根据主键数组四、根据表达式五、联表删除六、无实体删除七、全局过滤器八、逻辑删除8.1逻辑删除方式1：8.2逻辑删除方式2：九、初始化表十、导航删除十一、常用案例11.1除最新N条清空11.2N到N条删除11.3大数据删
Microi风闲·2025-01-19 04:27

【大数据】Flink CDC 实时同步mysql数据

目录一、前言二、FlinkCDC介绍2.1什么是FlinkCDC2.2FlinkCDC特点2.3FlinkCDC核心工作原理2.4FlinkCDC使用场景三、常用的数据同步方案对比3.1数据同步概述3.1.1数据同步来源3.2常用的数据同步方案汇总3.3为什么推荐FlinkCDC3.4FlinkCDC适用范围3.5FlinkCDC不同版本对比3.5.1FlinkCDC1.x3.5.2FlinkCD
小码农叔叔·2025-01-19 02:16

使用 Hadoop 实现大数据的高效存储与查询

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 23:24

《守护数据隐私的堡垒：构建基于差分隐私的MySQL匿名化处理系统》

在大数据时代，个人隐私保护的重要性日益凸显。
墨夶·2025-01-18 22:06
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他