DataWhale天池数据挖掘

Datawhale Al夏令营第三期 Al+物质科学task2学习笔记

AI4Science是一个较为普遍的术语，通常指的是人工智能在科学研究和技术发展中的应用。它涵盖了各种科学领域，包括物理学、化学、生物学、地球科学等。虽然没有一个特定的确切历史，但可以描述人工智能在科学研究中的一些早期里程碑和发展趋势。早期发展知识表示与推理：20世纪70年代末和80年代初，早期的AI研究开始探索如何用机器推理来模拟人类的思维过程。这种推理方式被应用于物理学、化学等学科中，尝试解决
weixin_75033552·2024-09-01 17:56

Datawhale x李宏毅苹果书入门 AI夏令营 task03学习笔记

实践方法论训练模型的基本步骤：（如下图所示）用训练集训练模型，（最终得出来最优的参数集）将最优参数集带入模型中，用测试集测试模型（人话：将最优参数集带入原来函数中，用测试集的x值计算y值）（这个过程就叫做预测）训练过程中遇到问题的解决攻略（看下图的方式是“前序遍历”）modelbias出现问题的情况：1.看trainingdata的loss，太大；2.当你模型无论如何调整参数，训练的结果还是不够好
weixin_75033552·2024-09-01 17:22

【古武未来小说】一石五鸟066即将启程

按理说，等到开春之后再去天池也不迟，可是徐潇飞想起盲眼师傅跟他说的一段故事。盲眼师傅说，只有在天山千里冰封、天池冰冻三尺的时候，才能找到皓天剑的踪迹。那皓天剑乃天外飞星所铸，自带强大的能量。
灵硒·2024-09-01 03:38

Datawhale X 李宏毅苹果书 AI夏令营 进阶 Task2-自适应学习率+分类

目录1.自适应学习率1.1AdaGrad1.2RMSProp1.3Adam1.4学习率调度1.5优化策略的总结2.分类2.1分类与回归的关系2.2带有softmax的分类2.3分类损失1.自适应学习率传统的梯度下降方法在优化过程中常常面临学习率设置不当的问题。固定的学习率在训练初期可能过大，导致模型训练不稳定，而在后期可能过小，导致训练速度缓慢。为了克服这些问题，自适应学习率方法应运而生。这些方法
沙雕是沙雕是沙雕·2024-08-31 22:57

古文：逍遥游节选 庄子

南冥者，天池也。《齐谐》者，志怪者也。《谐》之言曰：“鹏之徙于南冥也，水击三千里，抟tuán扶摇而上者九万里，去以六月息者也。”野马也，尘埃也，生物之以息相吹也。天之苍苍，其正色邪？其远而无所至极邪？
东十八月·2024-08-31 07:42

Datawhale AI夏令营

一、分析CV识别任务任务分析自己研究生期间做过的大多是无监督任务，监督任务做的很少。比如，之前用过yolov5做过滑动验证码的识别，给滑动验证码的缺口打标签是项耗时费力的工作。本次任务相同，是给非机动车、机动车打标签。frame_id：不同帧event_id：一帧里面出现的不同车辆idbbox：车辆位置模型输入输出猜测1）如果识别车辆很容易，那么输入原始音频x，标出每帧的位置作为输出，记为y。放进
于弋gg·2024-08-31 04:21

Langchain-Chatchat本地部署的解决方案

曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。
herosunly·2024-08-30 22:13

【Python进阶】Python爬虫的基本概念，带你进一步了解Python爬虫！！！

网络爬虫在信息获取、数据挖掘、搜索引擎构建等方面发挥着关键作用。二、工作流程确定目标网站：明确需要抓取数据的网站和具体页面。分析网页结构：使用开发者工具查看网页的HTML结构，确定数据存放的位置。
程序员陌陌·2024-08-30 21:05

python 数据挖掘与机器学习

近年来，Python编程语言受到越来越多科研人员的喜爱，在多个编程语言排行榜中持续夺冠。同时，伴随着深度学习的快速发展，人工智能技术在各个领域中的应用越来越广泛。机器学习是人工智能的基础，因此，掌握常用机器学习算法的工作原理，并能够熟练运用Python建立实际的机器学习模型，是开展人工智能相关研究的前提和基础。模块一：课前准备Python编程基础与进阶Python编程入门1、Python环境搭建（
科研的力量·2024-08-30 19:57

[Datawhale#1] cv task1 - Datawhale AI夏令营

from=Datawhale可以用3090，速度很快！
cinboxer·2024-08-30 15:29

[Datawhale AI 夏令营][第五期]智能识别系统-Task1笔记

任务是发布在MARS大数据服务平台的2024“大运河杯”数据开发应用创新大赛——城市治理。了解智慧河长的朋友可能听说类似的项目，它们可以识别河道中出现的一些问题。这次的智能识别系统与前者有相似的地方，但这个系统将聚焦城市违规行为的智能检测，通过研究开发高效可靠的计算机视觉算法，提升违规行为检测识别的准确度，降低对大量人工的依赖，提升检测效果和效率，从而推动城市治理向更高效、更智能、更文明的方向发展
keexh·2024-08-30 15:58

DataWhale AI夏令营 2024大运河杯-数据开发应用创新赛-task2

DataWhaleAI夏令营2024大运河杯-数据开发应用创新赛YOLO(YouOnlyLookOnce)上分心得分享YOLO(YouOnlyLookOnce)YOLO算的上是近几年最火的目标检测模型了
十分钟ll·2024-08-30 15:57

模糊C-means算法原理及Python实践

Python实践一、目标函数二、隶属度矩阵和聚类中心三、算法步骤四、终止条件五、算法特点六、Python实现模糊C-means（FuzzyC-Means，简称FCM）算法是一种经典的模糊聚类算法，它在数据分析、数据挖掘
doublexiao79·2024-08-30 11:32

Datawhale X 李宏毅苹果书AI夏令营深度学习详解进阶Task02

目录一、自适应学习率二、学习率调度三、优化总结四、分类五、问题与解答本文了解到梯度下降是深度学习中最为基础的优化算法，其核心思想是沿着损失函数的梯度方向更新模型参数，以最小化损失值。公式如下：θt+1←θt-η*∇θL(θt)其中，θ表示模型参数，η表示学习率，L表示损失函数，∇θL表示损失函数关于参数的梯度。然而，梯度下降在复杂误差表面上存在局限性。例如，在鞍点或局部最小值处，梯度接近零，导致模
z are·2024-08-30 08:14

【闲谈】聚类算法的金融数据挖掘应用及实践

目录一数据挖掘技术在金融领域应用概述二聚类算法介绍三聚类算法在金融数据挖掘中的应用1.聚类算法在客户细分领域的应用2.聚类算法在客户信用评估领域的应用四算法实践与个人体会1.聚类算法的实践——以k-means
爱写代码的July·2024-08-30 05:51

python爬虫：通过DBLP数据库获取数据挖掘顶会KDD在2023年的论文收录和相关作者信息

Task1读取网站主页整个页面的html内容并解码为文本串（可使用urllib.request的相应方法），将其以UTF-8编码格式写入page.txt文件。Code1importurllib.requestwithurllib.request.urlopen('https://dblp.dagstuhl.de/db/conf/kdd/kdd2023.html')asresponse:html=r
千里澄江·2024-08-30 01:58

池州区域业绩提升整改报告

今天池州区域业绩不理想，没有达成目标销量，今天给几个门店作了五一统筹安排，活动落地、问题反馈及节前准备工作。长江路厅也给所有人员作了节前动员，包括政策解读、货源整合、转推，移动业务关联。
7b2f6ac84381·2024-08-29 19:12

程序猿成长之路之数据挖掘篇——Kmeans聚类算法

Kmeans是一种可以将一个数据集按照距离（相似度）划分成不同类别的算法，它无需借助外部标记，因此也是一种无监督学习算法。什么是聚类用官方的话说聚类就是将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。用自己的话说聚类是根据不同样本数据间的相似度进行种类划分的算法。这种划分可以基于我们的业务需求或建模需求来完成，也可以单纯地帮助我们探索数据的自然结构和分布。什么是K-means聚类用官方的
zygswo·2024-08-29 18:39

2020-03-24

Datawhale零基础入门数据挖掘-Task2数据分析【代码摘要】赛题：零基础入门数据挖掘-二手车交易价格预测地址：[https://tianchi.aliyun.com/competition/entrance
黑乎乎AI·2024-08-29 09:10

Datawhale AI夏令营-task03

DatawhaleAI夏令营-task03笔记来源：DatawhaleAI夏令营数据增强基础数据增强是一种在机器学习和深度学习领域常用的技术，尤其是在处理图像和视频数据时。
ghost_him·2024-08-29 06:50

【大模型】FAISS向量数据库记录：从基础搭建到实战操作

FAISS实战安装faiss加载Embedding模型创建FAISS数据库搜索FAISS数据删除FAISS数据保存、加载FAISS索引总结本人数据分析领域的从业者，拥有专业背景和能力，可以为您的数据采集、数据挖掘和数据分析需求提供支持
爱python的王三金·2024-08-29 03:55

【学习笔记】第三章深度学习基础——Datawhale X李宏毅苹果书 AI夏令营

局部极小值与鞍点梯度为0的点我们统称为临界点，包括局部极小值、鞍点等局部极小值和鞍点的梯度都为0，那如何判断呢？先请出我们损失函数：L(θ)，θ是模型中的参数的取值，是一个向量。由于网络的复杂性，我们无法直接写出损失函数，不过我们可以写出损失函数的近似取值。根据宋浩老师所讲的大学一年级高等数学的知识，我们可以通过三阶泰勒展开对损失函数在θ附近的取值进行近似：其中，θ是模型中的参数的取值，θ’是在θ
MoyiTech·2024-08-28 11:38

Datawhale X 李宏毅苹果书 AI夏令营｜机器学习基础之案例学习

机器学习（MachineLearning,ML）：机器具有学习的能力，即让机器具备找一个函数的能力函数不同，机器学习的类别不同：回归（regression）：找到的函数的输出是一个数值或标量（scalar）。例如：机器学习预测某一个时间段内的PM2.5，机器要找到一个函数f，输入是跟PM2.5有关的的指数，输出是明天中午的PM2.5的值。分类（classification）：让机器做选择题，先准备
Monyan·2024-08-28 11:06

数据挖掘工具（RapidMiner）

RapidMiner是一款功能强大的数据挖掘和机器学习工具，它提供了从数据预处理、建模、评估到部署的一系列流程。
deepdata_cn·2024-08-27 13:20

基于华为昇腾910B和LLaMA Factory多卡微调的实战教程

曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。
herosunly·2024-08-27 10:57

局部极小值与鞍点 Datawhale X 李宏毅苹果书 AI夏令营

1，为什么随着参数的不断更新，损失无法降低？当参数对损失微分为零的时候，梯度下降就不能再更新参数了，训练就停下来了，损失不再下降了，此时梯度接近于0。我们把梯度为零的点统称为临界点（criticalpoint）。损失没有办法再下降，也许是因为收敛在了临界点，临界点包括局部极小值，局部极大值和鞍点（梯度是零且区别于局部极小值和局部极大值（localmaximum）的点）2，如果一个点的梯度接近于0，
千740·2024-08-27 09:23

大数据挖掘的步骤是怎样的呢？

大数据挖掘是一个复杂而系统的过程，它利用计算机科学的方法和技术，对大量、多样化、高速增长的数据进行深入挖掘，以发现有价值的信息和知识。
weixin_54503231·2024-08-27 08:46

Datawhale X 李宏毅苹果书 AI夏令营Day03

一、打卡Datawhale二、学习1、文档学习图中展示了一个函数集合，其中包含多个未知参数的函数fθ1(x)和fθ2(x)。通过将这些函数组合起来，可以得到一个更大的函数集合。
xuanEpiphany29·2024-08-27 06:34

2023-06-24（摘记）

一、荷花定律(坚持很重要)一个池塘里的荷花每一天都会以前一天的两倍数量在开放，如果到第30天，荷花开满了整个池塘，那么请问在第几天池塘中的荷花开了一半?你也许会说是第15天，错，答案是第29天。
天马行空_806f·2024-08-27 05:54

python——数据分析

数据分析的三个主要方面在数据分析中，整个流程通常可以分为三个大的方面：数据采集、数据挖掘和数据可视化。每个方面包含了不同的步骤，涉及到不同的Python库和工具。
pumpkin84514·2024-08-26 23:55

我的程序员读书路

你必须知道的.NET(第二版)编码:隐匿在计算机软硬件背后的语言代码整洁之道重构:改善既有代码的设计数据结构与算法：C#语言描述程序员修炼之道:从小工到专家编程珠玑(第2版)深入理解计算机系统(第2版)数据挖掘概念与技术
weixin_30416497·2024-08-26 12:02

深度探索：决策树算法在机器学习中的原理与应用

引言与背景决策树算法作为机器学习领域的一种基础而重要的监督学习方法，以其直观易理解、解释性强以及能处理离散和连续属性等特点，在数据挖掘、数据分析和预测建模等诸多领域占有不可或缺的地位。
生瓜蛋子·2024-08-25 23:42

《Hadoop核心技术》作者翟周伟 ：我与Hadoop的不解之缘

翟周伟，资深Hadoop技术专家，专注于Hadoop&大数据，数据挖掘，自然语言处理领域，目前就职于百度。2009年，利用Hadoop构建商业级大数据系统，是国内该领域最早的一批人之一；负责设
xytlwp·2024-08-25 21:27

数据分析方法概括

数据分析大致可以分为描述性分析、诊断性分析、预测性分析，同样的数据分析的方法论也大致分为：描述性数据分析、数理统计分析、数据挖掘分析。
wujingwin·2024-08-25 15:52

赠书 | 李航老师的蓝皮书

研究方向包括信息检索，自然语言处理，统计机器学习，及数据挖掘。曾出版过三部学术专著
茗创科技·2024-08-25 10:04

数据仓库系列总结

数据仓库中的数据一般不再进行更新或删除操作，而是存储历史数据，以便进行历史趋势分析或进行数据挖掘。数据仓库的设计和实施需要考虑数据的安全性、完整性和准确性，以及如何
大数据00·2024-08-25 10:17

Python标准库、第三方库和外部工具汇总

这些库可用于文件读写、网络抓取和解析、数据连接、数清洗转换、数据计算和统计分析、图像和视频处理、音频处理、数据挖掘/机器学习/深度学习、数据可视化、交互学习和集成开发以及其他Python协同数据工作工具
weixin_30650039·2024-08-25 06:25

[转载] 140种Python标准库、第三方库和外部工具

参考链接：Python|使用openpyxl在Excel文件中进行算术运算这些库可用于文件读写、网络抓取和解析、数据连接、数清洗转换、数据计算和统计分析、图像和视频处理、音频处理、数据挖掘/机器学习/深度学习
ey_snail·2024-08-25 06:24

Datawhale X 李宏毅苹果书 AI夏令营Day02

一、打卡Datawhale进入打卡链接选择相对应的任务打卡就可以了二、学习1、线性模型依旧是b站上老师的授课视频，我找到知乎上解释很好的文章，分享一下机器学习（一）线性模型————理论篇线性回归模型、对数几率模型
xuanEpiphany29·2024-08-24 19:21

【Pyspark-驯化】一文搞懂Pyspark修改hive表描述以及增加列使用技巧

相关内容文档获取微信公众号相关内容视频讲解B站博主简介：AI算法驯化师，混迹多个大厂搜索、推荐、广告、数据分析、数据挖掘岗位个人申请专利40+，熟练掌握机器、深度学习等各类应用算法原理和项目实战经验。
算法驯化师·2024-08-24 13:43

【Pyspark-驯化】一文搞懂Pyspark写入hive表的使用技巧

相关内容文档获取微信公众号相关内容视频讲解B站博主简介：AI算法驯化师，混迹多个大厂搜索、推荐、广告、数据分析、数据挖掘岗位个人申请专利40+，熟练掌握机器、深度学习等各类应用算法原理和项目实战经验。
算法驯化师·2024-08-24 13:43

【Pyspark-驯化】一文搞懂Pyspark中对json数据处理使用技巧：get_json_object

相关内容文档获取微信公众号相关内容视频讲解B站博主简介：AI算法驯化师，混迹多个大厂搜索、推荐、广告、数据分析、数据挖掘岗位个人申请专利40+，熟练掌握机器、深度学习等各类应用算法原理和项
算法驯化师·2024-08-24 13:43

【Pyspark-驯化】一文搞懂Pyspark中dropDuplicates和sort的使用技巧

相关内容文档获取微信公众号相关内容视频讲解B站博主简介：AI算法驯化师，混迹多个大厂搜索、推荐、广告、数据分析、数据挖掘岗位个人申请专利40+，熟练掌握机器、深度学习等各类应用算法原理和项目实战经验
算法驯化师·2024-08-24 13:13

【Pyspark-驯化】一文搞懂Pyspark中的withColumnRenamed函数的使用技巧

相关内容文档获取微信公众号相关内容视频讲解B站博主简介：AI算法驯化师，混迹多个大厂搜索、推荐、广告、数据分析、数据挖掘岗位个人申请专利40+，熟练掌握机器、深度学习等各类应用算法原理和项目实战经
算法驯化师·2024-08-24 13:13

Scikit-learn：用于数据挖掘和数据分析的简单而有效的工具，建立在 NumPy, SciPy 和 Matplotlib 上。

引言Scikit-learn是一个基于Python的机器学习库，旨在为数据挖掘和数据分析提供简单而有效的工具。
Jr_l·2024-08-24 02:28

关于移动互联数据挖掘在智慧旅游方面的应用

I、基于移动互联网是随时随地可以操作的，可以掌握的客观数据类型包括常规互联网很难掌握的位置（GPS）、图片(Camera)、有效操作周期(Activity)等，移动互联网的数据挖掘研究方向的具体课题方向包括
VLIAN_·2024-08-24 00:21

python库——sklearn的关键组件和参数设置

sklearn提供了简单而有效的工具来进行数据挖掘和数据分析。我们将介绍sklearn中一些关键组件的参数设置。模
零 度°·2024-08-23 21:26

FastAPI部署大模型Llama 3.1

项目地址：self-llm/models/Llama3_1/01-Llama3_1-8B-InstructFastApi部署调用.mdatmaster·datawhalechina/self-llm(github.com
记得叫Mark周更·2024-08-23 14:12

Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task03笔记

如何学习八图ai模型kolors1,Kolors是由快手公司开源的第三代文本到图像生成模型，基于StableDiffusion框架开发。它支持中英文输入，特别在中文内容的理解和生成上表现出色。2,深度学习基础：熟悉神经网络、卷积神经网络（CNN）、Transformer等深度学习模型的基本原理。自然语言处理（NLP）：了解文本编码、语言模型等NLP技术，因为Kolors在生成图像时需要理解并处理输
汪贤阳·2024-08-22 11:30

【机器学习】探索数据矿藏：Python中的AI大模型与数据挖掘创新实践

前言：探索数据矿藏1.数据获取与预处理：AI大模型的燃料1.1数据获取：多样性与规模并重1.2数据清洗与处理：提升数据质量1.3特征工程：挖掘数据的深层次信息1.4自动化特征工程：AI与特征工程的结合2.模型训练与优化：构建智能的大脑2.1模型选择：大模型的基础构建2.2模型训练：从数据到智能的转化2.3⚙️模型优化：精益求精的智能化提升2.4模型解释与可视化：揭示黑盒的内部3实际应用案例：AI大
C_GUIQU·2024-08-22 10:55
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他