datawhale

DataWhale Pandas数据分析 Task01：预备知识

文章目录练习Ex1：利用列表推导式写矩阵乘法Ex2：更新矩阵Ex3：卡方统计量Ex4：改进矩阵计算的性能Ex5：连续整数的最大长度心得体会练习Ex1：利用列表推导式写矩阵乘法一般的矩阵乘法根据公式，可以由三重循环写出：In[138]:M1=np.random.rand(2,3)In[139]:M2=np.random.rand(3,4)In[140]:res=np.empty((M1.shape[

Shawnxs_·2024-09-08 22:39

Day04-线性代数-特征值和特征向量(DataWhale)

七、特征值和特征向量AAA是n阶方阵，数λ\lambdaλ，若存在非零列向量α⃗\vec{\alpha}α，使得Aα⃗=λα⃗A\vec{\alpha}=\lambda\vec{\alpha}Aα=λα，则λ\lambdaλ是特征值，α⃗\vec{\alpha}α是对应于λ\lambdaλ的特征向量λ\lambdaλ可以为0α⃗\vec{\alpha}α不能为0⃗\vec{0}0，且为列向量Aα⃗

liying_tt·2024-09-08 08:03

用Transformer实现OCR字符识别！

Datawhale干货作者：安晟、袁明坤，Datawhale成员在CV领域中，transformer除了分类还能做什么？

Datawhale·2024-09-06 01:52

Datawhale X 李宏毅苹果书 AI夏令营入门 Task3-机器学习框架

目录实践方法论1.模型偏差2.优化问题3.过拟合4.交叉验证5.不匹配实践方法论1.模型偏差当一个模型由于其结构的限制，无法捕捉数据中的真实关系时，即使找到了最优的参数，模型的损失依然较高。可以通过增加输入特征、使用更复杂的模型结构或采用深度学习等方法来新设计模型，增加模型的灵活性。2.优化问题在机器学习模型训练过程中，即使模型的灵活性足够高，也可能由于优化算法的问题导致训练数据的损失不够低。为了

沙雕是沙雕是沙雕·2024-09-04 19:08

Datawhale X 李宏毅苹果书 AI夏令营-深度学入门task2：线性模型

1.线性模型把输入的特征x乘上一个权重，再加上一个偏置就得到预测的结果，这样的模型称为线性模型（linearmodel）2.分段线性模型线性模型也许过于简单，x1跟y可能中间有比较复杂的关系。线性模型有很大的限制，只能表示一条直线，这一种来自于模型的限制称为模型的偏差，无法模拟真实的情况。所以需要写一个更复杂的、更有灵活性的、有未知参数的函数。分段线性曲线（piecewiselinearcurve

m0_53743757·2024-09-04 11:43

聪明办法学Python第1节：启航

作业链接：https://hydro.ac/d/datawhale_p2s/user/53146第一行代码print("聪明办法学Python")#输出：聪明办法学PythonHelloWorld的由来

m0_53743757·2024-09-04 11:13

Datawhale七月组队——动手学数据分析 Task01 数据加载及探索性数据分析

第一次的打卡内容包括数据的载入及初步观察、Pandas基础以及探索性数据分析三个部分。1.数据的载入及初步观察这一节内容中，刚开始绝对路径的设置中"/"和'''\'用错了，直接拿文件夹的路径粘贴过来，导致运行失败使用pandas中read_csv读取csv数据时，对于有表头的数据，将header设置为空(None)，会报错：pandas_libs\parsers.pyxinpandas._libs

郁浓·2024-09-03 15:36

Datawhale AI夏令营第五期CV Task01

、体验baseline1.下载baseline相关文件aptinstallgit-lfsgitlfsinstallgitclonehttps://www.modelscope.cn/datasets/Datawhale

m0_60530253·2024-09-02 07:21

Datawhale AI夏令营第五期CV Task02

一、yolo模型介绍YOLO，全称为"YouOnlyLookOnce"，是一种流行的实时目标检测算法，由JosephRedmon等人于2015年首次提出。YOLO的核心思想是将目标检测任务视为一个单一的回归问题，直接从图像像素到边界框坐标和类别概率的映射。这种设计使得YOLO能够以非常快的速度进行目标检测，同时保持较高的精度，特别适合需要实时处理的应用场景。YOLO算法的一个显著特点是它在单个网络

m0_60530253·2024-09-02 07:21

Datawhale AI夏令营第五期魔搭-CV竞赛方向Task1笔记--初识yolo模型

DatawhaleAI夏令营第五期魔搭-CV竞赛方向Task1笔记–初识yolo模型作者:福州大学我是一个温柔的刀客2024/8/221.赛题简介本赛题最终目标是开发一套智能识别系统，能够自动检测和分类城市管理中的违规行为

切记我是一个温柔的刀客·2024-09-02 07:19

Datawhale Al夏令营第三期 Al+物质科学task2学习笔记

AI4Science是一个较为普遍的术语，通常指的是人工智能在科学研究和技术发展中的应用。它涵盖了各种科学领域，包括物理学、化学、生物学、地球科学等。虽然没有一个特定的确切历史，但可以描述人工智能在科学研究中的一些早期里程碑和发展趋势。早期发展知识表示与推理：20世纪70年代末和80年代初，早期的AI研究开始探索如何用机器推理来模拟人类的思维过程。这种推理方式被应用于物理学、化学等学科中，尝试解决

weixin_75033552·2024-09-01 17:56

Datawhale x李宏毅苹果书入门 AI夏令营 task03学习笔记

实践方法论训练模型的基本步骤：（如下图所示）用训练集训练模型，（最终得出来最优的参数集）将最优参数集带入模型中，用测试集测试模型（人话：将最优参数集带入原来函数中，用测试集的x值计算y值）（这个过程就叫做预测）训练过程中遇到问题的解决攻略（看下图的方式是“前序遍历”）modelbias出现问题的情况：1.看trainingdata的loss，太大；2.当你模型无论如何调整参数，训练的结果还是不够好

weixin_75033552·2024-09-01 17:22

Datawhale X 李宏毅苹果书 AI夏令营进阶 Task2-自适应学习率+分类

目录1.自适应学习率1.1AdaGrad1.2RMSProp1.3Adam1.4学习率调度1.5优化策略的总结2.分类2.1分类与回归的关系2.2带有softmax的分类2.3分类损失1.自适应学习率传统的梯度下降方法在优化过程中常常面临学习率设置不当的问题。固定的学习率在训练初期可能过大，导致模型训练不稳定，而在后期可能过小，导致训练速度缓慢。为了克服这些问题，自适应学习率方法应运而生。这些方法

沙雕是沙雕是沙雕·2024-08-31 22:57

Datawhale AI夏令营

一、分析CV识别任务任务分析自己研究生期间做过的大多是无监督任务，监督任务做的很少。比如，之前用过yolov5做过滑动验证码的识别，给滑动验证码的缺口打标签是项耗时费力的工作。本次任务相同，是给非机动车、机动车打标签。frame_id：不同帧event_id：一帧里面出现的不同车辆idbbox：车辆位置模型输入输出猜测1）如果识别车辆很容易，那么输入原始音频x，标出每帧的位置作为输出，记为y。放进

于弋gg·2024-08-31 04:21

[Datawhale#1] cv task1 - Datawhale AI夏令营

from=Datawhale可以用3090，速度很快！

cinboxer·2024-08-30 15:29

[Datawhale AI 夏令营][第五期]智能识别系统-Task1笔记

任务是发布在MARS大数据服务平台的2024“大运河杯”数据开发应用创新大赛——城市治理。了解智慧河长的朋友可能听说类似的项目，它们可以识别河道中出现的一些问题。这次的智能识别系统与前者有相似的地方，但这个系统将聚焦城市违规行为的智能检测，通过研究开发高效可靠的计算机视觉算法，提升违规行为检测识别的准确度，降低对大量人工的依赖，提升检测效果和效率，从而推动城市治理向更高效、更智能、更文明的方向发展

keexh·2024-08-30 15:58

DataWhale AI夏令营 2024大运河杯-数据开发应用创新赛-task2

DataWhaleAI夏令营2024大运河杯-数据开发应用创新赛YOLO(YouOnlyLookOnce)上分心得分享YOLO(YouOnlyLookOnce)YOLO算的上是近几年最火的目标检测模型了

十分钟ll·2024-08-30 15:57

Datawhale X 李宏毅苹果书AI夏令营深度学习详解进阶Task02

目录一、自适应学习率二、学习率调度三、优化总结四、分类五、问题与解答本文了解到梯度下降是深度学习中最为基础的优化算法，其核心思想是沿着损失函数的梯度方向更新模型参数，以最小化损失值。公式如下：θt+1←θt-η*∇θL(θt)其中，θ表示模型参数，η表示学习率，L表示损失函数，∇θL表示损失函数关于参数的梯度。然而，梯度下降在复杂误差表面上存在局限性。例如，在鞍点或局部最小值处，梯度接近零，导致模

z are·2024-08-30 08:14

2020-03-24

Datawhale零基础入门数据挖掘-Task2数据分析【代码摘要】赛题：零基础入门数据挖掘-二手车交易价格预测地址：[https://tianchi.aliyun.com/competition/entrance

黑乎乎AI·2024-08-29 09:10

Datawhale AI夏令营-task03

DatawhaleAI夏令营-task03笔记来源：DatawhaleAI夏令营数据增强基础数据增强是一种在机器学习和深度学习领域常用的技术，尤其是在处理图像和视频数据时。

ghost_him·2024-08-29 06:50

【学习笔记】第三章深度学习基础——Datawhale X李宏毅苹果书 AI夏令营

局部极小值与鞍点梯度为0的点我们统称为临界点，包括局部极小值、鞍点等局部极小值和鞍点的梯度都为0，那如何判断呢？先请出我们损失函数：L(θ)，θ是模型中的参数的取值，是一个向量。由于网络的复杂性，我们无法直接写出损失函数，不过我们可以写出损失函数的近似取值。根据宋浩老师所讲的大学一年级高等数学的知识，我们可以通过三阶泰勒展开对损失函数在θ附近的取值进行近似：其中，θ是模型中的参数的取值，θ’是在θ

MoyiTech·2024-08-28 11:38

Datawhale X 李宏毅苹果书 AI夏令营｜机器学习基础之案例学习

机器学习（MachineLearning,ML）：机器具有学习的能力，即让机器具备找一个函数的能力函数不同，机器学习的类别不同：回归（regression）：找到的函数的输出是一个数值或标量（scalar）。例如：机器学习预测某一个时间段内的PM2.5，机器要找到一个函数f，输入是跟PM2.5有关的的指数，输出是明天中午的PM2.5的值。分类（classification）：让机器做选择题，先准备

Monyan·2024-08-28 11:06

局部极小值与鞍点 Datawhale X 李宏毅苹果书 AI夏令营

1，为什么随着参数的不断更新，损失无法降低？当参数对损失微分为零的时候，梯度下降就不能再更新参数了，训练就停下来了，损失不再下降了，此时梯度接近于0。我们把梯度为零的点统称为临界点（criticalpoint）。损失没有办法再下降，也许是因为收敛在了临界点，临界点包括局部极小值，局部极大值和鞍点（梯度是零且区别于局部极小值和局部极大值（localmaximum）的点）2，如果一个点的梯度接近于0，

千740·2024-08-27 09:23

Datawhale X 李宏毅苹果书 AI夏令营Day03

一、打卡Datawhale二、学习1、文档学习图中展示了一个函数集合，其中包含多个未知参数的函数fθ1(x)和fθ2(x)。通过将这些函数组合起来，可以得到一个更大的函数集合。

xuanEpiphany29·2024-08-27 06:34

Datawhale X 李宏毅苹果书 AI夏令营Day02

一、打卡Datawhale进入打卡链接选择相对应的任务打卡就可以了二、学习1、线性模型依旧是b站上老师的授课视频，我找到知乎上解释很好的文章，分享一下机器学习（一）线性模型————理论篇线性回归模型、对数几率模型

xuanEpiphany29·2024-08-24 19:21

FastAPI部署大模型Llama 3.1

项目地址：self-llm/models/Llama3_1/01-Llama3_1-8B-InstructFastApi部署调用.mdatmaster·datawhalechina/self-llm(github.com

记得叫Mark周更·2024-08-23 14:12

Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task03笔记

如何学习八图ai模型kolors1,Kolors是由快手公司开源的第三代文本到图像生成模型，基于StableDiffusion框架开发。它支持中英文输入，特别在中文内容的理解和生成上表现出色。2,深度学习基础：熟悉神经网络、卷积神经网络（CNN）、Transformer等深度学习模型的基本原理。自然语言处理（NLP）：了解文本编码、语言模型等NLP技术，因为Kolors在生成图像时需要理解并处理输

汪贤阳·2024-08-22 11:30

(202402)多智能体MetaGPT入门2：AI Agent知识体系结构

早上真好·2024-03-02 03:14

深入浅出PyTorch学习网址

https://datawhalechina.github.io/thorough-pytorch/

今天是学习的一天·2024-02-23 19:38

Datawhale用免费GPU线上跑AI项目实践课程任务一学习笔记。部署ChatGLM3-6B模型

前言本篇文章为学习笔记，流程参照Datawhale用免费GPU线上跑AI项目实践课程任务，个人写此文章为记录学习历程和补充概念，并希望为后续的学习者开辟道路，没有侵权的意思。

Hoogte-oile·2024-02-20 21:04

Datawhale零基础入门金融风控Task1 赛题理解

Task1赛题理解Tip:本次新人赛是Datawhale与天池联合发起的0基础入门系列赛事第四场——零基础入门金融风控之贷款违约预测挑战赛。

一缕阳光lyz·2024-02-20 13:47

【强化学习】day1 强化学习基础、马尔可夫决策过程、表格型方法

写在最前：参加DataWhale十一月组队学习记录【教程地址】https://github.com/datawhalechina/joyrl-bookhttps://datawhalechina.github.io

宏辉·2024-02-20 09:32

李宏毅机器学习笔记 2.回归

最近在跟着Datawhale组队学习打卡，学习李宏毅的机器学习/深度学习的课程。

Simone Zeng·2024-02-12 11:34

Djiango后端开发入门学习之task04--serializers（序列化器，准确说是数据类型转化器）及应用

本文根据datawhale开源Djiango后端开发入门(https://github.com/Joe-2002/sweettalk-django4.2）Task04：序列化器serializers

小鳄鱼队里一只小蜗牛·2024-02-12 10:30

datawhale 10月学习——树模型与集成学习：梯度提升树

前情回顾决策树CART树的实现集成模式两种并行集成的树模型AdaBoost结论速递本次学习了GBDT，首先了解了用于回归的GBDT，将损失使用梯度下降法进行减小；用于分类的GBDT要稍微复杂一些，需要对分类损失进行定义。学习了助教提供的代码。目录前情回顾结论速递1用于回归的GBDT1.1原理1.2代码实现2用于分类的GBDT2.1原理2.2代码实现1用于回归的GBDT1.1原理与AdaBoost类

SheltonXiao·2024-02-11 14:39

Datawhale组队学习GNN-task04 数据完整存储与内存的数据集类+节点预测与边预测任务实践

DataWhale开源学习资料:https://github.com/datawhalechina/team-learning-nlp/tree/master/GNN6.1数据完全存于内存的数据集类学习在

79f3c66c2fe7·2024-02-10 15:12

DataWhale概率统计4——方差分析

6.方差分析6.1概要方差分析（Analysisofvariance,ANOVA）主要研究分类变量作为自变量时，对因变量的影响是否显著，用于两个及两个以上样本均属差别的显著性检验。由于各种因素的影响，研究所得的数据呈现波动状。造成波动的原因可分为两类，一是不可控的随机因素，另一是研究中施加对结果形成影响的可控因素6.2原理方差分析（ANOVA）又称“变异数分析”或“F检验”，是由罗纳德·费雪爵士发

摩卡Daddy·2024-02-09 11:33

Task 4：建模调参

Datawhale零基础入门数据挖掘-Task4建模调参四、建模与调参4.1学习目标了解常用的机器学习模型，并掌握机器学习模型的建模与调参流程完成相应学习打卡任务4.2内容介绍线性回归模型：线性回归对于特征的要求

我是曾阿牛·2024-02-08 13:36

Task02 消息传递图神经网络

参考链接：https://github.com/datawhalechina/team-learning-nlp/blob/master/GNN/Markdown%E7%89%88%E6%9C%AC/4

沫2021·2024-02-08 11:04

Docker学习四：Docker 网络

前言本次学习来自于datawhale组队学习：教程地址为：https://github.com/datawhalechina/team-learning-program/tree/master/Docker

浩波的笔记·2024-02-07 12:49

第五章变形

参考：https://datawhalechina.github.io/joyful-pandas/build/html/%E7%9B%AE%E5%BD%95/ch5.html#id2一、长宽表的变形（

叶小刀_b59f·2024-02-07 00:47

5分钟搞定几百张表格转换，Python办公自动化就是这么6！

最近在参加学习开源社区Datawhale组织的"21天精通Pandas学习"，其中有个练习题做起来很有意思，练习题本身很简单，我在这里稍微引申一下让大家体会一下Pandas处理数据功能的灵活和强大。

木头里有虫911·2024-02-04 17:33

NLP实践-文本分类（docker踩坑记录）

前述本篇记录来源于datawhale组织的组队学习活动，内容是中文预测训练模型泛化能力挑战赛，该比赛采用docker镜像的提交方式，提交打包好的代码镜像来运行得出预测结果。

撸猫摸鱼选手·2024-02-03 19:58

Datawhale 组队学习之大模型理论基础Task9 大模型法律

第11章大模型法律11.1简介此内容主要探讨法律对大型语言模型的开发和部署有何规定。先看看法律的特点：法律就如我国法律教材所给出的一样，有依靠国家强制力保证实施的特点。而法律在大模型中也是不可或缺的，缺少了法律的约束，一切数据的使用、用户隐私的保护等等都会出现各种各样的问题。11.2版权法大型语言模型或任何机器学习模型，都是基于数据进行训练的，而这些数据是人类劳动的结果（例如，作者，程序员，摄影师

AIzealot无·2024-02-02 16:33

【NLP】Datawhale-AI夏令营Day6-7打卡：大模型

⭐️最近参加了由Datawhale主办、联合科大讯飞、阿里云天池发起的AI夏令营（第三期），我参与了深度学习实践-NLP（自然语言处理）方向⭐️作为NLP小白，我希望能通过本次夏令营的学习实践，对NLP

不雨_亦潇潇·2024-02-02 07:51

GPT-4竟被CS学生「开源」了！

Datawhale开源开源：免费GPT-4，编辑：新智元【导读】最近，一名来自欧洲的计算机系学生竟然把GPT-4给「开源」了。

Datawhale·2024-02-02 06:01

ChatGLM-6B：自定义数据集和模型微调！

Datawhale干货开源：ChatGLM，编辑：Coggle数据科学ChatGLM-6B介绍ChatGLM-6B是一个开源的、支持中英双语问答的对话语言模型，基于GeneralLanguageModel

Datawhale·2024-02-01 20:52

OfficeAutomation——Task04 Python 操作 PDF

OfficeAutomation——Task04Python操作PDFlinks：https://github.com/datawhalechina/team-learning-program/blob

棠糖䉎·2024-02-01 16:08

datawhale 大模型学习第六章-大模型之Adaptation

一、为什么需要Adaptation1.1简介从语言模型的训练方式来说，例如GPT-3，训练语料通常是海量的，各种领域的，不针对任何特定任务的文本信息。这种方法的优点在于模型具有广泛的适用性，但也带来了一些挑战。比如下游任务的多样性，不同的下游任务与语言模型的预训练方式可以非常不同：格式不同：BERT训练过程中使用了MASK标记，而许多下游任务可能并不使用这些标记。自然语言推理任务（NLI）涉及两个

fan_fan_feng·2024-01-29 18:25

datawhale 大模型学习第八章-分布式训练

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单卡模式已经无法满足超大模型进行训练的要求。因此，需要基于单机多卡、甚至是多机多卡进行分布式大模型的训练。对于训练任务来说，“大”体现在两个方面：模型大和训练数据大。模型大:需要把模型拆成多个部分，并分布到不同的机器上训练，即模型并行；训练数据大:需要把数据拆成多个小的数据片，并分布到不同的机器