赛题理解赛题名称：零基础入门NLP之新闻文本分类赛题目标：通过这道赛题可以引导大家走入自然语言处理的世界，带大家接触NLP的预处理、模型构建和模型训练等知识点。赛题任务：赛题以自然语言处理为背景，要求选手对新闻文本进行分类，这是一个典型的字符识别问题。赛题链接：https://tianchi.aliyun.com/competition/entrance/531810/introduction赛题

文章目录10.1面试题10.1.1hive外部表和内部表的区别10.1.2简述对Hive桶的理解？10.1.3HBase和Hive的区别？10.1.4简述Spark宽窄依赖10.1.5Hadoop和Spark的相同点和不同点10.1.6Spark为什么比MapReduce快？10.1.7说说你对Hadoop生态的认识10.2实战10.2.1数据集10.2.2文本权重计算10.2.3输出格式10.2

比赛链接：讯飞开放平台来源：DataWhaleAI夏令营3（NLP）Roberta-base（BERT的改进）①Roberta在预训练的阶段中没有对下一句话进行预测（NSP）②采用了动态掩码③使用字符级和词级别表征的混合文本编码

我的第一个AI竞赛是在Datawhale夏令营的帮助下参加的。一周左右的夏令营，让我从环境都配不好的小白到对pytorch基本入门。

一、DefaultRouter是DjangoRESTframework中提供的一个路由器类，用于自动生成URL路由。路由器是将URL与视图函数或视图集关联起来的一种机制。DjangoRESTframework的路由器通过简单的配置可以自动生成标准的URL路由，从而减少了手动编写URL路由的工作量。1.使用方法导入DefaultRouter类,实例化一个router,然后使用router.regis

Outline背景很多概念会随着时间漂移，时序图谱动机使用手头微小的数据推导未见的数据很多知识会随着时间发生变化，建模时间漂移模型问题定义：时序知识图谱，四元组表示(e,r,e,t)学习目标框架，基于手头的数据训练模型，然后解决未来的数据。时间导致的分布不一样，导致存在一个Gap时序的编码利用旧的知识学习新的知识实验

机器学习模型优化基础机器学习模型优化基础一、训练均方误差与测试均方误差二、偏差和方差的分解权衡三、测试误差估计与模型的特征提取四、压缩估计（正则化）岭回归Lasso五、降维六、对模型超参数进行调参参数与超参数网格搜索GridSearchCV()：随机搜索RandomizedSearchCV()：机器学习模型优化基础1、训练均方误差与测试均方误差2、偏差和方差的分解权衡3、测试误差估计与模型的特征提

Datawhale提供的课程链接：https://github.com/datawhalechina/team-learning-nlp/blob/master/GNN一、数据完全存于内存的数据集类对于占用内存有限的数据集

打卡资料《深入浅出pytorch第六章》：https://datawhalechina.github.io/thorough-pytorch/%E7%AC%AC%E5%85%AD%E7%AB%A01.自定义损失函数以函数方式

【科研论文配图绘制】task1掌握科研绘图的基本知识写在最前8月份Datawhale组队学习，写下该博客记录学习内容1.科研论文配图的分类与构成2.科研论文配图的格式和尺寸3.科研论文配图中的字体和字号设置

【Django】Task1安装python环境及运行项目写在最前8月份Datawhale组队学习，在这个群除我佬的时代，写一下blog记录学习过程。

DataWhale机器学习夏令营第二期学习记录一(2023.08.18)1.赛题理解2.缺失值分析3.简单特征提取4.数据可视化离散变量离散变量分布分析DataWhale机器学习夏令营第三期——用户新增预测挑战赛学习记录一

文章目录简介任务1：跑通Baseline实操并回答下面问题：如果将submit.csv提交到讯飞比赛页面，会有多少的分数？代码中如何对udmp进行了人工的onehot？任务2.1：数据分析与可视化编写代码回答下面的问题：**问题一：字段x1至x8为用户相关的属性，为匿名处理字段。添加代码对这些数据字段的取值分析，那些字段为数值类型？那些字段为类别类型？****问题二：对于数值类型的字段，考虑绘制在

Datawhale计算机视觉基础-图像处理（下）-Task04HOG特征描述算子-行人检测地址：https://github.com/datawhalechina/team-learning/blob/

一、QuerySetQuerySet是Django中的一个查询集合，它是由Model.objects方法返回的，并且可以用于生成数据库中所有满足一定条件的对象的列表。QuerySet在Django中表示从数据库中获取的对象集合,它是一个可迭代的、类似列表的对象集合。主要特点包括:-从Model.objects获得,表示数据库中所有该Model的对象集合。-可以添加过滤条件来限制查询结果,如.fil

1.Admin管理员的使用先放一张成功的截图，记得自己创建时的账号和密码呀，如果忘了的话可以也是再重新创建管理员账号和密码的，这个页面接下来就不用操作了,就要开始重要的post步骤。二、外键的使用我认为比较难的（很不好操作）是这一步，因为之前没有接触过这一领域，但是感觉还是很有趣的，要使用post和get执行命令，但是还没有成功，可能是自己某一部分的参数没有修改，自己是严格按照教程来的，可能命名的

Task01一.创建虚拟环境python-mvenvdjango_learn（django_learn那里是自己定的环境名字）之前一直用conda管理虚拟环境，没咋用过virtualenv，然后我的powershell之前也设置了默认启动了base环境，然后输入activate命令之后好像没啥反应，试了下piplist，输出一堆东西，看来是没成功切换环境，去问了下Claude，得先condadea

上传模板输入sudoservicesupervisorstart开启supervisor，输入ip访问：

vscode使用小技巧–多光标同时编辑多处按住Alt，用鼠标左键点击，可以得到多个光标。按住Ctrl+Alt+↓/↑，可以得到一列上多个光标。选中一段文字，按住Shift+Alt+I，可以在每行末尾得到光标。按住Shift+Alt，使用鼠标拖动可以得到一列多个光标。鼠标单击某一个变量，按下F2可以批量修改代码中所有相同名字的变量，按下Ctrl+F2或Ctrl+Shift+L则可以批量修改与当前字符

Task02首先启动虚拟环境（复习一下之前的）先退出conda的，condadeactivate然后cd到我的venv下面，然后cd到scripts，再activate（powershell里面）创建admin管理员首先cd到项目路径下，我的是firstProj，输入下面这个命令python[manage.py](http://manage.py/)createsuperuser#（创建超级管理员

数据可视化的图表种类繁多，各式各样，因此我们需要掌握如何在特定场景下使用特定的图表。数据可视化是为业务目的服务的，好的可视化图表可以起到清晰准确反映业务结果的目的，在选择使用何种图表时，通常我们需要首先考虑你想通过可视化阐述什么样的故事，受众是谁，以及打算如何分析结果。关于如何利用数据创造出吸引人的、信息量大的、有说服力的故事，进而达到有效沟通的目的，可以进一步阅读这本书《用数据讲故事》4学习。本

Datawhale零基础入门数据挖掘-Task5模型融合融合是提分和提升模型鲁棒性的一种重要方法，主要有：1）结果层面的融合，这种是最常见的融合方法，其可行的融合方法也有很多，比如根据结果的得分进行加权融合

本系列会持续更新，主要参考datawhale的开源课程。

数组中的第K个最大元素classSolution{public:intfindKthLargest(vector&nums,intk){if(nums.empty()){return0;}sort(nums.begin(),nums.end());intn=(nums.size()-k);returnnums[n];}};存在重复元素classSolution{public:boolcontain

首先呢放一张运行成功的截图纪念一下，感谢众多小伙伴的帮助呀，之前没有配置这方面的经验，但还是一步一步配置成功了，所以在此以一个纯小白的经验分享如何配置成功。1.选择要建立项目的文件夹，打开文件找到目标文件夹如上图所示，我这里是自己选择的命名为DJANGO的文件夹。2.创建虚拟环境python-mvenverp_venv此时大家一定要看好创建虚拟环境所在的目录，当然此时也只有这一个文件夹，erp_v

Day1django环境安装创建虚拟环境#step1创建虚拟环境python3-mvenvdatawhale_django#step2mac进入虚拟环境source.

学习链接：http://datawhale.club/t/topic/477数据库是将大量数据保存起来，通过计算机加工而成的可以进行高效访问的数据集合。该数据集合称为数据库（Database，DB）。

DataWhale组队学习2021.05组队学习系列笔记四异常检测（相似度）LOF方法是一种典型的基于密度的高精度离群点检测方法。

目录第一次打卡实践任务：农民身份识别挑战赛https://challenge.xfyun.cn/topic/info?type=peasant-identity&ch=ymfk4uU时间规划三环节赛题解读（What）赛题本质：这是一个图像分类问题，需要根据图像序列中的农民特征，对农民进行身份识别。身份识别优势(Why)任务(How)baseline代码解读图像特征统计（传统方法）1.导入需要的库2

这段代码是一个完整的深度学习模型训练和预测的流程。下面我会逐步解释每个步骤的作用。首先，这段代码导入了必要的库，包括PyTorch、numpy、pandas等。接着，打印出CUDA版本和是否可用GPU，并将模型部署到GPU上（如果可用）。接下来是数据预处理的部分。通过glob.glob函数获取训练和测试图像的路径，并对其进行随机化。然后定义了一个自定义的Dataset类XunFeiDataset，

本文原出处https://aistudio.baidu.com/bd-cpu-01/user/2602285/6564384/lab基于PaddleClas套件的脑PET图像分析和疾病预测挑战赛-baseline-飞桨AIStudio(baidu.com)AI夏令营-CV实践教程-飞书云文档(feishu.cn)整理为个人学习所用。近年来，深度学习在医学图像处理和疾病预测方面取得了显著的进展。脑P

DatawhaleAI夏令营-CV方向baseline理解本次夏令营的目标是完成一个CV方向的竞赛任务，写一点自己的心得体会吧。

0学习背景有幸参与了DataWhale的AI视觉夏令营，沉浸式全流程体验AI比赛，比赛题目是：脑PET图像分析和疾病预测挑战赛，这里给出链接：https://challenge.xfyun.cn/topic

——Datawhale贡献者团队用户新增预测挑战赛：https://challenge.xfyun.cn/topic/info?type=subscriber-addition-predicti

1.1任务说明任务主题：论文数量统计，即统计2019年全年计算机各个方向论文数量；任务内容：赛题的理解、使用Pandas读取数据并进行统计；任务成果：学习Pandas的基础操作；可参考的学习资料：开源组织Datawhalejoyful-pandas

教程链接：Datawhale-一个热爱学习的社区换硬盘重装了系统，后面应该也不会用到mysql，不装环境了，没有截图。

前言本次学习来自于datawhale组队学习：教程地址为：https://github.com/datawhalechina/team-learning-program/tree/master/Docker

文章目录赛题描述任务要求数据集介绍评估指标赛题分析基于LightGBM模型Baseline详解改进baseline早停法添加特征赛题描述赛事地址：科大讯飞锂离子电池生产参数调控及生产温度预测挑战赛任务要求初赛任务：初赛提供了电炉17个温区的实际生产数据，分别是电炉上部17组加热棒设定温度T1-1~T1-17，电炉下部17组加热棒设定温度T2-1~T2-17，底部17组进气口的设定进气流量V1-V1

文章目录赛题分析赛题背景赛事任务赛题数据集评价指标Baseline实践导入模块EDA特征工程模型训练与验证结果输出改进赛题分析赛题背景量化金融在国外已经有数十年的历程，而在国内兴起还不到十年。这是一个极具挑战的领域。量化金融结合了数理统计、金融理论、社会学、心理学等多学科的精华，同时特别注重实践。由于市场博弈参与个体的差异性和群体效应的复杂性，量化金融极具挑战与重大的机遇的特点。本赛事通过大数据与

今后的发展：6.提示工程1P3TPrompt技巧：7.更多工具DataWhaleAIGC主题学习（点击前往视频链接）学习记录

DataWhale机器学习夏令营第二期学习记录一(2023.08.06)1.问题建模1.1赛事数据数据集情况数据中缺失值类别和数值特征的基本分布1.2评价指标中间价的计算方式价格移动方向说明1.3线下验证

DataWhale组队学习2021.05组队学习系列笔记一异常检测概述思维导图核心内容：一、异常检测是做什么：划分正常数据（预期行为数据）与非正常数据（预期行为差异数据）二、实现方法：统计方法、线性模型

一、赛题背景本次新人赛是Datawhale与天池联合发起的0基础入门系列赛事第四场——零基础入门金融风控-贷款违约预测。

0.1基础DataWhale夏令营第二期学习笔记（1）baseline代码逐行分析1写在前面习Python几个月有余，参加过数学建模，写过爬虫，做过简单的数据分析……曾尝试数次学习ai相关知识，却都在庞大的知识内容面前屡屡放弃

在上一章节我们构建了一个简单的CNN进行训练，并可视化了训练过程中的误差损失和第一个字符预测准确率，但这些还远远不够。一个成熟合格的深度学习训练流程至少具备以下功能：在训练集上进行训练，并在验证集上进行验证；模型可以保存最优的权重，并读取权重；记录下训练集和验证集的精度，便于调参。4模型训练与验证为此本章将从构建验证集、模型训练和验证、模型保存与加载和模型调参几个部分讲解，在部分小节中将会结合Py

2的幂classSolution{publicbooleanisPowerOfTwo(intn){intl=0;inth=32;while(h>=l){intmed=l+(h-l)/2;inttemp=(int)Math.pow(2,med);if(temp==n)returntrue;elseif(temp>n)h=med-1;else{if(n%temp!=0)returnfalse;l=me

实践任务：脑PET图像分析和疾病预测挑战赛https://challenge.xfyun.cn/topic/info?type=pet-2023&ch=vWxQGFU数据审查数据为nii数据，与之前学到的图片模型有很大差别，nii数据为4维（由于第四维数据皆是一帧，所以给出前三维的说明）这导致我不能直接按照常规方法进行数据增强，在实际应用中使用了将nii进行channel层的抽样和将nii变成图片

DataWhale暑期夏令营学习笔记二一、夏令营实践赛题解读二、Baseline学习1.导入所需库2.读取数据3.特征处理3.1时间特征处理3.2其他进阶特征构建4.训练数据集划分及模型参数设置5.模型训练

当我们想从特定文档中了解关键信息时，通常会转向关键词提取（keywordextraction）。关键词提取（keywordextraction）是提取与输入文本最相关的词汇、短语的自动化过程。提取关键词的方法主要分为有监督和无监督两类。无监督关键词提取方法：无监督方法是指在没有标注的关键词信息的情况下，从文本中自动提取关键词。这些方法主要基于文本中词语的频率、共现关系、语义等信息来计算关键词的重要

续前缘Datawhale夏令营之NLP实践赛事（一）本次任务任务二：完成基线代码精读，记录自己的学习笔记；尝试优化基线代码，提升代码的实践表现；提交任务二打卡，查看个人成绩排行榜。