dataWhale 第39页

【学习笔记】自然语言处理实践（新闻文本分类）- 基于深度学习的文本分类FastText

Datawhale零基础入门NLP赛事-Task4文本表示方法FastText本笔记是参加Datawhale零基础入门NLP赛事的学习笔记。

kerenleii·2020-08-23 23:41

Datawhale_大数据0期

【Task1】创建虚拟机+熟悉linux(2day)创建三台虚拟机在本机使用Xshell连接虚拟机CentOS7配置阿里云yum源和EPEL源安装jdk熟悉linux常用命令熟悉，shell变量/循环/条件判断/函数等shell小练习1：编写函数，实现将1-100追加到output.txt中，其中若模10等于0，则再追加输出一次。即10，20…100在这个文件中会出现两次。注意：电脑系统需要64位

码小匠---千少·2020-08-23 19:23

Datawhale_温习概率统计(3)——常见分布与假设检验

文章目录一、二项分布，泊松分布，正态分布的关系1.1二项分布（Binomialdistribution）1.2泊松分布（Poissondistribution）1.3正态分布（Normaldistribution）1.4三者的关系二、python&numpy简单实现2.1简单实现2.2分布间关系三、pmf与cdf的生成3.1概率质量分布pmf3.2概率密度分布pmf四、假设检验4.1基本概念4.2

Scc_hy·2020-08-23 15:26

Datawhale_温习概率统计(1)——1_古典概型，条件概率，贝叶斯公式

文章目录一、古典概率之同班同学至少有一对同一天生日概率1.1两个基本概念1.2问题分析1.3问题求解二、贝叶斯：有一人呈阳性反应，则此人确为肝癌患者的概率是多少2.1问题分析2.2问题求解2.3.1python贝叶斯框架一、古典概率之同班同学至少有一对同一天生日概率1.1两个基本概念事件概率P(A)=mn=事件A包含的基本事件数基本事件总数P(A)=\frac{m}{n}=\frac{事件A包含的

Scc_hy·2020-08-23 15:26

Datawhale_温习概率统计(2)——偏态、峰值

文章目录一、偏度与峰度概念1.1偏度1.2峰度二、python实现一、偏度与峰度概念1.1偏度偏度（skewness）：也称为偏态，是统计数据分布偏斜方向和程度的度量，是统计数据分布非对称程度的数字特征。直观看来就是密度函数曲线尾部的相对长度。偏度刻画的是分布函数（数据）的对称性，关于均值对称的数据其偏度系数为0，右侧更分散的数据偏度系数为正，左侧更分散的数据偏度系数为负。正态分布的偏度为0，两侧

Scc_hy·2020-08-23 15:26

机器学习算法（五）: 基于支持向量机的分类预测

声明：本次撰写以Datawhale团队提供的学习材料以自学为主，代码为Datawhale团队提供，利用阿里云天池实验室与编辑器pycharm完成测试。

田野间的狗尾巴草·2020-08-23 11:55

机器学习算法（六）：基于决策树的分类预测

声明：本次撰写以Datawhale团队提供的学习材料以自学为主，代码为Datawhale团队提供，利用阿里云天池实验室与编辑器pycharm完成测试。

田野间的狗尾巴草·2020-08-23 11:11

DataWhale街景字符编码识别项目-模型集成

对于Baseline的一点总结经过了数据准备、数据增强、模型构建以及模型验证和迭代4个阶段，基本上得到了一个还不错的模型。使用改进后的模型得到测试结果，去网站提交，结果只有0.625的准确率。发现测试集上的效果和验证集上的效果差距还挺大的。很容易想到的是测试集和验证集会不会存在分布上的差异。如果是，有没有办法来解决这种差异。现在的问题是如何提高网络的泛化性能。在加了一些tricks之后，训练集的精

mhxin·2020-08-23 11:22

DataWhale街景字符编码识别项目-模型训练与验证

数据集划分虽然此次竞赛已经帮我们划分好了训练集和验证集，但这里还是对数据集的划分以及交叉验证进行一些说明。Baseline搭建好之后，通常会需要将训练数据划分为训练集和验证集，训练集用于训练模型，验证集用来调整参数。验证集的划分有如下的几种方式。Hold-outHold-out也叫留出法，是最简单的一种划分方式。即随机的将训练数据按照一定比例划分为训练集和验证集fromglobimportglob

mhxin·2020-08-23 11:51

机器学习算法（五）: 基于支持向量机的分类预测

声明：本次撰写以Datawhale团队提供的学习材料以自学为主，代码为Datawhale团队提供，利用阿里云天池实验室与编辑器pycharm完成测试。

田野间的狗尾巴草·2020-08-23 09:19

机器学习算法（六）：基于决策树的分类预测

声明：本次撰写以Datawhale团队提供的学习材料以自学为主，代码为Datawhale团队提供，利用阿里云天池实验室与编辑器pycharm完成测试。

田野间的狗尾巴草·2020-08-23 09:11

Python爬虫编程实践--大作业

感谢Datawhale组织的学习，经过这几天的学习，已经初步了解了简单的python爬虫实现，这里简单介绍一个新闻的爬虫实现。

sjtucq·2020-08-22 21:07

DataWhale街景字符编码识别项目-模型构建

mhxin·2020-08-22 15:31

DataWhale街景字符编码识别项目-数据增强

数据增强介绍深层神经网络一般都需要大量的训练数据才能获得比较理想的结果。在数据量有限的情况下，可以通过数据增强（DataAugmentation）来增加训练样本的多样性，提高模型鲁棒性，避免过拟合。数据增强的另⼀种解释是，随机改变训练样本可以降低模型对某些属性的依赖，从而提⾼模型的泛化能⼒。例如，我们可以对图像进⾏不同方式的裁剪，让物体以不同的⽐例出现在图像的不同位置，这同样能够降低模型对⽬标位置

mhxin·2020-08-22 15:00

DataWhale街景字符编码识别项目-数据准备

数据介绍项目来自天池竞赛,这是项目地址。项目数据来自Google街景图像中的门牌号数据集（TheStreetViewHouseNumbersDataset,SVHN）,对应的Kaggle竞赛地址。该数据来自真实场景的门牌号。训练集数据包括3W张照片，验证集数据包括1W张照片，每张照片包括颜色图像和对应的编码类别和具体位置；为了保证比赛的公平性，测试集A包括4W张照片，测试集B包括4W张照片。官方已

mhxin·2020-08-22 15:24

Datawhale-机器学习打卡1

Datawhale机器学习逻辑回归逻辑回归主要解决分类问题，分类问题函数是不连续的阶跃函数，且函数边界[0,1].sigmoid函数曲线与阶跃函数曲线很相似，z>0,sigmoid(z)>0.5,z0,

肉bot·2020-08-22 14:14

Datawhale组队学习机器学习算法第一章

第一部分：Demo实践Step1：函数库导入##基础函数库importnumpyasnp##导入画图库importmatplotlib.pyplotaspltimportseabornassns##导入逻辑回归模型函数fromsklearn.linear_modelimportLogisticRegression##Demo演示LogisticRegression分类##构造数据集x_fearur

柏拉图守护·2020-08-22 14:43

Datawhale 数据分析打卡2-数据清洗及特征处理

数据清洗及特征处理一.Whycleandata?二.数据清洗三.特征观察与处理四.总结一.Whycleandata?在导入数据并进行一些初始操作对数据有一个初步认识之后，需要开始数据清洗以及重构，将原始数据变为一个更好用的数据，为之后放入模型做准备。二.数据清洗在原始数据集中经常会出现缺失值，异常点等，如果将这些数据直接放入模型中进行训练，肯定会影响训练效果。所以说要对rawdata进行清洗将其变

肉bot·2020-08-22 14:43

Datawhale~Hands-on data analysis~数据基本操作

前言：第一次接触数据分析这方面的知识，但是自己又耐不住闲，于是跟着datawhale学下数据分析，如果有任何错误还请大家不吝赐教。

Winqihe·2020-08-22 14:31

打卡—Datawhale 零基础入门数据挖掘-Task2：数据的探索性分析（EDA）

打卡—Datawhale零基础入门数据挖掘-Task2：数据的探索性分析（EDA）Tip:此部分为零基础入门数据挖掘的Task2EDA-数据探索性分析部分，带你来了解数据，熟悉数据，和数据做朋友，欢迎大家后续多多交流

weixin_45158756·2020-08-22 14:28

DataWhale Task02打卡

DataWhaleTask02打卡代码我遇到的问题调用numpy包不成功对python语法十分不熟悉我的体会代码#coding:utf-8#导入warnings包，利用过滤器来实现忽略警告语句importwarningswarnings.filterwarnings

John6194·2020-08-22 14:50

Datawhale 爬虫实战打卡（四）

学习内容了解ajax加载通过chrome的开发者工具，监控网络请求，并分析用selenium完成爬虫Ajax即“AsynchronousJavascriptAndXML”（异步JavaScript和XML），是指一种创建交互式、快速动态网页应用的网页开发技术，无需重新加载整个网页的情况下，能够更新部分网页的技术。通过在后台与服务器进行少量数据交换，Ajax可以使网页实现异步更新。这意味着可以在不重

Prmsivon·2020-08-22 14:17

DataWhale学习计划（第六期）：python基础任务2

1.列表列表是python内置数据类型，列表中的元素可以增、删、改，类似java中的数组。a.标志列表用[]定义。b.基本操作(创建，append()，pop(),del(),拷贝）创建只要把逗号分隔的不同的数据项使用方括号括起来即可。如下所示：>>>list1=['physics','chemistry',1997,2000];>>>list2=[1,2,3,4,5];>>>list3=["a"

Royal Pearl.·2020-08-22 14:08

Datawhale--TASK1

1.1学习目标理解赛题数据和目标,清楚评分体系。完成相应报名,下载数据和结果提交打卡(可提交示例结果),熟悉比赛流程1.2了解赛题赛题概况、数据概况、预测指标、分析赛题1.2.1赛题概况比赛要求参赛选手根据给定的数据集,建立模型,二手汽车的交易价格。来自EbayKleinanzeigen报废的二手车,数量超过370,000,包含20列变量信息,为了保证比赛的公平性,将会从中抽取10万条作为训练集,

weixin_43901423·2020-08-22 14:33

Datawhale机器学习算法（一）: 基于逻辑回归的分类预测

#基础函数库的导入importnumpyasnp#常用的两个画图库importmatplotlib.pyplotaspltimportseabornassns#逻辑回归函数的导入fromsklearn.linear_modelimportLogisticRegression造数据集x_fearures=np.array([[-1,-2],[-2,-1],[-3,-2],[1,3],[2,1],[3

weixin_43311847·2020-08-22 14:46

Datawhale之动手学数据分析第二章（一）

1.数据清洗简述1.1缺失值观察方法一df.info()方法二df.isnull().sum()1.2缺失值处理方法一：删除方法二：保留df['name'].fillna(0)#不用函数的保留方法对缺失值进行0填充df[df['Age']==None]=0df[df['Age'].isnull()]=0df[df['Age']==np.nan]=01.3重复值观察df[df.duplicates(

Noyade·2020-08-22 14:14

Datawhale第二章二三节数据的重构

导入包importnumpyasnpimportpandasaspd2第二章数据重构2.4数据的合并2.4.1任务一：将data文件夹的所有数据都载入text_left_up=pd.read_csv('datalab/74975/train-left-up.csv')text_left_down=pd.read_csv('datalab/74975/train-left-down.csv')tex

weixin_43311847·2020-08-22 14:14

Datawhale打卡-统计学（Day4）

线性回归坐标系中若干点，找出一条直线y=mx+b，使这些点到该直线上同一横坐标的点的距离的平方和最小，求斜率m与截距b上面的公式其实是m,b以及SElineSE_{line}SEline组成的曲面，其中要想求得m和b，最小化平方误差就是找到曲面的最低点，故可以转化为求偏导为零的点决定系数为R—Squared，如果直线的平方误差很小，意味着直线拟合的很好，这时候R-Squared接近1，相反若平方误

我就叫小灰灰·2020-08-22 14:14

零基础入门CV赛事-Task4

参考：https://github.com/datawhalechina/team-learning/blob/master/03%20%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%

九头母牛·2020-08-22 14:03

DataWhale_python编程基础task1

task1变量、运算符、数据类型及位运算练习题标题怎样对python中的代码进行注释？（1）单段注释用井号#（2）多段注释用三个单引号’’’‘’’（3）三个双引号"""“”"将想要注释的内容包起来。python有哪些运算符，这些运算符的优先级是怎样的？（1）种类：①算术运算符操作符名称+加-减*乘/除//整除%取余**幂②比较运算符操作符名称>大于>=大于等于25float浮点型0.52bool布

Gu-Psyc·2020-08-22 14:21

DataWhale SQL 组队打卡学习营【任务二】

作业项目三创建如下所示的courses表，有student(学生)和class(课程)。createtablescourses(studentvarchar(20),classvarchar(20));插入数据insertintocoursesvalues('A'，'math');insertintocoursesvalues('B'，'english');insertintocoursesval

好快的剑·2020-08-22 14:19

Datawhale零基础入门CV赛事-task1赛题理解

Datawhale零基础入门CV赛事-task1赛题理解赛题理解赛题来源自Google街景图像中的门牌号数据集（TheStreetViewHouseNumbersDataset,SVHN），并根据一定方式采样得到比赛数据集

weixin_40727182·2020-08-22 14:58

Datawhale Python入门课 task1

工欲善其事必先利其器！Python学习啊~变量、运算符与数据类型1.注释在Python中，#表示注释，作用于整行。【例子】单行注释#这是一个注释print("Helloworld")#Helloworld''''''或者""""""表示区间注释，在三引号之间的所有内容被注释【例子】多行注释'''这是多行注释，用三个单引号这是多行注释，用三个单引号这是多行注释，用三个单引号'''print("Hel

weixin_40054643·2020-08-22 14:50

DataWhale_动手学数据分析（第一章）

第一章：数据基本操作Part1：数据载入及初步观察1、载入数据1.1导入库，载入数据1.2每1000行为一个数据模块，逐块读取1.3将表头改成中文，index索引改为乘客ID2、初步观察2.1查看数据的基本信息2.2表格前10行的数据和后15行的数据2.3判断数据是否为空，为空的地方返回True，有数据地方为False2.4保存数据Part2：pandas基础3、知道数据叫什么3.1数据类型：Da

Ricardo_记忆心扉·2020-08-22 14:07

Datawhale 零基础入门CV赛事-Task1 赛题理解----小白学习笔记1

学习笔记JSON是什么零基础入门CV之街道字符识别--解题思路[^1]1、简单入门思路：定长字符识别2、专业字符识别思路：不定长字符识别3、专业分类思路：检测再识别学习过程中的各种安利1、pytorch60分钟入门推荐2、AIforMedicine的系列课程3、gpu环境配置教程4、github无法加载图片的解决办法JSON是什么JSON是一种数据格式。它本身是一串字符串，只是它有固定格式的字符串

老wu龟·2020-08-22 14:02

Datawhale MySQL 训练营 Task1:MySQL 安装与数据库基础

安装平台WindowsX64;MySQL:直接去MySQL官网下载；点击即可安装；安装过程中可能会要求python3.7;可以去安装一个python3.7;可视化工具：Navicat数据库基础知识数据库定义:根据《SQL必知必会》里的定义，数据库是保存有组织数据的容器；顾名思义数据的仓库，其实很好理解。区分数据库Database和数据库管理系统DBMS:DBMS是对数据库进行管理的系统，如MySQ

weixin_30346033·2020-08-22 14:42

CV入门赛事-模型训练与验证

Datawhale零基础入门CV赛事-Task4模型训练与验证在上一章节我们构建了一个简单的CNN进行训练，并可视化了训练过程中的误差损失和第一个字符预测准确率，但这些还远远不够。

water19111213·2020-08-22 14:32

Python网络爬虫-Datawhale组队task2

xpath1常用路径：XPath为XML路径语言（XMLPathLanguage），它是一种用来确定XML文档中某部分位置的语言。在XPath中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML文档是被作为节点树来对待的。Xpath使用路径表达式在XML文档中选取节点。节点是通过沿着路径选取的。下面列出了最常用的路径表达式：nodename选取此节点的所有子节

雪依伊·2020-08-22 14:29