子非Yu@Itfuture

【数据集资源】大数据资源-数据集下载方法-汇总

大概包含10个领域数据集：
金融
交通
商业
推荐系统
医疗健康
图像数据
视频数据
音频数据
自然语言处理
社会数据
处理后的科研和竞赛数据

1、huggingface的数据下载方式：

 1.进入官网数据集列：Hugging Face – The AI community building the future.

2.选中自己想要下载的数据后，在本地执行如下命令：

git lfs install

git clone https://huggingface.co/datasets/数据名称

2、魔塔社区的数据下载方式（中文数据社区）

1、进入官网数据集列（）：数据集首页 · 魔搭社区 (modelscope.cn)

 2.选中自己想要下载的数据后，下载方式如下：

数据集的下载 · 文档中心 (modelscope.cn)

Machine Learning Datasets | Papers With Code

阿里巴巴datahub:https://github.com/alibaba/EasyNLP/tree/master/datahub

清华官网整理数据集：openslr.org

聚数力：数据集 – Labeled Faces in the Wild 数据集 | 聚数力平台 | 大数据应用要素托管与交易平台

文本分类（情感分析）中文数据集汇总
这段时间在公司NLP组里实习，相应的开始学习了一些NLP的知识，并搜索了一些关于NLP中文本分类领域的相关数据集，本文主要列举一些中文数据集。关于英语数据集，且听下回分解。

1.THUCNews数据集：
THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成，包含74万篇新闻文档（2.19 GB），均为UTF-8纯文本格式。我们在原始新浪新闻分类体系的基础上，重新整合划分出14个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐。使用THUCTC工具包在此数据集上进行评测，准确率可以达到88.6%。

数据集地址： http://thuctc.thunlp.org/

2.今日头条新闻文本分类数据集：
数据来源：今日头条客户端
数据规模：共382688条，分布于15个分类中。
数据格式：6552431613437805063_!102!news_entertainment!谢娜为李浩菲澄清网络谣言，之后她的两个行为给自己加分!_佟丽娅,网络谣言,快乐大本营,李浩菲,谢娜,观众们

每行为一条数据，以_!_分割的个字段，从前往后分别是
新闻ID，分类code（见下文），分类名称（见下文），新闻字符串（仅含标题），新闻关键词

数据集地址：https://github.com/fate233/toutiao-text-classfication-dataset

3.全网新闻数据(SogouCA)：
来自若干新闻站点2012年6月—7月期间国内，国际，体育，社会，娱乐等18个频道的新闻数据，提供URL和正文信息

数据格式为

页面URL 页面ID 页面标题页面内容 1 2 3 4 5 6 注意：content字段去除了HTML标签，保存的是新闻正文文本

数据集地址： https://www.sogou.com/labs/resource/ca.php

4.搜狐新闻数据(SogouCS)：
来自搜狐新闻2012年6月—7月期间国内，国际，体育，社会，娱乐等18个频道的新闻数据，提供URL和正文信息

数据格式为

页面URL
页面ID
页面标题
页面内容

1
2
3
4
5
6
7
注意：content字段去除了HTML标签，保存的是新闻正文文本

数据集地址： https://www.sogou.com/labs/resource/cs.php

5.ChnSentiCorp_htl_all数据集：
7000 多条酒店评论数据，5000 多条正向评论，2000 多条负向评论

数据字段：
Label：1表示正向评论，0表示负向评论
Review：评论内容
1
2
3

数据集地址：
https://raw.githubusercontent.com/SophonPlus/ChineseNlpCorpus/master/datasets/ChnSentiCorp_htl_all/ChnSentiCorp_htl_all.csv

6.waimai_10k数据集：
某外卖平台收集的用户评价，正向4000 条，负向约 8000 条

数据字段：

Label：1表示正向评论，0表示负向评论
Review：评论内容
1
2
3
4

数据集地址：
https://raw.githubusercontent.com/SophonPlus/ChineseNlpCorpus/master/datasets/waimai_10k/waimai_10k.csv

7.online_shopping_10_cats数据集：
10 个类别（书籍、平板、手机、水果、洗发水、热水器、蒙牛、衣服、计算机、酒店），共 6 万多条评论数据，正、负向评论各约 3 万条

数据集下载地址：
https://github.com/SophonPlus/ChineseNlpCorpus/raw/master/datasets/online_shopping_10_cats/online_shopping_10_cats.zip

8.weibo_senti_100k数据集：
10 万多条，带情感标注新浪微博，正负向评论约各 5 万条。

数据集下载地址：
https://github.com/SophonPlus/ChineseNlpCorpus/blob/master/datasets/weibo_senti_100k/intro.ipynb

9.simplifyweibo_4_moods数据集：
36 万多条，带情感标注新浪微博，包含 4 种情感，其中喜悦约 20 万条，愤怒、厌恶、低落各约 5 万条

数据集下载地址：
https://pan.baidu.com/s/16c93E5x373nsGozyWevITg

10.dmsc_v2数据集：
28部电影，超70万用户，超200万条评分/评论数据

数据集地址：https://pan.baidu.com/s/1c0yn3TlkzHYTdEBz3T5arA

原始数据集地址：https://www.kaggle.com/utmhikari/doubanmovieshortcomments

11.yf_dianping数据集：
24 万家餐馆，54 万用户，440 万条评论/评分数据

数据集地址：https://pan.baidu.com/s/1yMNvHLl6QYsGbjT7u51Nfg
原始数据集地址：http://yongfeng.me/dataset/

12.yf_amazon数据集：
52 万件商品，1100 多个类目，142 万用户，720 万条评论/评分数据

原始数据集地址：http://yongfeng.me/dataset/
数据集地址：https://pan.baidu.com/s/1SbfpZb5cm-g2LmnYV_af8Q

13.Datahub数据中心：
包含文本分类、情感分析以及知识图谱的数据集

相关地址：http://www.datahub.ileadall42.com/data/list?category=2&parent_category=1

14.知乎看山杯数据集：
数据集下载地址：https://pan.baidu.com/s/1qUr6IQQn6DzrMlbaAUZslQ
提取码: qbiw

15.AI_challenger情感分析数据集：
数据集分为训练、验证、测试A与测试B四部分。数据集中的评价对象按照粒度不同划分为两个层次，层次一为粗粒度的评价对象，例如评论文本中涉及的服务、位置等要素；层次二为细粒度的情感对象，例如“服务”属性中的“服务人员态度”、“排队等候时间”等细粒度要素。

数据集下载地址：https://github.com/nju161250102/AI_challenger/tree/master/data

16.复旦中文文本分类语料库
数据链接:https://pan.baidu.com/s/1833mT2rhL6gBMlM0KnmyKg
密码:zyxa

以上来源于，更多查看原文链接！

版权声明：本文为CSDN博主「会发paper的学渣」的原创文章，遵循CC 4.0
BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/sslfk/article/details/123372830

1金融

美国劳工部统计局官方发布数据： http://dataju.cn/Dataju/web/datasetInstanceDetail/139

沪深股票除权除息、配股增发全量数据，截止 2016.12.31http://dataju.cn/Dataju/web/datasetInstanceDetail/344

上证主板日线数据，截止 2017.05.05，原始价、前复权价、后复权价，1260支股票http://dataju.cn/Dataju/web/datasetInstanceDetail/340

深证主板日线数据，截止 2017.05.05，原始价、前复权价、后复权价，466支股票http://dataju.cn/Dataju/web/datasetInstanceDetail/341

深证中小板日线数据，截止 2017.05.05，原始价、前复权价、后复权价，852支股票http://dataju.cn/Dataju/web/datasetInstanceDetail/342

深证创业板日线数据，截止 2017.05.05，原始价、前复权价、后复权价，636支股票http://dataju.cn/Dataju/web/datasetInstanceDetail/343

上证A股日线数据，1999.12.09 至 2016.06.08，前复权，1095支股票http://dataju.cn/Dataju/web/datasetInstanceDetail/37

深证A股日线数据，1999.12.09 至 2016.06.08，前复权，1766支股票http://dataju.cn/Dataju/web/datasetInstanceDetail/38

深证创业板日线数据，1999.12.09 至 2016.06.08，前复权，510支股票http://dataju.cn/Dataju/web/datasetInstanceDetail/39

MT4平台外汇交易历史数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/43

Forex平台外汇交易历史数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/67

几组外汇交易逐笔（Ticks）数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/44

美国股票新闻数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/220

美国医疗保险市场数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/225

美国金融客户投诉数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/229

Lending Club 网贷违约数据【Kaggle数据】http://dataju.cn/Dataju/web/datasetInstanceDetail/206

信用卡欺诈数据【Kaggle 数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/206

美国股票数据XBRL【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/214

纽约股票交易所数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/214

贷款违约预测竞赛数据【Kaggle竞赛】 http://dataju.cn/Dataju/web/datasetInstanceDetail/249

Zillow 网站房地产价值预测竞赛数据【Kaggle竞赛】http://dataju.cn/Dataju/web/datasetInstanceDetail/249

Sberbank 俄罗斯房地产价值预测竞赛数据【Kaggle竞赛】http://dataju.cn/Dataju/web/datasetInstanceDetail/266

Homesite 保险定价竞赛数据【Kaggle竞赛】http://dataju.cn/Dataju/web/datasetInstanceDetail/336

Winton 股票回报率预测竞赛数据【Kaggle竞赛】http://dataju.cn/Dataju/web/datasetInstanceDetail/347

2交通

2013年纽约出租车行驶数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/348

2013年芝加哥出租车行驶数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/355

Udacity自动驾驶数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/356

纽约 Uber 接客数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/76

英国车祸数据（2005-2015）【Kaagle数据】http://dataju.cn/Dataju/web/datasetInstanceDetail/323

芝加哥汽车超速数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/86

KITTI 自动驾驶任务数据【数据太大仅有部分】http://dataju.cn/Dataju/web/datasetInstanceDetail/210

Cityscapes 场景标注数据【数据太大仅有部分】http://dataju.cn/Dataju/web/datasetInstanceDetail/210

德国交通标志识别数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/232

交通信号识别数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/228

芝加哥Divvy共享自行车骑行数据（2013年至今）http://dataju.cn/Dataju/web/datasetInstanceDetail/228

美国查塔努加市共享单车骑行数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/270

Capital 共享单车骑行数据 https://zhuanlan.zhihu.com/

Bay Area 共享单车骑行数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/338

Nice Ride 共享单车骑行数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/339

花旗银行共享单车骑行数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/325

运用卫星数据跟踪亚马逊热带雨林中的人类轨迹竞赛【Kaggle竞赛】http://dataju.cn/Dataju/web/datasetInstanceDetail/358

纽约出租车管理委员会官方的乘车数据（2009年-2016年）http://dataju.cn/Dataju/web/datasetInstanceDetail/359

3商业

Airbnb 开放的民宿信息和住客评论数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/360

Amazon 食品评论数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/361

【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/324

Amazon 无锁手机评论数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/349

【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/364

美国视频游戏销售和评价数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/309

【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/207

Kaggle 各项竞赛情况数据【Kaggle数据】http://dataju.cn/Dataju/web/datasetInstanceDetail/207

Bosch 生产流水线降低次品率竞赛数据【Kaggle竞赛】http://dataju.cn/Dataju/web/datasetInstanceDetail/208

预测公寓租金竞赛数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/208

广告点击预测竞赛数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/230

餐厅营业收入预测建模竞赛 http://dataju.cn/Dataju/web/datasetInstanceDetail/230

银行产品推荐竞赛数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/213

网站用户推荐点击预测竞赛数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/319

在线广告实时竞价数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/337

购物车商品关联竞赛数据【Kaggle竞赛】 http://dataju.cn/Dataju/web/datasetInstanceDetail/335

Airbnb 新用户的民宿预定预测竞赛数据【Kaggle竞赛】http://dataju.cn/Dataju/web/datasetInstanceDetail/333

3推荐系统

Netflix 电影评价数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/330

MovieLens 20m 电影推荐数据集 http://dataju.cn/Dataju/web/datasetInstanceDetail/329

WikiLens http://dataju.cn/Dataju/web/datasetInstanceDetail/227

Jester http://dataju.cn/Dataju/web/datasetInstanceDetail/350

HetRec2011 http://dataju.cn/Dataju/web/datasetInstanceDetail/354

Book Crossing http://dataju.cn/Dataju/web/datasetInstanceDetail/32

Large Movie Review http://dataju.cn/Dataju/web/datasetInstanceDetail/116

Retailrocket 商品评论和推荐数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/97

4医疗健康

人识别物体时大脑核磁共振影像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/99

人理解单词时大脑核磁共振影像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/101

心脏病心房图像及标注数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/100

细胞病理识别 http://dataju.cn/Dataju/web/datasetInstanceDetail/98

FIRE 视网膜眼底病变图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/290

食物营养成分数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/80

EGG 大脑电波形状数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/79

某人基因序列数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/121

癌症CT影像数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/242

软组织肉瘤CT图像数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/124

美国国家健康与服务部-国家癌症研究所发起的癌症数据仓库介绍【仅有介绍】http://dataju.cn/Dataju/web/datasetInstanceDetail/250

Data Science Bowl 2017 肺癌识别竞赛数据【数据太大仅有介绍】http://dataju.cn/Dataju/web/datasetInstanceDetail/258

TCGA-LUAD 肺癌CT图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/261

RIDER Lung CT 肺癌CT影像 http://dataju.cn/Dataju/web/datasetInstanceDetail/275

TCGA-COAD癌症CT影像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/284

TCIA-TCGA-OV 癌症CT影像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/283

TCIA RIDER NEURO 癌症MRI影像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/287

QIN Beast 乳腺癌MRI影像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/291

5图像数据

综合图像

Visual Genome 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/311

Visual7w 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/315

COCO 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/316

SUFR 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/317

ILSVRC 2014 训练数据（ImageNet的一部分）http://dataju.cn/Dataju/web/datasetInstanceDetail/369

PASCAL Visual Object Classes 2012 图像数据http://dataju.cn/Dataju/web/datasetInstanceDetail/85

PASCAL Visual Object Classes 2011 图像数据http://dataju.cn/Dataju/web/datasetInstanceDetail/107

PASCAL Visual Object Classes 2010 图像数据http://dataju.cn/Dataju/web/datasetInstanceDetail/51

80 Million Tiny Image 图像数据【数据太大仅有介绍】http://dataju.cn/Dataju/web/datasetInstanceDetail/240

ImageNet【数据太大仅有介绍】 http://dataju.cn/Dataju/web/datasetInstanceDetail/55

Google Open Images【数据太大仅有介绍】http://dataju.cn/Dataju/web/datasetInstanceDetail/40

场景图像

Street Scences 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/45

Places2 场景图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/48

UCF Google Street View 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/138

SUN 场景图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/138

The Celebrity in Places 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/83

Web图像标签

HARRISON 社交标签图像 http://dataju.cn/Dataju/web/datasetInstanceDetail/183

NUS-WIDE 标签图像 http://dataju.cn/Dataju/web/datasetInstanceDetail/74

Visual Synset 标签图像 http://dataju.cn/Dataju/web/datasetInstanceDetail/112

Animals With Attributes 标签图像 http://dataju.cn/Dataju/web/datasetInstanceDetail/160

人形轮廓图像

MPII Human Shape http://dataju.cn/Dataju/web/datasetInstanceDetail/234

人体轮廓数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/173

Biwi Kinect Head Pose 头部姿势数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/52

上半身人像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/52

INRIA Person 数据集 http://dataju.cn/Dataju/web/datasetInstanceDetail/235

视觉文字识别图像

Street View House Number 门牌号图像数据http://dataju.cn/Dataju/web/datasetInstanceDetail/236

MNIST 手写数字识别图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/253

3D MNIST 数字识别图像数据【Kaggle数据】http://dataju.cn/Dataju/web/datasetInstanceDetail/129

MediaTeam Document 文档影印和内容数据http://dataju.cn/Dataju/web/datasetInstanceDetail/129

Text Recognition 文字图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/110

NIST Handprinted Forms and Characters 手写英文字符数据http://dataju.cn/Dataju/web/datasetInstanceDetail/49

NIST Structured Forms Reference Set of Binary Imageshttp://dataju.cn/Dataju/web/datasetInstanceDetail/73

(SFRS) 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/47

NIST Structured Forms Reference Set of Binary Imageshttp://dataju.cn/Dataju/web/datasetInstanceDetail/23

(SFRS) II 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/203

特定一类事物图像

著名的猫图像标注数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/128

Caltech-UCSD http://dataju.cn/Dataju/web/datasetInstanceDetail/176

Birds200 鸟类图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/278

Stanford Car 汽车图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/294

Cars 汽车图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/295

MIT Cars 汽车图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/41

Stanford Cars 汽车图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/105

Food-101 美食图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/106

17_Category_Flower http://dataju.cn/Dataju/web/datasetInstanceDetail/106

图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/254

102_Category_Flower http://dataju.cn/Dataju/web/datasetInstanceDetail/255

图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/109

UCI Folio Leaf 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/114

Labeled Fishes http://dataju.cn/Dataju/web/datasetInstanceDetail/115

in the Wild 鱼类图像 http://dataju.cn/Dataju/web/datasetInstanceDetail/60

美国 Yelp 点评网站酒店照片 http://dataju.cn/Dataju/web/datasetInstanceDetail/61

CMU-Oxford http://dataju.cn/Dataju/web/datasetInstanceDetail/63

Sculpture 塑像雕像图像 http://dataju.cn/Dataju/web/datasetInstanceDetail/174

Oxford-IIIT Pet 宠物图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/256

Nature http://dataju.cn/Dataju/web/datasetInstanceDetail/301

Conservancy Fisheries Monitoring 过度捕捞监控图像数据【Kaggle数据】http://dataju.cn/Dataju/web/datasetInstanceDetail/118

材质纹理图像

CURET 纹理材质图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/111

ETHZ Synthesizability 纹理图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/127

KTH-TIPS 纹理材质图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/172

Describable Textures 纹理图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/71

物体分类图像

COIL-20 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/62

COIL-100 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/70

Caltech-101 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/54

Caltech-256 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/46

CIFAR-10 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/42

CIFAR-100 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/53

STL-10 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/72

LabelMe_12_50k http://dataju.cn/Dataju/web/datasetInstanceDetail/72

图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/69

NORB v1.0 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/117

NEC Toy Animal 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/237

iCubWorld 图像分类数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/238

Multi-class 图像分类数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/239

GRAZ 图像分类数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/108

人脸图像

IMDB-WIKI 500k+ 人脸图像、年龄性别数据http://dataju.cn/Dataju/web/datasetInstanceDetail/68

Labeled Faces in the Wild 人脸数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/50

Extended Yale Face Database B 人脸数据http://dataju.cn/Dataju/web/datasetInstanceDetail/131

Bao Face 人脸数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/87

DC-IGN 论文人脸数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/119

300 Face in Wild 图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/120

BioID Face 人脸数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/122

CMU Frontal Face Images http://dataju.cn/Dataju/web/datasetInstanceDetail/123

FDDB_Face Detection Data Set and Benchmarkhttp://dataju.cn/Dataju/web/datasetInstanceDetail/130

NIST Mugshot Identification Databasehttp://dataju.cn/Dataju/web/datasetInstanceDetail/140

Faces in the Wild 人脸数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/170

CelebA 名人人脸图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/175

VGG Face 人脸图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/189

Caltech 10k Web Faces 人脸图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/125

姿势动作图像

HMDB_a large human motion databasehttp://dataju.cn/Dataju/web/datasetInstanceDetail/126

Human Actions and Scenes Dataset http://dataju.cn/Dataju/web/datasetInstanceDetail/177

Buffy Stickmen V3 人体轮廓识别图像数据http://dataju.cn/Dataju/web/datasetInstanceDetail/178

Human Pose Evaluator 人体轮廓识别图像数据http://dataju.cn/Dataju/web/datasetInstanceDetail/179

Buffy pose 人类姿势图像数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/181

VGG Human Pose Estimation 姿势图像标注数据http://dataju.cn/Dataju/web/datasetInstanceDetail/197

指纹识别图像

NIST FIGS 指纹识别数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/281

NIST Supplemental Fingerprint Card Data (SFCD) 指纹识别数据http://dataju.cn/Dataju/web/datasetInstanceDetail/280

NIST Plain and Rolled Images from Paired Fingerprint Cardshttp://dataju.cn/Dataju/web/datasetInstanceDetail/279

in 500 pixels per inch 指纹识别数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/77

NIST Plain and Rolled Images from Paired Fingerprint Cardshttp://dataju.cn/Dataju/web/datasetInstanceDetail/289

1000 pixels per inch 指纹识别数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/132

其他图像数据

Visual Question Answering V1.0 图像数据http://dataju.cn/Dataju/web/datasetInstanceDetail/84

Visual Question Answering V2.0 图像数据http://dataju.cn/Dataju/web/datasetInstanceDetail/241

6视频数据

综合视频

DAVIS_Densely Annotated Video Segmentation 数据http://dataju.cn/Dataju/web/datasetInstanceDetail/147

YouTube-8M 视频数据集【数据太大仅有介绍】http://dataju.cn/Dataju/web/datasetInstanceDetail/133

YouTube 网站视频备份【数据太大仅有介绍】http://dataju.cn/Dataju/web/datasetInstanceDetail/134

人类动作视频

Microsoft Research Action 人类动作视频数据http://dataju.cn/Dataju/web/datasetInstanceDetail/144

UCF50 Action Recognition 动作识别数据http://dataju.cn/Dataju/web/datasetInstanceDetail/135

UCF101 Action Recognition 动作识别数据http://dataju.cn/Dataju/web/datasetInstanceDetail/136

UT-Interaction 人类动作视频数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/137

UCF iPhone 运动中传感器数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/148

UCF YouTube 人类动作视频数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/125

UCF Sport 人类动作视频数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/126

UCF-ARG 人类动作视频数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/141

HMDB 人类动作视频 http://dataju.cn/Dataju/web/datasetInstanceDetail/157

HOLLYWOOD2 人类行为动作视频数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/146

Recognition of human actions 动作视频数据http://dataju.cn/Dataju/web/datasetInstanceDetail/244

Motion Capture 动作捕捉视频数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/245

SBU Kinect Interaction 肢体动作视频数据http://dataju.cn/Dataju/web/datasetInstanceDetail/246

目标检测视频

UCSD Pedestrian 行人视频数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/247

Caltech Pedestrian 行人视频数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/248

ETH 行人视频数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/223

INRIA 行人视频数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/159

TudBrussels 行人视频数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/151

Daimler 行人视频数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/150

ALOV++ 物体追踪视频数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/152

密集人群视频

Crowd Counting 高密度人群图像 http://dataju.cn/Dataju/web/datasetInstanceDetail/156

Crowd Segmentation 高密度人群视频数据http://dataju.cn/Dataju/web/datasetInstanceDetail/243

Tracking in High Density Crowds 高密度人群视频http://dataju.cn/Dataju/web/datasetInstanceDetail/200

其他视频

Fire Detection 视频数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/186

7音频数据

综合音频

Google Audioset 音频数据【数据太大仅有介绍】http://dataju.cn/Dataju/web/datasetInstanceDetail/164

语音识别

Sinhala TTS 英语语音识别 http://dataju.cn/Dataju/web/datasetInstanceDetail/251

TIMIT 美式英语语音识别数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/252

LibriSpeech ASR corpus 语音数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/194

Room Impulse Response and Noise 语音数据http://dataju.cn/Dataju/web/datasetInstanceDetail/191

ALFFA 非洲语音数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/96

THUYG-20 维吾尔语语音数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/96

AMI Corpus 语音识别 http://dataju.cn/Dataju/web/datasetInstanceDetail/96

8自然语言处理

RCV1 http://dataju.cn/Dataju/web/datasetInstanceDetail/93

英语 http://dataju.cn/Dataju/web/datasetInstanceDetail/90

新闻数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/78

20news 英语新闻数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/78

First Quora Release Question Pairs 问答数据http://dataju.cn/Dataju/web/datasetInstanceDetail/94

JRC Names http://dataju.cn/Dataju/web/datasetInstanceDetail/92

各国语言专有实体名称 http://dataju.cn/Dataju/web/datasetInstanceDetail/89

Multi-Domain Sentiment V2.0 http://dataju.cn/Dataju/web/datasetInstanceDetail/205

LETOR 信息检索数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/205

Yale Youtube Vedio Text http://dataju.cn/Dataju/web/datasetInstanceDetail/221

斯坦福问答数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/221

美国假新闻数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/212

NIPS会议文章信息数据（1987-2016）【Kaggle数据】http://dataju.cn/Dataju/web/datasetInstanceDetail/268

2016年美国总统选举辩论数据【Kaggle数据】http://dataju.cn/Dataju/web/datasetInstanceDetail/269

WikiLinks 跨文档指代语料 http://dataju.cn/Dataju/web/datasetInstanceDetail/277

European Parliament Proceedings Parallel Corpus 机器翻译数据http://dataju.cn/Dataju/web/datasetInstanceDetail/285

WikiText 英语语义词库数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/272

WMT 2011 News Crawl 机器翻译数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/288

Stanford Sentiment Treebank 词汇数据http://dataju.cn/Dataju/web/datasetInstanceDetail/334

英语语言模型单词预测竞赛数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/201

9社会数据

希拉里邮件门泄露邮件 http://dataju.cn/Dataju/web/datasetInstanceDetail/267

波士顿Airbnb 公开数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/209

世界各国经济发展数据【Kaagle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/202

世界大学排名芝加哥犯罪数据（2001-2017）【Kaagle数据】http://dataju.cn/Dataju/web/datasetInstanceDetail/233

世界范围显著地震数据（1965-2016）【Kaagle数据】http://dataju.cn/Dataju/web/datasetInstanceDetail/231

美国婴儿姓名数据【Kaagle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/222

全世界鲨鱼袭击人类数据【Kaagle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/219

1908年以来空难数据【Kaagle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/218

2016年美国总统大选数据【Kaagle数据】http://dataju.cn/Dataju/web/datasetInstanceDetail/217

2013年美国社区统计数据【Kaagle数据】http://dataju.cn/Dataju/web/datasetInstanceDetail/273

2014年美国社区统计数据【Kaagle数据】http://dataju.cn/Dataju/web/datasetInstanceDetail/274

2015年美国社区统计数据【Kaagle数据】http://dataju.cn/Dataju/web/datasetInstanceDetail/215

欧洲足球运动员赛事表现数据【Kaagle数据】http://dataju.cn/Dataju/web/datasetInstanceDetail/211

美国环境污染数据【Kaagle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/224

美国H1-B签证申请数据Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/224

IMDB五千部电影数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/224

2015年航班延误和取消数据【Kaggle数据】http://dataju.cn/Dataju/web/datasetInstanceDetail/226

凶杀案报告数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/216

人力资源分析数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/259

美国费城犯罪数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/260

安然公司邮件数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/262

历史棒球数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/263

美联航 Twitter 用户评论数据【Kaggle数据】http://dataju.cn/Dataju/web/datasetInstanceDetail/264

波士顿 Airbnb 公开数据【Kaggle数据】 http://dataju.cn/Dataju/web/datasetInstanceDetail/265

芝加哥市2001年以来犯罪记录数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/267

美国查塔努加市犯罪记录数据（2003年至今）http://dataju.cn/Dataju/web/datasetInstanceDetail/353

芝加哥街边咖啡厅季节中的人行道咖啡厅许可数据http://dataju.cn/Dataju/web/datasetInstanceDetail/358

芝加哥餐馆卫生检查结果数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/351

几个人类运动位置路线GPS数据集（骑行、跑步等）http://dataju.cn/Dataju/web/datasetInstanceDetail/352

10处理后的科研和竞赛数据

NIPS 2003 属性选择竞赛数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/370

台湾大学林智仁教授处理为 LibSVM 格式的分类建模数据http://dataju.cn/Dataju/web/datasetInstanceDetail/296

Large-scale 分类建模数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/297

几个UCI 中 large-scale 分类建模数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/298

Social Computing http://dataju.cn/Dataju/web/datasetInstanceDetail/299

Data Repository 社交网络数据 http://dataju.cn/Dataju/web/datasetInstanceDetail/300

猫和狗分类识别竞赛数据【Kaggle竞赛】 http://dataju.cn/Dataju/web/datasetInstanceDetail/318

DSTL 卫星图像识别竞赛数据【Kaggle竞赛】http://dataju.cn/Dataju/web/datasetInstanceDetail/328

根据手机应用软件使用行为预测用户性别年龄竞赛数据【Kaggle竞赛】http://dataju.cn/Dataju/web/datasetInstanceDetail/332

人脸关键点标定竞赛数据【Kaggle竞赛】 http://dataju.cn/Dataju/web/datasetInstanceDetail/331

Kaggle竞赛数据合辑（部分竞赛数据） http://dataju.cn/Dataju/web/datasetInstanceDetail/368

你可能感兴趣的:(数据分析,大数据)

Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
ES聚合分析原理与代码实例讲解光剑书架上的书大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据 AIGC AGI LLM Java Python 架构设计 Agent 程序员实现财富自由
ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
WebMagic：强大的Java爬虫框架解析与实战 Aaron_945 Java java 爬虫开发语言
文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
免费的GPT可在线直接使用（一键收藏） kkai人工智能 gpt
1、LuminAI（https://kk.zlrxjh.top）LuminAI标志着一款融合了星辰大数据模型与文脉深度模型的先进知识增强型语言处理系统，旨在自然语言处理（NLP）的技术开发领域发光发热。此系统展现了卓越的语义把握与内容生成能力，轻松驾驭多样化的自然语言处理任务。VisionAI在NLP界的应用领域广泛，能够胜任从机器翻译、文本概要撰写、情绪分析到问答等众多任务。通过对大量文本数据的
Python数据分析与可视化 jun778895 python 数据分析开发语言
Python数据分析与可视化是一个涉及数据处理、分析和以图形化方式展示数据的过程，它对于数据科学家、分析师以及任何需要从数据中提取洞察力的专业人员来说至关重要。以下将详细探讨Python在数据分析与可视化方面的应用，包括常用的库、数据处理流程、可视化技巧以及实际应用案例。一、Python数据分析与可视化的重要性数据可视化是将数据以图形或图像的形式表示出来，以便人们能够更直观地理解数据背后的信息和规
如何利用大数据与AI技术革新相亲交友体验 h17711347205 回归算法安全系统架构交友小程序
在数字化时代，大数据和人工智能（AI）技术正逐渐革新相亲交友体验，为寻找爱情的过程带来前所未有的变革（编辑h17711347205）。通过精准分析和智能匹配，这些技术能够极大地提高相亲交友系统的效率和用户体验。大数据的力量大数据技术能够收集和分析用户的行为模式、偏好和互动数据，为相亲交友系统提供丰富的信息资源。通过分析用户的搜索历史、浏览记录和点击行为，系统能够深入了解用户的兴趣和需求，从而提供更
未来软件市场是怎么样的？做开发的生存空间如何？ cesske 软件需求
目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
Hadoop架构 henan程序媛 hadoop 大数据分布式
一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
[转载] NoSQL简介 weixin_30325793 大数据数据库运维
摘自“百度百科”。NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。虽然NoSQL流行语
Kafka详细解析与应用分析芊言芊语 kafka 分布式
Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），由LinkedIn公司最初采用Scala语言开发，并基于ZooKeeper协调管理。如今，Kafka已经被Apache基金会纳入其项目体系，广泛应用于大数据实时处理领域。Kafka凭借其高吞吐量、持久化、分布式和可靠性的特点，成为构建实时流数据管道和流处理应用程序的重要工具。Kafka架构Kafka的架构主要由
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据 python hadoop 计算机毕业设计选题计算机毕业设计源码数据分析 spark毕设
作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
疫情，疫情东山草
2020年，疫情爆发，至今已近三年，反反复复，此起彼伏。不但没被消灭，还自我发展，从德尔塔到奥密克戎，与时俱进的变异着。去年11月，疫情之下，大数据800米范围内，都成为时空伴随者。“你的码儿有没有变颜色”“你绿码还是黄码”成为那段时间的流行语，当然少不了的还有全员核酸。段子手整出来一首歌：我走过你走过的路,这算不算相逢？我吹过你吹过的风，这算不算相拥？800米内我们不曾擦肩而过，你却要我14天相
python读写CSV文件 bcbobo21cn .Net python 开发语言机器学习 CSV
做数据分析，有时候要分析的数据在CSV文件里；先看一下python读写CSV文件；importpandasaspddf=pd.read_csv('test1.csv')print(df)print('')print(df.head(2))companyname=["A1","B2","E3","F4"]legperson=["lier","yanqi","wangwu","zhangsan"]le
软件测试/测试开发/全日制 |利用Django REST framework构建微服务霍格沃兹-慕漓 django 微服务 sqlite
霍格沃兹测试开发学社推出了《Python全栈开发与自动化测试班》。本课程面向开发人员、测试人员与运维人员，课程内容涵盖Python编程语言、人工智能应用、数据分析、自动化办公、平台开发、UI自动化测试、接口测试、性能测试等方向。为大家提供更全面、更深入、更系统化的学习体验，课程还增加了名企私教服务内容，不仅有名企经理为你1v1辅导，还有行业专家进行技术指导，针对性地解决学习、工作中遇到的难题。让找
在服务器计算节点中使用 jupyter Lab ranshan567 程序人生
JupyterLab是一个基于网页的交互式开发环境,用于科学计算、数据分析和机器学.jupyterlab是jupyternotebook的下一代产品,集成了更多功能,使用起来更方便.在进行数据分析及可视化时，个人电脑不能满足大数据的分析需求，就需要用到高性能计算机集群资源，然而计算机集群的计算节点往往没有联网功能，所以在计算机集群中使用jupyterLab需要进行一些配置。具体的步骤如下：
大数据真实面试题---SQL The博宇大数据面试题——SQL 大数据 mysql sql 数据库 big data
视频号数据分析组外包招聘笔试题时间限时45分钟完成。题目根据3张表表结构，写出具体求解的SQL代码（搞笑品类定义：视频分类或者视频创建者分类为“搞笑”）1、表创建语句：createtablet_user_video_action_d(dsint,user_idstring,video_idstring,action_typeint,`timestamp`bigint)rowformatdelimi
python数据分析知识点大全编程零零七 python数据分析 python 开发语言 python数据分析数据分析知识点大全 python数据分析知识点 python教程 python基础
Python数据分析知识点大全可以归纳为以下几个主要方面：一、基础概念与目的数据分析定义：数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论，对数据加以详细研究和概括总结的过程。其目的在于从数据中挖掘规律、验证猜想、进行预测。Python在数据分析中的优势：Python因其易学性、快速开发、丰富的扩展库（如NumPy、Pandas等）和成熟的框架，成为数据分析领域的
Flume：大规模日志收集与数据传输的利器傲雪凌霜，松柏长青后端大数据 flume 大数据
Flume：大规模日志收集与数据传输的利器在大数据时代，随着各类应用的不断增长，产生了海量的日志和数据。这些数据不仅对业务的健康监控至关重要，还可以通过深入分析，帮助企业做出更好的决策。那么，如何高效地收集、传输和存储这些海量数据，成为了一项重要的挑战。今天我们将深入探讨ApacheFlume，它是如何帮助我们应对这些挑战的。一、Flume概述ApacheFlume是一个分布式、可靠、可扩展的日志
云服务业界动态简报-20180128 Captain7
一、青云青云QingCloud推出深度学习平台DeepLearningonQingCloud，包含了主流的深度学习框架及数据科学工具包，通过QingCloudAppCenter一键部署交付，可以让算法工程师和数据科学家快速构建深度学习开发环境，将更多的精力放在模型和算法调优。二、腾讯云1.腾讯云正式发布腾讯专有云TCE(TencentCloudEnterprise)矩阵，涵盖企业版、大数据版、AI
数据分析-24-时间序列预测之基于keras的VMD-LSTM和VMD-CNN-LSTM预测风速皮皮冰燃数据分析数据分析
文章目录1普通的LSTM模型1.1数据重采样1.2数据标准化1.3切分窗口1.4划分数据集1.5建立模型1.6预测效果2VMD-LSTM模型2.1VMD分解时间序列2.2对每一个IMF建立LSTM模型2.2.1IMF1—LSTM2.2.2IMF2-LSTM2.2.3统一代码2.3评估效果3CNN-LSTM模型3.1数据预处理3.2建立模型3.3效果预测4VMD-CNN-LSTM模型4.1VMD分解
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
架构评审的自动化与人工智能: 如何提高效率光剑书架上的书架构自动化人工智能运维
1.背景介绍架构评审是软件开发过程中的一个关键环节，它旨在确保软件架构的质量、可维护性和可扩展性。传统的架构评审通常是由人工进行，需要大量的时间和精力。随着大数据技术和人工智能的发展，自动化和人工智能技术已经开始应用于架构评审，从而提高评审的效率和准确性。在本文中，我们将讨论如何通过自动化和人工智能技术来提高架构评审的效率。我们将从以下几个方面进行讨论：背景介绍核心概念与联系核心算法原理和具体操作
【数字化供应链】数字化供应链架构、全景管理、全流程贯通方案数字化建设方案数字化转型数据治理主数据数据仓库供应链数字仓储智慧物流智慧仓储物流园区架构微服务数据挖掘大数据人工智能
原文《数字化供应链架构、全景管理、全流程贯通方案》PPT格式。主要从供应链管理全景、智慧供应链建设总体目标、供应链总体业务流程、供应链总体功能架构、供应链总体技术架构、供应链全流程贯通、供应链全领域管理、供应链数据数据分析、供应链决策中台等进行建设。本文仅对主要内容进行介绍。来源网络公开渠道，旨在交流学习，如有侵权联系速删，更多参考公众号：优享智库基于先进IT技术、大数据能力、物联网应用、区块链平
80 鑫_259b
科普一个谈恋爱的方法。在以前，谈恋爱千难万难，就难在对对方不知底细，不知道对方希望自己是一个怎样的人，要耗费大量的时间去试探、再磨合，往往会因为一些小事一些细节，满盘皆输。在一个信息化的时代，在一个大数据近乎变成了流行语的时代，我们要跟上时代的步伐，通过大数据，去寻找异性最希望自己展现出来的形象是什么，才可以在爱情的道路上少走弯路。那这个大数据怎么操作呢？上街发问卷？问别人的择偶标准？一来会被打死
jdk tomcat 环境变量配置 Array_06 java jdk tomcat
Win7 下如何配置java环境变量 1。准备jdk包，win7系统，tomcat安装包（均上网下载即可） 2。进行对jdk的安装，尽量为默认路径（但要记住啊！！以防以后配置用。。。） 3。分别配置高级环境变量。电脑-->右击属性-->高级环境变量-->环境变量。分别配置 : path &nbs
Spring调SDK包报java.lang.NoSuchFieldError错误 bijian1013 java spring
在工作中调另一个系统的SDK包，出现如下java.lang.NoSuchFieldError错误。 org.springframework.web.util.NestedServletException: Handler processing failed; nested exception is java.l
LeetCode[位运算] - #136 数组中的单一数 Cwind java 题解位运算 LeetCode Algorithm
原题链接：#136 Single Number 要求：给定一个整型数组，其中除了一个元素之外，每个元素都出现两次。找出这个元素注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间难度：中等分析：题目限定了线性的时间复杂度，同时不使用额外的空间，即要求只遍历数组一遍得出结果。由于异或运算 n XOR n = 0, n XOR 0 = n，故将数组中的每个元素进
qq登陆界面开发 15700786134 qq
今天我们来开发一个qq登陆界面，首先写一个界面程序，一个界面首先是一个Frame对象，即是一个窗体。然后在这个窗体上放置其他组件。代码如下： public class First { public void initul(){ jf=ne
Linux的程序包管理器RPM 被触发 linux
在早期我们使用源代码的方式来安装软件时，都需要先把源程序代码编译成可执行的二进制安装程序，然后进行安装。这就意味着每次安装软件都需要经过预处理-->编译-->汇编-->链接-->生成安装文件--> 安装，这个复杂而艰辛的过程。为简化安装步骤，便于广大用户的安装部署程序，程序提供商就在特定的系统上面编译好相关程序的安装文件并进行打包，提供给大家下载，我们只需要根据自己的
socket通信遇到EOFException 肆无忌惮_ EOFException
java.io.EOFException at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2281) at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:
基于spring的web项目定时操作知了ing java Web
废话不多说，直接上代码，很简单配置一下项目启动就行 1，web.xml <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="h
树形结构的数据库表Schema设计矮蛋蛋 schema
原文地址： http://blog.csdn.net/MONKEY_D_MENG/article/details/6647488 程序设计过程中，我们常常用树形结构来表征某些数据的关联关系，如企业上下级部门、栏目结构、商品分类等等，通常而言，这些树状结构需要借助于数据库完成持久化。然而目前的各种基于关系的数据库，都是以二维表的形式记录存储数据信息，
maven将jar包和源码一起打包到本地仓库 alleni123 maven
http://stackoverflow.com/questions/4031987/how-to-upload-sources-to-local-maven-repository <project> ... <build> <plugins> <plugin> <groupI
java IO操作与 File 获取文件或文件夹的大小，可读，等属性！！！百合不是茶
类 File File是指文件和目录路径名的抽象表示形式。 1，何为文件：标准文件（txt doc mp3...）目录文件（文件夹）虚拟内存文件 2，File类中有可以创建文件的 createNewFile（）方法,在创建新文件的时候需要try{} catch(）{}因为可能会抛出异常；也有可以判断文件是否是一个标准文件的方法isFile();这些防抖都
Spring注入有继承关系的类（2） bijian1013 java spring
被注入类的父类有相应的属性，Spring可以直接注入相应的属性，如下所例：1.AClass类 package com.bijian.spring.test4; public class AClass { private String a; private String b; public String getA() { retu
30岁转型期你能否成为成功人士 bijian1013 成长励志
很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
【Velocity四】Velocity与Java互操作 bit1129 velocity
Velocity出现的目的用于简化基于MVC的web应用开发，用于替代JSP标签技术，那么Velocity如何访问Java代码.本篇继续以Velocity三http://bit1129.iteye.com/blog/2106142中的例子为基础， POJO package com.tom.servlets; public
【Hive十一】Hive数据倾斜优化 bit1129 hive
什么是Hive数据倾斜问题操作：join,group by,count distinct 现象：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成；查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可以认定为发生数据倾斜。原因：key分布不均匀倾斜度衡量：平均记录数超过50w且
在nginx中集成lua脚本：添加自定义Http头，封IP等 ronin47 nginx lua csrf
Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。强制搜索引擎只索引mixlr.com Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 location /{
java-3.求子数组的最大和 bylijinnan java
package beautyOfCoding; public class MaxSubArraySum { /** * 3.求子数组的最大和题目描述：输入一个整形数组，数组里有正数也有负数。数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。求所有子数组的和的最大值。要求时间复杂度为O(n)。例如输入的数组为1, -2, 3, 10, -4,
Netty源码学习-FileRegion bylijinnan java netty
今天看org.jboss.netty.example.http.file.HttpStaticFileServerHandler.java 可以直接往channel里面写入一个FileRegion对象，而不需要相应的encoder： //pipeline（没有诸如“FileRegionEncoder”的handler）： public ChannelPipeline ge
使用ZeroClipboard解决跨浏览器复制到剪贴板的问题 cngolon 跨浏览器复制到粘贴板 Zero Clipboard
Zero Clipboard的实现原理 Zero Clipboard 利用透明的Flash让其漂浮在复制按钮之上，这样其实点击的不是按钮而是 Flash ，这样将需要的内容传入Flash，再通过Flash的复制功能把传入的内容复制到剪贴板。 Zero Clipboard的安装方法首先需要下载 Zero Clipboard的压缩包，解压后把文件夹中两个文件：ZeroClipboard.js
单例模式 cuishikuan 单例模式
第一种（懒汉，线程不安全）： public class Singleton { 2 private static Singleton instance; 3 pri
spring+websocket的使用 dalan_123
一、spring配置文件 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.or
细节问题：ZEROFILL的用法范围。 dcj3sjt126com mysql
1、zerofill把月份中的一位数字比如1，2，3等加前导0 mysql> CREATE TABLE t1 (year YEAR(4), month INT(2) UNSIGNED ZEROFILL, -> day
Android开发10——Activity的跳转与传值 dcj3sjt126com Android开发
Activity跳转与传值，主要是通过Intent类，Intent的作用是激活组件和附带数据。一、Activity跳转方法一Intent intent = new Intent(A.this, B.class); startActivity(intent) 方法二Intent intent = new Intent();intent.setCla
jdbc 得到表结构、主键 eksliang jdbc 得到表结构、主键
转自博客：http://blog.csdn.net/ocean1010/article/details/7266042 假设有个con DatabaseMetaData dbmd = con.getMetaData(); rs = dbmd.getColumns(con.getCatalog(), schema, tableName, null); rs.getSt
Android 应用程序开关GPS gqdy365 android
要在应用程序中操作GPS开关需要权限： <uses-permission android:name="android.permission.WRITE_SECURE_SETTINGS" /> 但在配置文件中添加此权限之后会报错，无法再eclipse里面正常编译，怎么办？ 1、方法一：将项目放到Android源码中编译； 2、方法二：网上有人说cl
Windows上调试MapReduce zhiquanliu mapreduce
1.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin.git 把 hadoop2.6.0-eclipse-plugin.jar 放到eclipse plugin 目录中。 2.下载 hadoop2.6_x64_.zip http://dl.iteye.com/topics/download/d2b
如何看待一些知名博客推广软文的行为？ justjavac 博客
本文来自我在知乎上的一个回答：http://www.zhihu.com/question/23431810/answer/24588621 互联网上的两种典型心态：当初求种像条狗，如今撸完嫌人丑当初搜贴像条犬，如今读完嫌人软你为啥感觉不舒服呢？难道非得要作者把自己的劳动成果免费给你用，你才舒服？就如同 Google 关闭了 Gooled Reader，那是
sql优化总结 macroli sql
为了是自己对sql优化有更好的原则性，在这里做一下总结，个人原则如有不对请多多指教。谢谢！要知道一个简单的sql语句执行效率，就要有查看方式，一遍更好的进行优化。一、简单的统计语句执行时间 declare @d datetime ---定义一个datetime的变量set @d=getdate() ---获取查询语句开始前的时间select user_id
Linux Oracle中常遇到的一些问题及命令总结超声波 oracle linux
1.linux更改主机名 (1)#hostname oracledb　　　　临时修改主机名 (2) vi /etc/sysconfig/network 　　修改hostname (3) vi /etc/hosts　　　　　　　　修改IP对应的主机名 2.linux重启oracle实例及监听的各种方法（注意操作的顺序应该是先监听，后数据库实例） &nbs
hive函数大全及使用示例 superlxw1234 hadoop hive函数
具体说明及示例参见附件文档。文档目录：目录一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: <> 4 3. 小于比较: < 4 4. 小于等于比较: <= 4 5. 大于比较: > 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5
Spring 4.2新特性-使用@Order调整配置类加载顺序 wiselyman spring 4
4.1 @Order Spring 4.2 利用@Order控制配置类的加载顺序 4.2 演示两个演示bean package com.wisely.spring4_2.order; public class Demo1Service { } package com.wisely.spring4_2.order; public class