数据分析与数据挖掘

数据分析与数据挖掘实战视频——学习笔记之微信爬虫实战（目前失败）

之前在视频里面微信爬虫是失败的，但是回过头来继续调整代码，希望能成功实现目标。前面是初始代码，但是没有用。什么是微信爬虫所谓微信爬虫，即自动获取微信的相关文章信息的一种爬虫。微信对我们的限制是很多的，所以，我们需要采用一些手段解决这些限制，主要包括伪装浏览器，使用代理IP等方式。微信爬虫编写实战req和url的区别我的理解是url是网址req是请求可以通过代码将url转化为请求url="http:
fanhl111·2019-05-26 00:29

数据分析与数据挖掘实战视频——学习笔记之淘宝图片爬虫（包括淘宝登录）

之前写的数据分析一实在是太长了，不方便观看。而且我这个的内容也很多，记录了我的各种尝试和最终结果。我觉得我还是开个单篇解释更好观察。什么是图片爬虫图片爬虫是从互联网中自动把对方服务器上的图片趴下来的爬虫程序淘宝图片爬虫实战：如何爬取淘宝的图片（没有成功，可能是因为需要登录）importurllib.requestimportrekeyname="短裙"key=urllib.request.quot
fanhl111·2019-05-25 23:17

【数据分析与数据挖掘】四、多因子与复合分析（上）

这一章内容：属性与属性之间常见的联系。理论铺垫：假设检验与方差检验；相关系数：皮尔逊、斯皮尔曼；回归：线性回归；PCA与奇异值分解；1.假设检验概念：做出一个假设，根据数据已知的分布性质，来推断该假设成立的概率有多大。过程：step1：建立原假设H0，H0的反命题为H1，也叫备择假设。一般情况下，原假设的分布是符合该分布的，而备择假设是不符合该分布的。step2：选择检验统计量：根据数据的均值方差
ZOU JM·2019-05-17 12:50

【数据分析与数据挖掘】三、单因子探索分析与可视化（下）

目录1.函数讲解（1）matplotlib.pyplot.xticks(ticks,[labels],**kwargs)2.柱状图3.直方图4.箱线图5.折线图6.饼图python可视化工具：matplotlib、seaborn、plotly.1.函数讲解（1）matplotlib.pyplot.xticks(ticks,[labels],**kwargs)(a)作用设置x轴的刻度位置和刻度对应的
ZOU JM·2019-05-16 22:52

数据分析与爬虫实战视频——学习笔记（四）（糗事百科、天善智能、当当商城、sql输出）

这部分内容有点儿偏多，我把内容写在另外一个博客里面了，如下数据分析与数据挖掘实战视频——学习笔记之Scrapy
fanhl111·2019-05-16 22:01

数据分析与数据挖掘实战视频——学习笔记（六）（数据分析与数据挖掘理论、相关模块安装、相关模块numpy、pandas基本使用、pandas数据导入）

p=421、快速了解数据分析与数据挖掘什么是数据分析与数据挖掘数据分析，就是对已知的数据进行分析，然后提取出一些有价值的信息，比如说统计出平均数，标准差等信息，数据分析的数据量有时可能不会太大，而数据挖掘是指对大量的数据进行分析和挖掘
fanhl111·2019-05-15 00:33

【数据分析与数据挖掘】三、单因子探索分析与可视化（中）

目录3.数据分类4.单属性分析5.对HR.csv中的属性进行分析3.数据分类（1）定类（类别）：根据事物离散、无差别属性进行的分类，例如性别、名族；（2）定序（顺序）：可以界定数据的大小，但不能测定差值。例如：收入：高、中、低；（3）定距（间距）：可以界定数据大小的同时，可测定差值，但无绝对零点；（无零点，说明乘法、除法、比率是没有意义的）。例如：不能说20摄氏度是10摄氏度的两倍，这样的表述是不
ZOU JM·2019-05-08 21:04

【数据分析与数据挖掘】三、单因子探索分析与可视化（上）

目录1.单因子分析和对比分析必要的理论知识2.编码实现1.单因子分析和对比分析必要的理论知识集中趋势：均值，中位数，分位数，众数离中趋势：标准差、方差数据分布：偏态与峰态、正太分布于三大分布抽样理论：抽样误差、抽样精度(1)集中趋势：均值，中位数，分位数，众数均值：经常用来衡量连续值、分布比较规律的连续值的集中趋势中位数：衡量异常值（有些值很大，有些值很小）众数：离散值的集中趋势衡量分位数：与以上
ZOU JM·2019-05-07 23:57

【数据分析与数据挖掘】二、数据获取方法汇总

目录1.数据获取手段（1）数据仓库（2）监测与抓取（3）填写、埋点、日志（4）计算2.好用的数据学习网站1.数据获取手段数据获取手段有：数据仓库，监测与抓取，填写、日志、埋点，计算等。（1）数据仓库如果一个网站是卖书的，建立的数据库存储书的信息，用户的信息等，当网站扩展到一定规模时，遇到一个很重要的方向问题，该卖哪些书，该着重面向什么人群推荐什么书，这时仅仅靠数据库是不够的，于是需要把每一次用户进
ZOU JM·2019-05-06 09:50

【数据分析与数据挖掘】二、数据获取方法汇总

目录1.数据获取手段（1）数据仓库（2）监测与抓取（3）填写、埋点、日志（4）计算2.好用的数据学习网站1.数据获取手段数据获取手段有：数据仓库，监测与抓取，填写、日志、埋点，计算等。（1）数据仓库如果一个网站是卖书的，建立的数据库存储书的信息，用户的信息等，当网站扩展到一定规模时，遇到一个很重要的方向问题，该卖哪些书，该着重面向什么人群推荐什么书，这时仅仅靠数据库是不够的，于是需要把每一次用户进
ZOU JM·2019-05-06 09:50

【数据分析与数据挖掘】一、数据分析概述

1.数据分析概述(1)数据分析利用统计学的方法，在数据中提取有用的信息，并进行总结与概括的过程。(2)数据分析与挖掘的流程数据获取—>探索分析—>预处理—>数据建模—>模型评估。数据获取的方法有很多，例如网页抓取或者产品日志获取；获取后存储的方式最常见的是把数据整理成表格的形式；整理完之后，找出数据有哪些属性，属性之间是否有关系，是否能通过已有的属性，衍生出其他属性；（探索分析与可视化）；特征预处
ZOU JM·2019-05-06 09:44

推荐 | 一个机器学习与深度学习的优质公众号

今天给大家推荐的微信公众号「机器学习实验室」，是一个以机器学习和深度学习为主题的，包括但不限于爬虫与数据采集、数据分析与数据挖掘、统计与数据可视化、R语言与Python学习的个人数据技术学习的公众号。
算法channel·2019-04-22 21:00

推荐算法工程师面试准备

1.数据分析与处理2.用户画像3.个性化推荐4.ctr预估5.销量预测二怎样准备推荐算法工程师1.基本技能准备1.数据分析与数据挖掘（pandas）：缺失值和异常值处理，特征选择与构建2.具备大数据处理的相关技术
王艺航的学习笔记·2019-03-06 09:54

小象学院大数据分析与数据挖掘精华实战+数据分析数据挖掘实战

课程简介:小象学院大数据分析与数据挖掘精华实战课程数据分析数据挖掘实战视频教程----------------------课程目录------------------------------第1章：第一周回放课课时
Johnny1327·2018-11-10 15:31

推荐系统面试

扎实的算法基础：机器学习与推荐算法相关的LR、SVM、GBDT、DNN丰富的Python、C开发经验项目经验1.2工作内容数据分析与处理用户画像个性化推荐CTR预估销量预测2.怎样准备2.1基本技能准备数据分析与数据挖掘
Bai_Yin·2018-09-27 21:24

4.3.1有监督学习（一） - 有监督学习的定义与模型

所以在数据分析与数据挖掘中，有监督学习与数据分析的关系更大；无监督学习与数据挖掘的关系更大。但是它们都是数据建模领域的知识。有监督学习在整
Orange_Spotty_Cat·2018-06-04 11:52

数据分析与数据挖掘框架（一） —— 数据分析与挖掘总框架

所谓框架，或者说方法论，就是指整个设计数据科学（数据分析与挖掘，机器学习）的项目过程。不管项目领域是金融、电信、医学或者交通，其实只要项目中涵盖数据分析或数据挖掘的应用，项目的步骤大多会有些共通的地方。将这些共性的步骤总结并且归纳为一般性的方法，就变成了数据分析与挖掘的框架。在真正开始数据采集、抽样、清洗，甚至建模之前，一个清晰的框架等同于写作前的草稿。它是一个项目的骨架，能够为数据分析与挖掘人员
Orange_Spotty_Cat·2018-05-09 15:42

学习R语言我都做了那些有趣的事情！

天善学院618大礼包，大数据、数据分析与数据挖掘、商业智能、机器学习、深度学习、数据库与数据仓库、R语言、Python精品课程总有一款正中你下怀吧？全场6.18折，赠送微课。
R3eE9y2OeFcU40·2018-04-10 20:40

第2章 数据挖掘概述

标签（空格分隔）：数据化运营2.1数据挖掘发展史2.2数据分析与数据挖掘的主要区别2.3数据挖掘的主要成熟技术以及在数据化运营中的主要应用2.4互联网行业数据挖掘应用的特点2.1数据挖掘的发展史始于20
li_volleyball·2017-12-03 03:57

数据分析与数据挖掘的区别

数据分析与数据挖掘的区别数据分析(狭义)：(1)定义：简单来说，数据分析就是对数据进行分析。
碧水幽幽泉·2017-09-16 00:40

大数据分析不是巨大的负担，而是潜在的黄金

大数据分析与数据挖掘有着本质的区别，大数据分析需要大量的数据为基础，而数据量越大算法要求则越低。用于数据分析
大数据在说话·2017-05-24 14:56

数据分析与数据挖掘面试题收集

比赛怎么做的（先说解决的问题，属于回归还是二分类问题，KS曲线是什么含义，能优化吗（用AUC代替））KS值：用真正率和假正率的累计值分别做为纵坐标就得到两个曲线，这就是K-S曲线。GBDT与XGBoost的区别（知乎wepon大神：https://www.zhihu.com/question/41354392）传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboos
Cherzhoucheer·2017-04-07 00:00

数据分析与数据挖掘面试题收集

比赛怎么做的（先说解决的问题，属于回归还是二分类问题，KS曲线是什么含义，能优化吗（用AUC代替））KS值：用真正率和假正率的累计值分别做为纵坐标就得到两个曲线，这就是K-S曲线。GBDT与XGBoost的区别（知乎wepon大神：https://www.zhihu.com/question/41354392）传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboos
Cherzhoucheer·2017-04-07 00:00

什么数据分析

数据分析与数据挖掘密切相关，但数据挖掘往往倾向于关注较大型的数据集，较少侧重于推理，且常常采用
u013039300·2016-06-02 14:00

读书笔记-《Python数据分析与数据挖掘实战》

第二章Python数据分析简介Python数据挖掘相关扩展库Scikit-LearnKeras第二章Python数据分析简介Python数据挖掘相关扩展库扩展库简介Numpy提供数组支持Scipy提供矩阵支持，以及矩阵相关的数值计算模块Matplotlib强大的数据可视化工具、作图库Pandas强大、灵活的数据分析和探索工具StatsModels统计建模和计量经济学，包括描述统计、统计模型估计和推
u012593290·2016-04-07 11:00

关于举办“R数据分析与数据挖掘案例实战”研讨会邀请函

各企事业单位：          R是一套完整的数据处理、计算和制图软件系统，R是一种数学计算的环境，它可以提供一些集成的统计工具，但更大量的是它提供各种数学计算、统计计算的函数，从而使使用者能灵活机动的进行数据分析，甚至创造出符合需要的新的统计计算方法。在R网站上提供了统计及各个有关应用领域几乎所有最新的成果和代码公开的软件包。截至2016年3月,CRAN库中的R包已经超过8000个。为提升相关
雪晴数据·2016-03-28 14:00

数据分析与数据挖掘 入门

数据分析：使用统计方法对收集的大量数据进行分析、理解，达到业务分析的目标。数据分析是为了获取有用的信息和结论而对数据进行分析和研究的过程数据分析师：专业基础+业务思维首应该有一个业务的观点，业务分析才是目的和导向，数据分析只是一个手段、数分工作内容：描述发生了什么事----描述性报告：常规报表，即席查询，多维分析，警报。为什么发生----探索性报告：统计分析未来发展如何----预测性报告：预测和预
houxiaoqin·2015-08-17 02:36

十道海量数据处理面试题 - 数据分析与数据挖掘技术-炼数成金-Dataguru专业数据分析社区

1、海量日志数据，提取出某日访问百度次数最多的那个IP。    首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最大的
MrCharles·2015-04-26 16:00

谈数据分析与数据挖掘的企业应用价值

近期有不少朋友感言数据分析和挖掘应用的商业价值问题，一是说数据分析和挖掘在企业，如果只有知识发现，知识应用没有搞起来，企业还是没有体会到数据的价值；二是说数据分析和挖掘，是否看在多么牛的互联网巨头工作的背景，还是要有扎实的数据变现能力？第一个问题，还得从第三方数据分析服务，与企业内部数据分析分开来说，否则没有意义。第二个问题，就看是谁在主导找数据分析的人，到底是HR或没想清楚如何用数据的高层，还是
数据分析师·2015-01-02 13:00

如何利用数据分析来指导运营商流量包营销

   对于运营商的数据分析与数据挖掘能力支撑，不必多说。电信、银行是很多专业的数据分析人士的入行的地方，只不过近几年，越来越多数据分析与数据挖掘的牛人跳出了这个圈子，去互联网、电商等行业发展。
数据分析师·2014-11-28 10:00

数据分析与数据挖掘的区别

这个问题貌似有点无聊，不过下面的阐述个人感觉还是很有趣的。先谈数据，其实很简单，就是观测值。例如测量数据。不过大家可能有个误区。认为，客户填写的表单就是数据。对编程序而言，是的。但是不是常规的数据。当然填写的内容，一旦落入的观测空间，则自然就成了数据。不谈数据，就无以谈数据分析和数据挖掘。由此，上面先说了数据。这里还要说下信息。信息，抽象的说，就是可信的数据。那么这里和数据最大的区别就在于，一个是
dy01dy·2014-04-10 13:50

数据分析与数据挖掘方面招聘的笔试题分享

上网搜索到一些相关职位的笔试题，集结于此，希望对大家有用A、阿里巴巴2011数据分析师实习生笔试题1.什么是异常值，列举一种找出连续型变量异常值的方法。2.什么是聚类分析，有哪些聚类分析方法，写出原理和算法。3.SQL题，给出一个表，写SQL语句，创建表名为B（结构和原表一样），按列出最早访问的urlid：用户名time：用户访问时间url：用户访问网页4.一个B2C网站，用户群是办公室女性，一个
dy01dy·2014-04-10 10:59

对于数据分析与数据挖掘的数据10个问题

1，作为支付宝数据首席分析师，你怎么看待“数据挖掘”这个词？所谓的“数据挖掘”是基于用户的行为挖掘出有价值的东西，以及这个东西被用到商业环境上。比如非常著名的“啤酒与尿布”的案例，它的背景是在1992年的美国，每周四或者每周五下午5点-7点的时间形成的连锁销售。但是这个联合销售的方法并不适合任何时间和任何场合，单纯地剥离其背景本身，谈数据挖掘就是一个很泛的事情。2，你认为，支付宝的数据和淘宝的数据
中国统计网·2013-11-27 08:00

对于数据分析与数据挖掘的数据10个问题

1，作为支付宝数据首席分析师，你怎么看待“数据挖掘”这个词？所谓的“数据挖掘”是基于用户的行为挖掘出有价值的东西，以及这个东西被用到商业环境上。比如非常著名的“啤酒与尿布”的案例，它的背景是在1992年的美国，每周四或者每周五下午5点-7点的时间形成的连锁销售。但是这个联合销售的方法并不适合任何时间和任何场合，单纯地剥离其背景本身，谈数据挖掘就是一个很泛的事情。 2，你认为，支付宝的数据和淘宝的数
中国统计网·2013-11-27 00:00

数据掘金：电子商务运营突围

从他处学习数据分析与数据挖掘，要么太难――起点高，力不从心；要么太远，很难用于电商业务。这本书旨在帮助电商人摆
博文视点·2013-06-25 10:10

数据掘金：电子商务运营突围

从他处学习数据分析与数据挖掘，要么太难——起点高，力不从心；要么太远，很难用于电商业务。这本书旨在帮助电
博文视点Broadview·2013-06-25 10:00

数据掘金：电子商务运营突围

从他处学习数据分析与数据挖掘，要么太难——起点高，力不从心；要么太远，很难用于电商业务。这本书旨在帮助
博文视点Broadview·2013-06-25 10:00

数据分析与网站分析门户大全

转自中国统计网汇集国内知名数据分析与数据挖掘相关的网站门户、交流论坛，推荐给数据分析爱好者们，给您数据分析之旅“添油加醋”！
daniel_yang·2013-06-07 13:05

数据分析与网站分析门户大全

转自中国统计网汇集国内知名数据分析与数据挖掘相关的网站门户、交流论坛，推荐给数据分析爱好者们，给您数据分析之旅“添油加醋”！
daniel_yang·2013-06-07 13:05

凌轩：基于错误数据作出正确决策的艺术

这可能是笔者听到的关于数据分析与数据挖掘的最神乎其神的案例了。在此之后，笔者对数据分析的作用叹为观止。两年前，笔者在INTEL时，曾经做过一项商业智能（BI）方面的市场研究。
lingxuanpku·2010-04-25 23:18

凌轩：基于错误数据作出正确决策的艺术

这可能是笔者听到的关于数据分析与数据挖掘的最神乎其神的案例了。在此之后，笔者对数据分析的作用叹为观止。两年前，笔者在INTEL时，曾经做过一项商业智能（BI）方面的市场研究。
lingxuanpku·2010-04-25 23:18

GIS空间分析

阅读更多作者：Flyingis空间分析是为了解决地理空间问题而进行的数据分析与数据挖掘，是从GIS目标之间的空间关系中获取派生的信息和新的知识，是从一个或多个空间数据图层中获取信息的过程。
flyingis·2006-04-07 16:00

GIS空间分析

GIS空间分析   作者：Flyingis   空间分析是为了解决地理空间问题而进行的数据分析与数据挖掘，是从GIS目标之间的空间关系中获取派生的信息和新的知识，是从一个或多个空间数据图层中获取信息的过程
Flyingis·2006-04-07 16:00

GIS空间分析

阅读更多作者：Flyingis空间分析是为了解决地理空间问题而进行的数据分析与数据挖掘，是从GIS目标之间的空间关系中获取派生的信息和新的知识，是从一个或多个空间数据图层中获取信息的过程。
flyingis·2006-04-07 16:00

GIS空间分析

阅读更多作者：Flyingis空间分析是为了解决地理空间问题而进行的数据分析与数据挖掘，是从GIS目标之间的空间关系中获取派生的信息和新的知识，是从一个或多个空间数据图层中获取信息的过程。
flyingis·2006-04-07 16:00

GIS空间分析

    作者： Flyingis     空间分析是为了解决地理空间问题而进行的数据分析与数据挖掘，是从GIS目标之间的空间关系中获取派生的信息和新的知识
flyingis·2006-04-07 16:00

GIS空间分析

    作者： Flyingis     空间分析是为了解决地理空间问题而进行的数据分析与数据挖掘，是从GIS目标之间的空间关系中获取派生的信息和新的知识
flyingis·2006-04-07 16:00

GIS空间分析

阅读更多作者：Flyingis空间分析是为了解决地理空间问题而进行的数据分析与数据挖掘，是从GIS目标之间的空间关系中获取派生的信息和新的知识，是从一个或多个空间数据图层中获取信息的过程。
flyingis·2006-04-07 16:00
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他