文章目录1引言2数据集3文本统计信息分析4Ngram模型探索5基于pyLDAvis的主题模型探索6绘制词云图7情感分析7.1TextBlob7.2VaderSentimentAnalysis8命名实体识别NER9词性标签探索分析10文本可读性分析11结语1引言探索性数据分析是所有机器学习工作流程中最重要的部分之一，自然语言处理也不例外。但是应该选择哪些工具来进行有效地探索，及对文本数据进行可视化呢

文章目录1引言2A/BTest的必要性3统计形式主义的必要性4假设检验入门4.1z检验评估平均花费时间4.2z检验评估平均花费时间4.3Z检验评估转化率5总结1引言A/BTest，又称为对比测试，指的是一种实验技术，以确定根据一个选定的指标，新的设计是否带来改进。在Web分析和UI用户体验中，这个想法是通过随机分割流量并比较每个分割点的指标，来比较现有网站(a)和新网站(b)的区别。举个例子说明：

数据分析学习总结笔记10：网络分析1网络分析概述1.1三大社会科学理论1.2网络分析内容2网络的基本概念与特征量2.1网络的发展2.2网络的表达形式2.3网络基本概念与特征量2.3.1网络整体指标2.3.2

数据分析学习总结笔记07：方差分析1方差分析概述1.1方差分析简介1.2方差分析基本思想和原理1.3方差分析的基本假设2单因素方差分析（One-wayANOVA）2.1单因素方差分析概念2.2单因素方差分析的原理

数据分析学习总结笔记07：回归分析概述1什么是回归分析1.1回归分析概述1.2“回归”的由来1.3回归分析归纳1.3.1回归分析的主要内容1.3.2回归分析的一般模型2统计学中的回归模型2.1相关分析与回归分析

数据分析学习总结笔记08：数据分类典型方法及其R语言操作1判别分析1.1判别分析简介1.1.1判别分析概念1.1.2判别分析的种类1.2距离判别法1.2.1两总体距离判别1.2.2多总体距离判别1.3Fisher

数据分析学习总结笔记09：文本分析1文本分析1.1文本分析概述1.2结构/非结构化数据1.3文本数据特点1.4自然语言处理——NLP1.5文本挖掘的应用2文本分词2.1英文分词——KNIME2.2中文分词

数据分析学习总结笔记04：异常值处理1异常值概述2如何判断异常值2.1简单的统计分析2.23δ原则2.3四分位数检验/箱型图分析2.4格拉布斯检验2.5基于模型检测2.6基于距离检测2.7基于密度检测3

数据分析学习总结笔记03：数据降维经典方法1.数据降维概述2.数据降维的应用3.数据降维经典方法3.1主成分分析（PCA）3.1.1PCA概述3.1.2PCA原理3.1.3PCA&LDA3.1.4基于标准化变量的主成分分析

数据分析学习总结笔记05：缺失值分析及处理1缺失值概念2缺失值分析的类别2.1按数据缺失形式划分2.2按缺失机制与方式划分3缺失值的处理方法3.1删除缺失值3.2缺失值替代3.3缺失值分析1缺失值概念在数据收集过程中

文章目录1数据准备2分词3统计词频4词云5提取特征6用sklearn进行训练1数据准备数据样例如下，数据总量为7.7万+：本节通过一个实战的例子来展示文本分析的最简单流程。首先设定因变量为原始数据中的"评分"。自变量是"评价内容"，这里根据评价内容提取TF-IDF特征。之后，通过评价内容的特征建模预测下整体评分。importjieba#导入分词模块importpandasaspd#导入Pandas

文章目录1引言2定义3数学直观4Kaplan-Meier估计5Cox比例风险模型6总结1引言生存分析是一套统计方法，用来解决诸如“多长时间后，某个特定事件发生”这样的问题;换句话说，也可以称之为事件时间分析。这种方法被称为生存分析，是由于主要是由医学研究人员开发的，他们更感兴趣的是寻找不同群体患者的预期寿命(例如:用药物a治疗的组群1和用药物b治疗的组群2)。这种分析不仅可以应用于传统的死亡事件，

文章目录1算法与程序2算法复杂度概述3时间复杂度3.1时间复杂度记号O3.2时间复杂度的计算3.3时间复杂度的类别3.4时间复杂度分析实例4空间复杂度5O(1),O(n),O(logn),O(nlogn)的区别本文较简略，具体可参照：算法的时间复杂度和空间复杂度-总结1算法与程序（1）算法：是解决问题的方法或过程，严格的讲是满足下述性质的指令序列：输入：有零个或多个外部量作为算法的输入；输出：算法

文章目录1引言2时间序列的特性2.1自相关2.2季节性2.3平稳性3时间序列建模3.1移动平均法3.2指数平滑法3.3双指数平滑法3.4三重指数平滑法3.5周期性差分自动平滑回归模型(SARIMA)4实例——股票价格的预测5结论1引言本篇主要帮助大家理解移动平均，指数平滑，平稳性，自相关，SARIMA，通过案例和Python编程实现时间序列的预测技术。无论我们是预测金融市场或股票趋势，或是电能耗费

数据分析学习总结笔记02：聚类分析及其R语言实现1.聚类分析概述1.1聚类分析简介1.2聚类分析原理1.3聚类&分类1.4如何刻画相似度？

数据分析学习总结笔记06：T检验的原理和步骤1单样本T检验1.1单样本T检验概念1.2单样本T检验步骤2独立样本T检验2.1独立样本T检验概念2.2独立样本T检验步骤1单样本T检验1.1单样本T检验概念目的

文章目录1空间地理相关性2技术性定义3空间相关类型4Moran’sI（莫兰系数）5空间自相关的应用6案例研究:意大利人口迁移分析7总结8实现工具1空间地理相关性地理空间自相关是指一个物体与附近其他物体的相似程度。通俗地说，它度量的是相近物体与其他相近物体的相似程度。地理信息系统的第一规则:一切事物都与其他事物相关联。但是相近事物比较远事物更相关(Waldor.Tobler，1970)。为了理解这个

数据分析学习总结笔记01：情感分析1.情感分析概述1.1什么是情感分析1.2情感分析的范畴1.3细粒度情感分析1.4情感分析的实际应用2.情感分析方法2.1情感分析基本步骤2.2情感分析分类2.2.1基于情感词典