Python 数据分析 | 机器学习 必备

相关文档查找


Python标准库中文文档:

        http://www.opython.com/docs/python/3.8/library/index.html

Python 第三方库官方地址:

        https://pypi.org/

Python 第三方库 whl 文件下载地址:

        https://www.lfd.uci.edu/~gohlke/pythonlibs/

Python 基础合集 2023-08-10


Python 数据分析必备


Python math模块:数学函数功能详解

      基础数学函数计算功能;包括表示函数、三角函数、幂函数、对数函数、角度和弧度的转换、双曲函数、伽马函数、常数的表示等。

Python 开发工具Anaconda功能介绍

    python数据分析必备的软件功能简介,集成了IPython、jupyter notebook 、spyder等解释器,还提供了虚拟环境管理的功能。

Python numpy模块功能详解

      数据分析基础第三方库,numpy数组的计算。

Python pandas模块(一): Series数据类型介绍

      pandas.Series数据类型创建、使用。

Python pandas模块(二): DataFrame类型详解

    pandas.DataFrame数据类型创建、使用,dataframe基本属性介绍。DataFrame是后续计算分析和机器学习的基础,数据处理基本上都是把数据读取为DataFrame之后再进行各种加工处理。

Python pandas模块(三): 使用pandas进行简单数据处理

      pandas对数据进行预处理。包括数据加载(读取);数据清洗(缺失值处理、无效异常值处理、重复值处理、唯一值处理等);数据过滤方法(条件获取、query方法);数据转换(基本运算、map映射、applymap运算、替换);数据矢量化运算;数据集合并的方法(merge、join、concat、append)。

Python pandas模块(四): MultiIndex多层索引

      多层索引设置;索引转换;索引排序 sort_index;索引堆叠 stack ;设置索引 set_index 和 reset_index。

Python panda模块(五): groupby分组聚合
      groupby分组;groupby之后的迭代输出;分组聚合功能;分组对象的属性和方法;分组方式;agg聚合;分组聚合中apply的使用。

Python pandas模块思维导图

      pandas飞书思维导图

Python pandas数据分析基础100问(有重复)

      pandas基础100问,问题来自B站视频

Python matplotlib 数据可视化

      matplotlib可视化基础用法

scikit-learn常用算法

      如何成为一个sklearn调包侠

Python时间日期处理datetime模块

        datetime模块功能解析。结合pandas常用小工具。


机器学习


一起啃西瓜书:《机器学习》西瓜书学习笔记

《机器学习实战》笔记:《机器学习实战》学习笔记,Python实现机器学习基础算法;


数据库


MySQL

MySQL(一) 安装、基本概念

      mysql安装教程;mysql基本概念:运算符、数据类型、约束条件。

MySQL(二)增删改查(CRUD)

      mysql数据库增删改查基础语法;账户管理、数据库命令、表命令、备份与恢复、执行计划;数据插入与删除;数据修改(更新);查询语句;分组聚合;排序;表连接;字符串函数;数学函数;时间函数。

MySQL(三)事务、锁、存储过程

事务(特性:原子性、一致性、隔离性、持久性,事务语句);锁(MySQL的锁机制、排他锁、共享锁);存储过程(存储过程、存储函数、触发器);MySQL优化思路。

MySQL(四)Python操作MySQL数据库

准备工作(安装必备第三方包);创建连接对象(创建对象、对象的方法);游标对象(创建对象、对象的方法、对象的属性);使用python对MySQL进行增删改查示例;增删改查封装;Python数据库连接池。

MySQL(五)pandas实现mysql数据库的导入导出

        python + pandas 实现MySQL数据的批量导入导出

                1、将sql查询结果导出为文件;

                2、将sql查询结果转为DataFrame;

                3、数据文件导入到MySQL;

                4、DataFrame数据集导入到MySQL;

                5、执行样例

Hive

Hive常用字符串处理方式

        字符串长度(length);字符串反转(reverse);字符串拼接(concat);字符串截取(substr, substring);小写字母转大写(upper, ucase);大写字母转小写(lower, lcase);去除空格(trim, ltrim, rttrim);正则(regexp_replace, regexp_extract);URL解析(parse_url);json解析(get_json_object);空格(space);重复(repeat);ASCII码(ascii);补足(lpad, rpad);字符串分割(split);集合中查找(find_in_set)。

HIVE SQL笔记

        《Hive 编程指南》学习笔记。


小杨笔记


【python 时间处理】datetime、time、date

        datetime、time、date模块对时间日期数据处理方式;pandas模块对时间格式数据加工方法。

【python 小工具】生成等差数列、等比数列;警告与报错;保存模型

        使用python生成等差数列、等比数列,各种方法的区别;如何处理警告和程序报错问题;使用sklearn训练好模型之后,如何将模型保存下来。

【python pandas】提取行列、修改列名

        pandas提取dataframe中的行和列,甚至是单元格,loc\iloc方法;dataframe重新设置列名或是仅修改一两个字段名。

【python pandas】合并dataframe数据集

        pandas合并dataframe的几种方法:merge、concat、append、join;多个Serise合并成DataFrame。

【pandas】分组聚合groupby的用法

        使用groupby做分组聚合计算。

【python】创建路径、excel同时写入多个sheet表、手机号解析

        os模块创建文件目录;pandas批量将多个数据集写入到多个sheet表中;手机号码解析出运营商信息(手机号注册省、市、运营商、区域邮编、区域编码)。

【pandas】重塑、透视、交叉:stack,unstack,pivot,pivot_table,crosstab

        stack和unstack多层索引的堆叠和拆堆;pivot表格重塑;pivot_table数据透视表;crosstab数据交叉表。

【数据预处理 标准化】StandardScaler中的std参数和pandas中的std计算方式上的区别

        numpy中std方法和pandas中std方法的区别。

正则表达式以及在python中的使用

        正则表达式思维导图;在python中使用正则表达式的方法。

Linux 基础命令速查

    • 文件目录;

    • yum命令:显示 yum 仓库,安装程序包,查看文件来源,包组相关的命令;

    • 文件详解:普通文件、目录文件、连接文件和特殊文件;一般属性,文件访问权限;

    • 常用命令:系统信息,关机重启注销,文件和目录,文件搜索,文件的权限,文件的特殊属性,查看文件内容,文本处理,挂载一个文件系统,磁盘空间,用户和群组,打包和压缩文件,RPM包管理工具,YUM包管理工具,DPKG包管理工具,APT 软件工具,字符设置和文件格式转换,文件系统分析,初始化一个文件系统,SWAP文件系统,备份,光盘,网络和进程管理,常见系统服务命令;

Excel 常用公式速查

    • 查找 & 匹配:vlookup,hlookup,lookup,match,index,find,search;

    • 文本提取:left,mid,right;

    • 文本替换:substitute,replace,删除所有数字,删除所有字母,电话号码升位,trim / ltrim / rtrim;

    • 大小写转换:upper,lower,proper;

    • 字符串长度:len,lenb,提取姓名;

    • 格式自定义:text;

    • 字符串拼接:& 符号,concat / concatenate,textjoin

    • 文本填充:rept;

    • 逻辑运算:exact,= 等号,if,ifs,countif,countifs,and,or;

    • 数学运算:mo,isodd,iseven,count,counta,countblank,sum,sumif,sumifs,average,averagea,averageif,averageifs,stdev,round,sqrt,trunc,int,randbetween,rand,product,sumproduct,sumsq,sumx2py2,sumx2my2,sumxmy2,max,min,row,column,offset,subtotal;

    • 数据库函数:dsum,dget;

    • 日期处理:today(),now(),datedif,days,year,month,day,date,weekday;

    • 排序:rank;

    • 通配符:? 问号,* 星号;

    • 错误值类型;

    • excel函数常用参数;

你可能感兴趣的:(Python,数据分析,机器学习,python,数据分析,机器学习)