Python 学第三方库的学习安装

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

Python 学习过程中第三方库的学习应用

---

提示：以下是本篇文章正文内容
使用国内镜像源会加速安装进程，

# 举例，安装PyPDF2
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ PyPDF2

一、pyspark是什么？

二、pyspark使用步骤

1.引入库

代码如下（示例）：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark

from pyspark import SparkConf,

2.读入数据

代码如下（示例）：

os.environ['PYSPARK_PYTHON'] = "D:/Soft/anaconda/python.exe"
conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)

# 准备一个rdd
rdd = sc.parallelize(["itheima itcase 666", "itheima itheima itcase", "python itheima"])

# 把数据中的rdd每一个单词提取出来
rdd2 = rdd.map(lambda x: x.split(" "))
# [['itheima', 'itcase', '666'], ['itheima', 'itheima', 'itcase'], ['python', 'itheima']]
# flatMap可以去除最外层嵌套
rdd2 = rdd.flatMap(lambda x: x.split(" "))
# ['itheima', 'itcase', '666', 'itheima', 'itheima', 'itcase', 'python', 'itheima']
print(rdd2.collect())

sc.stop()

该处使用的url网络请求的数据。

---

3.输出数据

代码如下（示例）：

# ['itheima', 'itcase', '666', 'itheima', 'itheima', 'itcase', 'python', 'itheima']
print(rdd2.collect())

sc.stop()

该处使用的url网络请求的数据。

---

三、pygwalker库的使用

import pandas as pd
import pygwalker as pyg

df = pd.read_csv(r"201101.cvs", parse_dates=['date'])
df.head()

pyg.walk(df)

主要做数据可视化，源数据采用cvs格式。可以拖拽式，组合展示，效果如下：