用Python爬数据，FineBI做分析后，我发现淘宝的手机原来这么便宜

最近想入手一台新手机，考虑到国产手机今时不同往日，无论是销量还是话语权在世界上都足够的分量，欧洲华为，印度小米，美国一加，国产手机以极为迅猛的速度攻占世界各地的手机市场。作为历来支持国产手机的忠实用户，结合对国产手机的基本认知，准备从华为、小米、OPPO、VIVO四大国产手机中做出抉择。

为了能够用数据体现这四家手机产品市场的销量、价格等真实情况，由于Python语言简明便捷，小编这边准备使用Python来对“某宝”平台进行手机相关的数据爬取。

数据可视化分析方面，虽然Python提供的numpy、pandas、matplotlib等第三方库来对数据进行计算处理，同时最终生成所需要的可视化报告，但是做出的图表缺乏动态交互，图表样式属性设置等方面也比较繁琐，并且不便进行深入的OLAP多维分析，所以这边直接使用FineBI工具来对从“某宝”平台爬取过来的手机数据进行数据分析统计。

原理介绍

 

这次的诉求很简单，就是想看看国产机子的销量排名和售价情况。

数据层方面会先通过Python抓取到WEB端的网页数据，之后对爬取到数据进行解析再而存储到MYSQL数据入库。最后应用层的数据处理、数据计算统计、图表可视化呈现等工作全都交由我们的FineBI工具完成。

操作步骤

1.引入相关Pyhon库包，编写MySQL数据入库函数

 

首先新建python工程，引入本次爬取网页数据和写入MySQL数据库所需要的pandas、re、request、pymysql这四个相关库包：

import pandas

import re

import requests

import pymysql

def ExecuteSQL(title,price,sales): #写入数据到mysql数据库

conn = pymysql.connect(host='xxx.xxx.xxx.xx', port=xxxx, user='xxxx', passwd='xxxx', db='xxxx', charset='utf8') #对应xx参数值修改成自己数据库的即可

cursor = conn.cursor()

# cursor.execut