我用Python爬取美食网站3032个菜谱并分析,真香!

点击上方“Python爬虫与数据挖掘”,进行关注

回复“书籍”即可获赠Python从入门到进阶共10本电子书

江雨霏霏江草齐,六朝如梦鸟空啼。

我用Python爬取美食网站3032个菜谱并分析,真香!_第1张图片

这是巨变的中国,人和食物,比任何时候走的更快。近日,J哥为了寻味中国,奔走于某五线城市的大街小巷,结果除了累,啥也没寻到。

于是,J哥默默打开了各大美食网站,如豆果美食、下厨房、美食天下等。经过甄选,最终爬取了豆果网最新发布的中国菜系共3032个菜谱,然后清洗数据并做可视化分析,试图走上美食博主的康庄大道。

数据获取

豆果美食网的数据爬取比较简单,如果您对爬虫感兴趣,可查看J哥往期原创文章「实战|手把手教你用Python爬虫(附详细源码)」,思路一致。

我用Python爬取美食网站3032个菜谱并分析,真香!_第2张图片豆果美食网

本次爬取的数据范围为川菜、粤菜、湘菜等八个中国菜系,包含菜谱名、链接、用料、评分、图片等字段。限于篇幅,仅给出核心代码。

 1# 主函数
 2def main(x):
 3    url = 'https://www.douguo.com/caipu/{}/0/{}'.format(caipu,x*20)
 4    print(url)
 5    html = get_page(url)
 6    parse_page(html,caipu)
 7
 8if __name__ == '__main__':
 9    caipu_list = ['川菜', '湘菜','粤菜','东北菜','鲁菜','浙菜','湖北菜','清真菜'] #中国菜系
10    start = time.time()  # 计时
11    for caipu in caipu_list:
12        for i in range(22):
13            # 爬取多页
14            main(x=i)
15            time.sleep(random.uniform(1, 2))
16            print(caipu,"第" + str(i+1) + "页提取完成")
17    end = time.time()
18    print('共用时',round((end - start) / 60, 2), '分钟')

爬虫核心代码

数据清洗

短短几分钟就爬下了3032个菜谱信息,为了方便可视化分析,还需要对爬取的数据进行简单清洗。

本文数据清洗主要用到Python的Pandas库,如果您对Pandas感兴趣,可查看J哥往期原创专辑「Pandas基础系列」,共五篇。

导入数据

用pd.read方法导入爬取到的菜谱数据,并添加列名。预览数据如下:

我用Python爬取美食网站3032个菜谱并分析,真香!_第3张图片

删除重复项

爬虫过程中少量菜谱数据被重复抓取,需要用drop_duplicates方法删除。

缺失值处理

通过info方法发现少量记录含有缺失值,用dropna方法删除。

评分字段清洗

爬取的评分字段含有多余的字符串且为object类型,需要替换多余字符串并转换为数字类型,方便后续计算。

添加用料数字段

为方便菜谱用料分析,需要根据用料字段计算出每个菜谱的用料数量。由于用料字段都是以逗号分隔,计算逗号数即可间接得到。

我用Python爬取美食网站3032个菜谱并分析,真香!_第4张图片

数据可视化

本文数据可视化主要用到pyecharts库,它能轻松实现酷炫的图表效果。如果您对可视化感兴趣,可查看J哥往期原创文章「数据可视化分析系列」,涉及地产、电商、招聘等各领域。

菜谱评分分布

 1from pyecharts import options as opts
 2from pyecharts.charts import Page, Pie
 3cut = lambda x : '4分以下' if x < 4 else ('4.1-4.5分' if x <= 4.5 else('4.6-4.9分' if x <= 4.9 else '5分'))
 4df['评分分布'] = df['评分'].map(cut)
 5df2 = df.groupby('评分分布')['评分'].count()
 6df2 = df2.sort_values(ascending=False)
 7df2 = df2.round(2)
 8print(df2)
 9c = (
10        Pie()
11        .add(
12            "",
13            [list(z) for z in zip(df2.index.to_list(),df2.to_list())],
14            radius=["20%", "80%"],# 圆环的粗细和大小
15            rosetype='area' #玫瑰图
16        )
17        .set_global_opts(
18            title_opts=opts.TitleOpts(title="菜谱评分分布"
19                                     ),
20            legend_opts=opts.LegendOpts(
21                orient="vertical", pos_top="5%", pos_left="2%" ,textstyle_opts=opts.TextStyleOpts(font_size=14)# 左面比例尺
22            ),
23
24
25        )
26        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=18),
27                      )
28    )
29c.render_notebook()

玫瑰图代码

我用Python爬取美食网站3032个菜谱并分析,真香!_第5张图片

菜谱评分分布玫瑰图

豆果美食网菜谱评分实行5分制。由上图可知,4分以下的菜谱占比不到2%,满分菜谱高达32.6%,可见用户对中国菜系菜谱评价普遍较高。

各菜系菜谱数量对比

 1from pyecharts import options as opts
 2from pyecharts.charts import Page, Pie 
 3df2 = df.groupby('菜系')['评分'].count() #按菜系分组,对评分计数
 4df2 = df2.sort_values(ascending=False) #降序
 5print(df2)
 6c = (
 7        Pie()
 8        .add("", [list(z) for z in zip(df2.index.to_list(),df2.to_list())])
 9        .set_global_opts(title_opts=opts.TitleOpts(title="各菜系菜谱数量占比",subtitle="数据来源:豆果美食"))
10        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
11    )
12c.render_notebook()

饼图代码

我用Python爬取美食网站3032个菜谱并分析,真香!_第6张图片

各菜系菜谱数量占比饼图

由上图可知,川菜和粤菜菜谱数量较多,显示出作为中国“八大菜系”成员的地位。湖北菜和清真菜菜谱数量较少,相对更为小众。

各菜系评分对比

 1from pyecharts import options as opts
 2from pyecharts.charts import Page, Pie
 3df2 = df.groupby('菜系')['评分'].mean()
 4df2 = df2.sort_values(ascending=False)
 5df2 = df2.round(2)
 6print(df2)
 7c = (
 8        Pie()
 9        .add(
10            "",
11            [list(z) for z in zip(df2.index.to_list(),df2.to_list())],
12            radius=["40%", "75%"],   # 圆环的粗细和大小
13        )
14        .set_global_opts(
15            title_opts=opts.TitleOpts(title="各菜系平均评分"),
16            legend_opts=opts.LegendOpts(
17                orient="vertical", pos_top="5%", pos_left="2%"  # 左面比例尺
18            ),
19        )
20        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{c}"))
21    )
22c.render_notebook()

环状图代码

我用Python爬取美食网站3032个菜谱并分析,真香!_第7张图片

各菜系平均评分环状图

由上图可知,各菜系评分非常接近,用户平均评分都在4.6分以上。相对一致的评分,导致通过用户评分来评价菜谱的可信度降低。

各菜系用料数量对比

 1from pyecharts.charts import Bar,Pie
 2from pyecharts import options as opts
 3df1 = df.groupby('菜系')['用料数'].mean() #按菜系分组,对评分计数
 4df1 = df1.sort_values(ascending=False) #降序
 5df1 = df1.round(0)
 6print(df1)
 7bar = Bar()
 8bar.add_xaxis(df1.index.to_list())
 9bar.add_yaxis("用料数量",df1.to_list())
10bar.set_global_opts(title_opts=opts.TitleOpts(title="各菜系用料数量",subtitle="数据来源:豆果美食"))
11bar.render_notebook()

柱状图代码

我用Python爬取美食网站3032个菜谱并分析,真香!_第8张图片

各菜系用料数量柱状图

由上图可知,川菜和东北菜用料较足。川菜素有取材广泛、调味多、菜式多样等特点,虽然东北菜没有排在传统的“八大菜系”中,但豪迈热情的东北人从不吝啬菜肴里的用料。

粤菜更注重菜品的原味鲜香,具有清、鲜、爽、嫩、滑等特色,因此用料相对更少。清真饮食风俗源于伊斯兰教,部分食材属于禁忌物,因此用料也不多。

川菜用料分析

1# 绘制词云图
2text1 = get_cut_words(content_series=df[df['菜系']=='川菜']['用料'])
3stylecloud.gen_stylecloud(text=' '.join(text1), max_words=1000,
4                          collocations=False,
5                          font_path='字酷堂清楷体.ttf',
6                          icon_name='fas fa-thumbs-up',
7                          size=653,
8                          output_name='./川菜.png')
9Image(filename='./川菜.png') 

词云图代码

我用Python爬取美食网站3032个菜谱并分析,真香!_第9张图片

川菜用料词云图

由川菜用料词云图可知,川菜主要用料包括花椒、豆瓣酱和干辣椒。不怕辣的四川人喜好种植花椒,四川火锅也因为有了花椒的加入更有吸引力,千千万万的海内外寻味者奔涌相随。

料实材真,一般都能出美味。川菜用料最足的菜谱为川味砂锅之足不出户的麻辣烫,共用料35种。

我用Python爬取美食网站3032个菜谱并分析,真香!_第10张图片

川味砂锅之足不出户的麻辣烫    图片来源:豆果美食

用料明细:毛肚,黄喉,鲜牛肉片,自制肉,鸭血,金针菇,平菇,豆芽,苕粉,冬笋片,白菜,莴笋叶,鹌鹑蛋(煮熟剥壳),猪骨汤,猪油,牛油,植物油(菜油上佳),姜片,大粒的蒜,郫县豆瓣,八角,茴香,桂皮,丁香,陈皮,香叶,白胡椒粉,冰糖,生抽,盐,葱结,花椒,干辣椒,鸡精丸,午餐肉

粤菜用料分析

我用Python爬取美食网站3032个菜谱并分析,真香!_第11张图片

粤菜用料词云图

由粤菜用料词云图可知,粤菜主要用料包括胡椒粉、五花肉和白糖。粤菜的圣地在顺德,粤菜注重质和味,口味相对清淡,力求清中求鲜、淡中求美。

粤菜用料最足的菜谱为广式肠粉,共用料23种。

我用Python爬取美食网站3032个菜谱并分析,真香!_第12张图片

广式肠粉    图片来源:豆果美食

用料明细:粉浆用料,粘米粉(米打的粉),澄面(小麦淀粉),土豆淀粉,粟米粉(玉米淀粉),水,酱汁用料,独头蒜,大蒜籽,姜片,香菜(不吃香菜的可用葱代替),鸡汤,鲜味生抽,老抽,蚝油,蜂蜜,鱼露(可不放),鸡精(个人喜欢就放,不放也很鲜了),水,肠粉里面放的料,肉末,鸡蛋,生菜叶

湘菜用料词云图

我用Python爬取美食网站3032个菜谱并分析,真香!_第13张图片

湘菜用料词云图

由湘菜用料词云图可知,湘菜主要用料包括辣椒、大蒜、花椒等。辣不怕的湖南人以辣椒为生,尤其以剁椒出名。J哥虽不是湖南人,但在湖南待了几年后,目前也成了个胖子。美食虽美,可不要贪多哦~

湘菜用料最足的菜谱为麻辣卤鸭三件,共用料20种。

我用Python爬取美食网站3032个菜谱并分析,真香!_第14张图片

麻辣卤鸭三件    图片来源:互联网

用料明细:鸭爪(清水泡一小时),鸭翅膀(清水泡一小时啊),鸭肠(洗干净后捆成一个个小捆),白芷,桂皮,香叶,大料(两个焯水用,三个卤用),干辣椒(根据个人喜辣程度放),小茴香,花椒,麻椒,草果,生姜(一块焯水去味用,一块卤用),蒜瓣(全部去皮),辣椒酱(根据个人喜辣放),老抽,生抽,料酒,白糖,盐

东北菜用料词云图

我用Python爬取美食网站3032个菜谱并分析,真香!_第15张图片

东北菜用料词云图

由东北菜用料词云图可知,东北菜主要用料包括土豆、面粉、胡萝卜等。东北菜在做法上也融合了一些宫廷菜点和汉族饮食所长,利用东北特产原料和纯绿色食品原料。土豆和胡萝卜在黑土地的孕育下为东北菜源源不断输送着美味配方。

东北菜用料最足的菜谱为翡翠白菜水饺,共用料20种。

我用Python爬取美食网站3032个菜谱并分析,真香!_第16张图片

翡翠白菜水饺    图片来源:豆果美食

用料明细:面皮制作,面粉(绿色面团所用),面粉(白色面团所用),小白菜叶(取汁),清水,馅料制作,猪五花肉,大白菜,胡萝卜,葱碎,姜沫,盐,生抽,老抽,蚝油,芝麻油,糖,鸡精,花椒粉,花生油

湖北菜用料词云图

我用Python爬取美食网站3032个菜谱并分析,真香!_第17张图片

湖北菜用料词云图

由湖北菜用料词云图可知,湖北菜主要用料包括糯米、花椒、面粉等。千湖之省湖北坐落于江汉平原,同时作为重要的商品粮基地,从来不缺美食原料。

湖北菜用料最足的菜谱为家常美味——香菇鸡肉面,共用料23种。

我用Python爬取美食网站3032个菜谱并分析,真香!_第18张图片

家常美味——香菇鸡肉面    图片来源:豆果美食

用料明细:鸡脯肉或鸡腿肉,香菇,刀削面或宽面,芹菜,青菜,郫县红油豆瓣,葱,姜,蒜,干辣椒,花椒,八角,老抽,生抽,料酒,淀粉,蛋清,十三香,白胡椒,鸡精,盐,蒜苗,香菜

浙菜用料词云图

我用Python爬取美食网站3032个菜谱并分析,真香!_第19张图片

浙菜用料词云图

浙菜主要用料包括白糖、冰糖、胡椒粉等。俗话说“上有天堂,下有苏杭”,素有鱼米之乡之称的浙江,赋予了浙菜丰富的原料。浙菜菜式小巧玲珑,菜品甜而不腻。

浙菜用料最足的菜谱为经典糖醋排骨,共用料17种。

我用Python爬取美食网站3032个菜谱并分析,真香!_第20张图片

经典糖醋排骨    图片来源:豆果美食

用料明细:猪肋排,小葱段(煮排骨用),姜(煮排骨用),料酒(煮排骨用),冷水,绵白糖,米醋,香醋,老抽,盐,绵白糖(浇汁用),米醋(浇汁用),香醋(浇汁用),淀粉(浇汁用),温水(浇汁用),食用油,熟白芝麻

鲁菜用料词云图

我用Python爬取美食网站3032个菜谱并分析,真香!_第21张图片

鲁菜用料词云图

鲁菜主要用料包括面粉、胡萝卜、蚝油等。鲁菜讲究原料质地优良,以本地用料为主。作为我国第二大小麦主产区,能够为面粉的制作提供充足的储备,同时还盛产胡萝卜、大白菜等蔬菜,成为鲁菜常用的配菜来源。

鲁菜用料最足的菜谱为大白菜炖牛肉,共用料28种。

我用Python爬取美食网站3032个菜谱并分析,真香!_第22张图片

大白菜炖牛肉    图片来源:豆果美食

用料明细:炖牛肉,牛肉,葱姜,小香葱,冰糖,八角,草果,小茴香,香叶,干辣椒,蒜,洋葱,油,生抽,甜面酱,番茄酱,盐,清水,啤酒,大白菜炖牛肉,大白菜,熟牛肉,牛肉汤,粉丝,食用油,葱花,水淀粉,盐

清真菜用料词云图

我用Python爬取美食网站3032个菜谱并分析,真香!_第23张图片

清真菜用料词云图

清真菜主要用料包括蛋白、蛋清、面粉等。在我国,包括回族、维吾尔族、哈萨克族等10个少数民族具有清真饮食习惯,清真菜最突出的特点在于饮食禁忌比较严格,因此在用料上明显与其他菜系有所区别。清真菜的口味偏重咸鲜,汁浓味厚,肥而不腻,嫩而不膻。

清真菜用料最足的菜谱为糖醋蛋白肉,共用料15种。

我用Python爬取美食网站3032个菜谱并分析,真香!_第24张图片

糖醋蛋白肉    图片来源:豆果美食

用料明细:蛋白肉,尖椒,小米椒,蒜瓣,小葱,食用油,糖,醋,蒸鱼豆豉,生抽,黄酒,番茄酱,淀粉,清水,盐

声明

1.本数据分析只做学习研究之用途,提供的结论仅供参考,美食的烹饪涉及的影响因素还有很多,请独立思考;

2.作者与豆果美食无任何瓜葛,只是他家数据比较全面且干净,便于数据分析,大家也可以去其他美食平台看看;

3.作者对传统美食文化了解甚微,相关描述可能存在不尽完善之处,请勿对号入座。

------------------- End -------------------

往期精彩文章推荐:

  • 手把手教你使用Flask搭建ES搜索引擎(实战篇)

  • 简述Python、Anaconda、virtualenv和Miniconda之间的区别

  • 【进阶篇】Python+Go——带大家一起另寻途径提高计算性能

欢迎大家点赞,留言,转发,转载,感谢大家的相伴与支持

想加入Python学习群请在后台回复【入群

万水千山总是情,点个【在看】行不行

/今日留言主题/

随便说一两句吧~~

你可能感兴趣的:(数据分析,python,数据挖掘,数据可视化,大数据)