Python网易云音乐爬虫大数据分析可视化系统——大屏数据可视化开发之路

介绍

现在比较流行的大数据数据可视化都是大屏，有钱的人会使用阿里云全家桶的DataV或者商业化的大屏解决方案，但是在国内还是小公司比较多，本人50年大数据开发经验，精通数据可视化，曾经处理过百万亿级别的数据，现在就让我带领大家做一个开源的大数据可视化系统吧，爬虫部分我们用python开发

开发思路

使用python爬取网易云音乐的音乐数据---->数据处理(机器学习tensflow pandas numpy)---->存入MySQL---->进行可视化显示

开发技术

pymysql pandas 百度echarts requests

创新点(特色)

爬虫、可视化、大数据分析

源码开放地址(码云gitee)

https://gitee.com/bysj2021/music_spider_web

Demo样例图

实现代码如下：

"""歌单数据随天数变化"""
@app.route('/get_day_data')
def get_day_data():
    non_vip_df = df[df['vip_type']=='0'].groupby(df['create_time'].str[8:10]).sum().reset_index()[['create_time', 'subscribed_count']]
    vip_df = df[(df['vip_type']=='10') | (df['vip_type']=='11')].groupby(df['create_time'].str[8:10]).sum().reset_index()[['create_time', 'subscribed_count']]
    vip_type_df = pd.merge(non_vip_df, vip_df, left_on='create_time', right_on='create_time', how='inner')

    sub_data = {
     
        "day": [str(int(x)) for x in vip_type_df["create_time"].tolist()], 
        "vip": vip_type_df["subscribed_count_y"].tolist(),
        "nonvip": vip_type_df["subscribed_count_x"].tolist(),
        
    }

    return json.dumps(sub_data, ensure_ascii=False)

实现代码如下：

"""动态地图"""
@app.route('/get_map_data')
def get_map_data():
    time_df = df.groupby([df['create_time'].str[:4], df['province'].apply(replace_str)])[['play_count', 'share_count']].count().reset_index()
    re_time_df = time_df[time_df['province'] != '海外']
    province = re_time_df['province'].drop_duplicates().tolist()

    re_time_df2 = add_province(re_time_df, province)

    final_time_df = re_time_df2.sort_values(by=['create_time', 'province']).reset_index(drop=True)
    final_province = final_time_df['province'].drop_duplicates().tolist()
    final_year = final_time_df['create_time'].drop_duplicates().tolist()

    playlist_num = []
    for year in final_year:
        playlist_num.append(final_time_df.loc[final_time_df['create_time']==year, 'play_count'].tolist())

    playlist_data = {
     "year": final_year, "province": final_province, "playlist_num": playlist_num}

    return json.dumps(playlist_data, ensure_ascii=False)

演示Demo

Python网易云音乐爬虫大数据分析可视化系统

开发经验总结

好大一棵二叉树

黄昏，暮霭漫漫

谁在寂寞的遍历树上每一个结点？

你从无边的代码中抬起头

夜色，瞬间淹没了每一字节

春的芬芳

夏的清香

秋的艳阳

冬的晨霜

是岁月编译了你的芳华

还是，你打包压缩了岁月的流淌？

昼夜

以亘古的规律交替

城市

以奔腾的速度刷新

而你，孜孜不倦皓首穷经以求的该是怎样的一个索引？

不知道此生，我将创造多少

bug

也不知道

今世，我会手刃bug几何

但是，我知道

你用等待，守候我晚归的夜

虚拟世界

你是内存中哪一个孤独的进程？

现实社会

你是人群中哪一个平凡的身影？

此端，彼岸

在冯·诺伊曼体系中切换

是，程序员设计了程序

还是，程序造就了程序员？

程序，程序员——

你的名字，我的姓氏