基于python+flask实现视频数据可视化

项目概要

对视频的标题,播放量,弹幕量以及收藏量,视频分类等数据进行分析。通过flask项目中的python代码进行数据库连接进行前后端交互功能的实现,通过layui框架进行系统前端页面的功能实现,通过knn分类算法以及k均值聚类算法对爬取的数据进行分析,最后通过前端页面对数据进行可视化展示。

基于python+flask实现视频数据可视化_第1张图片

项目设计

flask整体框架

使用工具pycharm创建flask项目,文件目录整体如下:

基于python+flask实现视频数据可视化_第2张图片

static: 存放静态文件,例如js,css,image等文件。

templates文件夹:用于放置html模板文件。

app.py: 工程主文件,用于存放配置项目,项⽬管理⽂件,通过它管理项⽬。

app.py主程序代码为

@app.route('/')

def hello_world():

    return 'Hello World!'

运行app.py程序运行项目,程序访问默认路径” http://127.0.0.1:5000/”,返回函数运行结果。

数据库设计

包括视频标题、视频播放量、投币量、收藏量、综合得分等基本信息,爬虫代码主要基于beautifulsoup技术编写实现。

类型

长度

小数点

不是null

标题

Varchar

255

0

播放量

Varchar

34

0

弹幕量

Varchar

34

0

收藏量

Varchar

34

0

综合得分

Bigint

20

0

视频地址

Varchar

73

0

分类

Varchar

34

0

 模块设计

首页设计

首页index.html使用layui框架实现前端页面的设置,使用flask框架语法将每个模块页面路径导入,运行程序时点击页面会直接跳转到对应的html页面,欢迎界面部分代码如下:

 数据搜索模块

在flask的py文件中连接数据库并读取数据库中college_score数据表返回json数据文件,在热榜视频.html页面送使用ajax读取json文件中json数据,并返回到前端,使用bootstrap table中的表格元素将数据以表格形式返回在前端中,同时设置添加查询功能,对视频进行查询。

读取数据表中每个字段的值,使用json.dumps方法将获取的数据转换为json数据格式,写入json文件中,主函数代码如下:

if __name__ == '__main__':

    # 调用函数

    jsonData = TableToJson()

    print(u'转换为json格式的数据:', jsonData)

    # 以读写方式w+打开文件,路径前加r,防止字符转义

    f = open(r'D:/Bdatas/data01.json', 'w+',encoding="utf-8") 

    f.write(jsonData)    # 写数据

    f.close()    # 关闭文件

在html页面中读取json数据展示到前端页面中,其中使用bootstrap table表格元素使数据以表格形式展示,需要引用js文件,引用代码如下:





    

    

    

对于ajax的实现需要引入jquery.js文件,jQuery是一个JavaScript库,有助于简化和标准化JavaScript代码和HTML元素之间的交互。

ajax实现页面与web服务器之间的数据传输,代码如下:

 数据可视化模块

数据可视化模块中基于echarts设计饼图、折线图、条形图、散点图以及绘制词云来实现数据的可视化展示。在数据清理阶段将干净的数据直接存储在csv文件中,编写Python代码读取csv数据集,创建DataFrame,首先创建SparkSession对象,代码如下:

#创建SparkSession对象

sc = SparkContext('local', 'spark_project')

sc.setLogLevel('WARN')

spark = SparkSession.builder.getOrCreate()

#创建DataFrame

df = spark.read.format('com.databricks.spark.csv')

.options(header='true', inferschema='true').load(

    'D:/SPARKFiles/listdata0012.csv')

之后可以进行函数模块定义进行数据提取。同时DataFrame数据也可以通过show()、drop()、withColumn()等方法实现数据展示、删除或转换数据类型等操作达到数据清理的目的,代码如下:

#删除不需要的字段

df = df.drop('types', 'bv', 'date', 'url', 'title', 'danmu', 'favorite', 'likes', 'replay', 'share', 'view')

#将字符串字段转换为整型

df = df.withColumn("coins", df["coins"].cast(IntegerType()))

#去除选择字段为空值记录

df = df.dropna(subset = ["author","mid","coins"])

#打印默认的字段类型信息

df.printSchema()

#打印前20条数据

df.show()

#打印总行数

print(df.count())

最后将清理后的数据存储在本地文件中,代码如下:

df.coalesce(1).write.option("header", "true").csv("D:/Bdatas/technology04")

该代码将数据存储到本地文件夹中,数据太多自动在文件夹中存储到分区文件中,coalesce(1)将分区合并为一个分区。

使用SQL语句根据指定字段对需要获取的数据信息进行整合,示例如下:

#播放量最高的10个视频

def maxplay():

    maxplayDF = spark.sql("SELECT title,MAX(replay) AS maxreplay FROM data GROUP BY title ORDER BY maxreplay DESC LIMIT 10")

    return maxplayDF.collect()

定义主函数,将各函数块提取出的数据存储到json文件中,部分代码如下:  

  def save(path, data):

        with open(path, 'w') as f:

            f.write(data)

if __name__ == "__main__":

    base = "static/json/"

    if not os.path.exists(base):

        os.mkdir(base)

    m = {

        "typeCount": {

            "method": typeCount,

            "path": "typeCount.json"

        } }

    for k in m:

        p = m[k]

        f = p["method"]

        save(base + m[k]["path"],

json.dumps(f(),ensure_ascii=False))

        print ("done -> " + k + " , save to -> " + base + m[k]["path"])

绘制词云图,读取json文件,基于base64绘制词云图片并嵌入html页面中,部分代码如下:

绘制散点图

为了更方便的可视化,选择两个维度分别是分享量和投币量,基于matplotlib画图,代码如下:

plt.figure(figsize=(10,8))     #画布大小

#绘制训练集数据

plt.scatter(x=t0["share"][:300],y=t0["coins"][:300],color="r",label="types")

plt.scatter(x=t1["share"][:300],y=t1["coins"][:300],color="g",label="types")

#绘制测试集数据

right = test_X[result == test_y]

wrong = test_X[result != test_y]

plt.scatter(x = right["share"],y=right["coins"],color="c",marker="x",label="right")

plt.scatter(x = wrong["share"],y=wrong["coins"],color="m",marker=">",label="wrong")

plt.xlabel("分享数")

plt.ylabel("投币数")

plt.title("KNN分类结果显示")

plt.legend(loc="best")

将绘制图形嵌入HTML页面,有方法:

html可以以base64代码的形式内嵌图片。具体形式为 matplotlib 的 pyplot.savefig() 函数可以将绘图窗口保存为二进制文件格式。

lxml 库的 etree 模块可以实现解析 HTML 代码并写入 html 文件

# figure 保存为二进制文件

buffer = BytesIO()

plt.savefig(buffer)

plot_data = buffer.getvalue()

#plt.show()  # 显示绘制出的图

# 图像数据转化为 HTML 格式

imb = base64.b64encode(plot_data)

ims = imb.decode()

imd = "data:image/png;base64,"+ims

test_im = """

Demo Figure

  """ + """""" % imd # lxml 库的 etree 解析字符串为 html 代码,并写入文件 html = etree.HTML(test_im) tree = etree.ElementTree(html) tree.write('demo.html')

项目地址:https://download.csdn.net/download/weixin_44355584/86733256

你可能感兴趣的:(python,大数据,flask,layui)