李宏毅2020机器学习课程作业1

李宏毅2020机器学习课程作业1

平台：windows
编程软件：VScode

// A code block
# -*- coding: utf-8 -*-

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import math
import csv
def main():
    data = pd.read_csv('./train.csv', encoding = 'big5') #读取表格中的数据

    data = data.iloc[:, 3:] #数据处理，前三列的中文信息不要
    data[data == 'NR'] = 0 #数据处理，将数据中等于‘NR’的全部置为0
    raw_data = data.to_numpy() #将数据转化成numpy数组

    """
    将原始的 4320 * 18 的资料依照每个月份重组成 12 個 18 (features) * 480 (hours) 的资料
    """
    month_data = {} #建立一个字典
    for month in range(12):
        sample = np.empty([18, 480]) #随机创建一个数组
        for day in range(20):
            sample[:, day * 24 : (day + 1) * 24] = raw_data[18 * (20 * month + day) : 18 * (20 * month + day + 1), :]
        month_data[month] = sample

    """
    每个月会有 480hours，每 9 小时形成一个data，每个月会有 471 个 data，故总资料数为 471 * 12 笔，而每笔 data 有 9 * 18 的 features (一小时 18 个 features * 9 小时)

    对应的 target 则有 471 * 12 个(第 10 个小时的 PM2.5)
    """

    x = np.empty([12 * 471, 18 * 9], dtype = float)
    y = np.empty([12 * 471, 1], dtype = float)
    for month in range(12):
        for day in range(20):
            for hour in range(24):
                if day == 19 and hour > 14:
                    continue
                x[month * 471 + day * 24 + hour, :] = month_data[month][:,day * 24 + hour : day * 24 + hour + 9].reshape(1, -1) #转化成一个行向量
                y[month * 471 + day * 24 + hour, 0] = month_data[month][9, day * 24 + hour + 9] #value，将第10个小时的第10个特征，即PM2.5值赋给y

    """# **归一化**"""

    mean_x = np.mean(x, axis = 0) #18 * 9 ，列均值
    std_x = np.std(x, axis = 0) #18 * 9 ，列方差
    for i in range(len(x)): #12 * 471
        for j in range(len(x[0])): #18 * 9 
            if std_x[j] != 0:
                x[i][j] = (x[i][j] - mean_x[j]) / std_x[j]


    """将训练数据按照比例分为训练集和测试集
    """

    x_train_set = x[: math.floor(len(x) * 0.8), :]
    y_train_set = y[: math.floor(len(y) * 0.8), :]
    x_validation = x[math.floor(len(x) * 0.8): , :]
    y_validation = y[math.floor(len(y) * 0.8): , :]
    print(x_train_set)
    print(y_train_set)
    print(x_validation)
    print(y_validation)
    print(len(x_train_set))
    print(len(y_train_set))
    print(len(x_validation))
    print(len(y_validation))

    """
    因为常数项的存在，所以 dimension (dim) 需要多加一列；eps 项是避免 adagrad 的分母为 0 而加的极小数值。
    每一个dimension (dim) 会对应到各自的 gradient, weight (w)，通过一次次的 iteration (iter_time) 学习。
    """

    dim = 18 * 9 + 1
    w = np.zeros([dim, 1])
    x = np.concatenate((np.ones([12 * 471, 1]), x), axis = 1).astype(float) #进行行拼接
    learning_rate = 0.3
    iter_time = 5000
    lossl = np.zeros([iter_time,1])
    adagrad = np.zeros([dim, 1])
    eps = 0.0000000001
    for t in range(iter_time):
        loss = np.sqrt(np.sum(np.power(np.dot(x, w) - y, 2))/471/12)#rmse
        lossl[t] = loss
        if(t%100==0):
            print(str(t) + ":" + str(loss))
        gradient = 2 * np.dot(x.transpose(), np.dot(x, w) - y) #dim*1
        adagrad += gradient ** 2
        w = w - learning_rate * gradient / np.sqrt(adagrad + eps)
    np.save('weight.npy', w)
    plt.plot(lossl)
    plt.show()

    """**Testing**
    载入 test data，并且以相似于训练资料预先处理和特征提取的方式处理，使 test data 形成 240 个维度为 18 * 9 + 1 的资料。
    """

    testdata = pd.read_csv('./test.csv', header = None, encoding = 'big5')
    test_data = testdata.iloc[:, 2:]
    test_data[test_data == 'NR'] = 0
    test_data = test_data.to_numpy()
    test_x = np.empty([240, 18*9], dtype = float)
    for i in range(240):
        test_x[i, :] = test_data[18 * i: 18* (i + 1), :].reshape(1, -1)
    for i in range(len(test_x)):
        for j in range(len(test_x[0])):
            if std_x[j] != 0:
                test_x[i][j] = (test_x[i][j] - mean_x[j]) / std_x[j]
    test_x = np.concatenate((np.ones([240, 1]), test_x), axis = 1).astype(float)
    test_x

    """# **Prediction**
    有了 weight 和测试资料即可预测 target。
    """

    w = np.load('weight.npy')
    ans_y = np.dot(test_x, w)
    ans_y

    """# **Save Prediction to CSV File**"""

    with open('submit.csv', mode='w', newline='') as submit_file:
        csv_writer = csv.writer(submit_file)
        header = ['id', 'value']
        print(header)
        csv_writer.writerow(header)
        for i in range(240):
            row = ['id_' + str(i), ans_y[i][0]]
            csv_writer.writerow(row)
            print(row)

if __name__ == "__main__":
    main()

代码及数据集：
链接：https://pan.baidu.com/s/1-bBgIY3kXkVBXVecnHW3xA
提取码：aonp