python大数据-图表展示某网站二手商品7天内发帖情况

目标：

展示7天内 手机 电脑 的发帖情况

工作流程

清洗数据，更新数据，数据可视化

步骤

import pymongo
import charts
from datetime import timedelta,date

client = pymongo.MongoClient('localhost', 27017)
ganji1 = client['ganji1_db']
item_info = ganji1['test2_item_info']

# 处理时间数据
for i in item_info.find({'pub_date':{'$in':['2016.01.07','2016.01.14'] } }, {'area':{'$slice':1}, '_id':0, 'price':0, 'title':0, 'url':0,'look':0} ).limit(5):
    print(i)

结果如下:
{'pub_date': '2016.01.14', 'area': ['朝阳'], 'cates': '家电'}
{'pub_date': '2016.01.14', 'area': ['海淀'], 'cates': '台式机/配件'}

# 清洗分类
#for i in item_info.find():
    #category = i['cates'][2][4:]
    #print(category)
    #item_info.update_one({'_id':i['_id']}, { '$set':{'cates':category} })  # 数据更新完这段要即刻注销，防止误伤数据，如果2次执行，它就会再次修改数据

for i in item_info.find():        
    frags = i['pub_date'].split('-')    # 分割会产生列表，这样就会生成一个切成3个元素的列表,如果不分割直接打印则对应字符串*
    if len(frags) == 1:
        date = frags[0]  # 原样输出
    else:
        date = '{}.{}.{}'.format(frags[0],frags[1],frags[2])
    #print(date)   
    #item_info.update_one({'_id':i['_id']}, { '$set':{'pub_date':date} })   # 更新到数据库，注意记忆,然后再用上方函数查看数据库更新与否

a = timedelta(days = 1.5)   # 它的功能是能让时间加减，具体怎么加减转换格式是它的事，不用操心
print(a)

1 day, 12:00:00

def get_all_dates(date1, date2):
    the_date = date( int(date1.split('.')[0]), int(date1.split('.')[1]), int(date1.split('.')[2]) )
    end_date = date( int(date2.split('.')[0]), int(date2.split('.')[1]), int(date2.split('.')[2]) )
    days = timedelta(days = 1)  # 定义days表示一天
    while the_date <= end_date:
        yield( the_date.strftime('%Y.%m.%d') )   # yield 每执行一圈程序，存储一个值，所以它记录了整个过程，也就是每一天
        the_date = the_date + days

for i in get_all_dates('2016.1.14', '2016.1.18'):
    print(i)

测试一下，结果如下：
2016.01.14
2016.01.15

def get_data_within(date1,date2,cates):
    for cate in cates:
        cate_day_posts = []
        for date in get_all_dates(date1,date2):
            a = list(item_info.find({'pub_date':date, 'cates':cate}))   # 注意cates:cate，后面必须是cate才能计算数量，不然数量全是0
            cate_day_post = len(a)
            cate_day_posts.append( cate_day_post )
            #print('#'*20, date , cate, len(a), '#'*20)
        # 主体程序已完成，按照固定格式去调整数据，进行图示化展示
        data = {            # 这里犯了个错误，只缩进了一次，导致结果只显示一组数据。缩进2次就好了
            'name': cate,
            'data': cate_day_posts,
            'type': 'line'
        }
        yield data

#get_date_within('2016.1.1', '2016.1.10', ['笔记本'])
for i in get_data_within('2016.1.1', '2016.1.10', ['笔记本','家电','手机']):
    print(i)

测试结果如下：

 #  这里是上述代码执行的结果，也就是图表化必须的格式，注意data 后为 列表格式
{'name': '笔记本', 'data': [46, 53, 53, 84, 50, 70, 75, 91, 95, 141], 'type': 'line'}
{'name': '家电', 'data': [328, 356, 398, 469, 581, 941, 819, 820, 1012, 961], 'type': 'line'}
{'name': '手机', 'data': [82, 105, 118, 103, 92, 96, 110, 83, 73, 95], 'type': 'line'}

图表化展示

options = {   #  标准化套路
    'chart'   : {'zoomType':'xy'},
    'title'   : {'text': '发帖量统计'},
    'subtitle': {'text': '可视化统计图表'},
    'xAxis'   : {'categories': [i for i in get_all_dates('2016.01.01','2016.01.07')]},
    'yAxis'   : {'title': {'text': '数量'}}
    }

series = [i for i in get_data_within('2016.01.01','2016.01.07',['手机','笔记本','家电'])]

charts.plot(series, options=options,show='inline')
# options=dict(title=dict(text='Charts are AWESOME!!!'))

图示