数据库存储方式:MySQL存储、MONGODB存储、Redis存储、json存储、视频存储、图片存储

1.mongo存储
导包
开始mongo数据库
import pymongo
链接
db = pymongo.MongoClient()['zhe']['lll']
dicts={
    'name':(变量名)
}
db.insert(dicts)

2:MySQL存储
py文件中的操作
连接
开启mysql数据库

connect = pymysql.connect(
                            host='127.0.0.1',
                            port=3306,
                            db='pp',
                            user='root',
                            passwd='123',
                            charset='utf8',
                            )

建立游标
cursor = connect.cursor()
写存储的sql语句
cursor.execute('insert into (表名)(id,name)value (%s,%s)',(id,name))
connect.commit()

3.存本地
shuju = open("  (存放路径) one.txt", 'a+', encoding='UTF-8')
shuju.write(text)
shuju.close()


4.存视频
with open(str('视频id') + '.mp4', 'wb') as f:
    f.write(requests.get('视频url').content)
    f.close()

5:Redis存储
    导包
    from redis import StrictRedis

    配置
    r = StrictRedis(host='127.0.0.1', port=6379, db=3)

    存储
    line = json.dumps(value,ensure_ascii=False)
    r.lpush('title',line)

6.json存储
    import json

    f = open('knewone.json','w+')

    data = json.dumps(item,ensure_ascii=False)
    #将数据写到json中
    f.write(data.encode('utf-8'))
    f.write('\n')

7:存储照片
        import os

        file_path = '{0}/{1}'.format(os.getcwd(),image_link[-13:])
        response = requests.get(image_link, headers=self.headers).content
        
        if not os.path.exists(file_path):
            with open(file_path,'wb')as f:
                f.write(response)

你可能感兴趣的:(爬虫,数据库)