爬虫写一个 “搜索引擎”，炒鸡简单。

 写搜索引擎前，我们需要简答了解一下flask 这个轻量级的web的框架，如果没有这个模块 只需要 pip install flask 即可

然后我们需要用html写一个最初的 搜索框，并且命名这个文件为sheng.html

    
    



    搜索：

    

>

接下来我吗就需要让这个 搜索框显示出来，这里用到flask，先引入一些包 然后用@app.route 让他显示

from flask import Flask
from flask import render_template
from spider import getBdMsg
from flask import request 

@app.route('/')
def index():
    return render_template('sheng.html')

这是最初的效果（水平还是比较菜的了）

 然后我们需要写一个爬取的网页，创建spider.py文件。去爬取现有的搜索引擎360.

import requests

'''
封装请求
'''
def getBdMsg(keyword):
        url = ('https://www.so.com/s?q={}'.format(keyword)) #keyword是最初的搜索框输入的东西
        
        headers = {
        'User-Agent':
        'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36',
        'ContentType':
        'text/html; charset=utf-8',
        'Accept-Encoding':
        'gzip, deflate, sdch',
        'Accept-Language':
        'zh-CN,zh;q=0.8',
        'Connection':
        'keep-alive',
        } #伪装用
        htmlcontet = requests.get(url, headers=headers, timeout=1)#获取网页
        htmlcontet.raise_for_status()
        htmlcontet.encoding = 'utf-8'#使网页变为tuf-8编码
        html = htmlcontet.text
'''替换一些东西'''
        html=html.replace('
','
')
        html=html.replace('','') 
        html=html.replace('360搜索首页','胜哥搜索首页')
        html=html.replace('360搜索','胜哥搜索')
        return html

if __name__ == '__main__':
    print(getBdMsg("python")) '''看一下是否爬取成功'''

然后在回到flsk这个文件中。继续用 @app.route 让他去显示爬取的网页

@app.route('/s')
def s():
    keyword = request.args.get('wd')#获取最初的搜索框输入的东西
    text=getBdMsg(keyword) #调用getBdMsg函数 取爬去网页
    return text

 最后if __name__=='__main__' 判断是否是py文件  来运行上面的 @app.route

if __name__=='__main__':
    app.run()

 最后的效果，你可以拿出去装逼了，属于自己的搜索引擎