本文共 1235 字,大约阅读时间需要 4 分钟。
今天来做一个简单的网页采集器,即你输入想要查找的信息,让代码给你返回想要查找的信息对应的页面。
那怎么获取我们浏览器的User-Agent呢?
举个例子,我用的是火狐浏览器:如图:
其实加个UA伪装也只是公式里的一步而已,所以不要把UA伪装想得特别难
"""TOPIC: 简易网页采集器author: Bluetime: 2020-09-02"""import requestsif __name__ == "__main__": # UA伪装: 将对应的User-Agent封装到一个字典中 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:80.0) Gecko/20100101 Firefox/80.0' } # step1: 指定url url = 'https://www.sogou.com/web?' # 为了使采集器可以动态采集——处理url所携带的参数: 封装到字典中 keyword = input("请输入关键词: ") param = { 'query': keyword } # step2: 对指定的url发起请求,对应的url是带参数的并且请求过程中处理了参数 response = requests.get(url, params=param, headers=headers) # step3: 获取响应数据, text返回的是字符串形式的响应数据 page_text = response.text filename = "./html/" + keyword + '.html' with open(filename, 'w', encoding='utf-8') as fp: fp.write(page_text) print(filename, '保存成功!!')
这是未执行的代码,比如我比较喜欢华晨宇,所以我现在代码运行后,输入华晨宇三个字:
得到的网页是这样的:转载地址:http://rbiwi.baihongyu.com/