全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 python论坛
2583 2
2019-02-02
   User-Agent :简称 UA ,它是一个特殊的字符串头,可以使服务器识别客户使用的操作系统及版本 浏览器及版本等信息 在做爬虫时加上此信息,可以伪装为浏览器;如果不加,很可能会被识别为爬虫。
1、查看某网页的Header,点击箭头指定的位置
tmp1.png
2、2、点击工具》开发人员工具
3、点击Network,然后点击F5
tmp2.png
4、查看到了User-Agent tmp3.png
5、python代码展现
import requestsfrom bs4 import BeautifulSouplink="https://movie.douban.com/top250"headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}r = requests.get(link, headers=headers)r.encoding = 'UTF-8'print(r.text)

附件列表
tmp2.png

原图尺寸 41.11 KB

tmp2.png

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2019-2-2 11:21:27
import requests
from bs4 import BeautifulSoup
link="https://movie.douban.com/top250"
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
r = requests.get(link, headers=headers)
r.encoding = 'UTF-8'
print(r.text)
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2019-2-2 11:55:16
joy0519 发表于 2019-2-2 11:18
User-Agent :简称 UA ,它是一个特殊的字符串头,可以使服务器识别客户使用的操作系统及版本 浏览器及版 ...
关注!!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群