requests 抓取不到网站的信息 - python论坛 - 经管之家

› 论坛 › 数据科学与人工智能 › 数据分析与数据科学 › python论坛

requests 抓取不到网站的信息

1255

3

收藏 2018-01-08

import re
import requests
r=requests.get('https://s.taobao.com/search?q=python&s=1&ie=utf8')
r.encoding = 'utf-8'
print(r)
print(r.url)
print(r.text)

LZ是小白，刚开始学python,print(r.text)没办法得到网站的信息，请问该怎么办？

附件列表

原图尺寸 6.8 KB

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

2018-1-9 13:41:34

刚刚测了下，需要带cookie访问。使用参考http://www.python-requests.org/en/master/user/quickstart/#cookies

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2018-1-10 11:11:50

gjinwei 发表于 2018-1-9 13:41
刚刚测了下，需要带cookie访问。使用参考http://www.python-requests.org/en/master/user/quickstart/#cook ...

非常感谢！
大神再请教一下，怎么判断一个网页登陆需要cookie?

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2018-1-10 13:11:00

yaoyinuo888 发表于 2018-1-10 11:11
非常感谢！
大神再请教一下，怎么判断一个网页登陆需要cookie?

先取得浏览器请求的所有参数，然后用工具不断去试，看网站怎么才有稳定返回，就像这样：

QQ图片20180110130803.png

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

栏目导航

热门文章

推荐文章

扫码加好友，拉您进群

各岗位、行业、专业交流群