爬虫过程中数据缺失

2923

收藏 2018-09-13

悬赏 20 个论坛币已解决

当前使用的python版本是3.6

from bs4 import BeautifulSoup
import requests
url = "http://news.cdu.edu.cn/index.php?m=news&a=slist&cat_id=2"
r = requests.get(url)
r_text = BeautifulSoup(r.text, "lxml")
titles = r_text.select("li > a.fl")

# 可以打印出全部20条爬取的信息
for i in titles:
print(i.get_text())

# 只能存储第一条爬取的信息
for i in titles:
data = {'title': i.get_text()}

请问这是怎么回事啊，谢谢各位坛友的帮助。

最佳答案

fengxingliulizi 查看完整内容

for i in titles: data = {'title': i.get_text()} 以上代码是个很低级的错误，你对比一下下面的代码和上面的代码什么区别 data = [] for i in titles: dataone = i.get_text() data.append(dataone) data_dict = dict({'title':data})

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

fengxingliulizi

2018-9-13 23:15:52

for i in titles:
data = {'title': i.get_text()}

以上代码是个很低级的错误，你对比一下下面的代码和上面的代码什么区别

data = []
for i in titles:
dataone = i.get_text()
data.append(dataone)

data_dict = dict({'title':data})

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

杨Yuer参上

2018-9-27 20:55:55

你把字典中所有的key都设置同一个值....能有第二条数据吗

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

杨Yuer参上

2018-9-27 20:56:46

直接按照上面的坛友的方法, 放到列表里面吧

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

最佳答案

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

分享

扫码加好友，拉您进群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群