全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 R语言论坛
2806 2
2018-03-17
> hospital_df <- data.frame()
> for (m in 1:length(hospital_url)){
+   fun2(url)
+   hospital_df <- rbind(hospital_df,fun2(url))
+ }
Hide Traceback

Rerun with Debug
Error in open.connection(x, "rb") : HTTP error 404.
10.
open.connection(x, "rb")
9.
open(x, "rb")
8.
read_xml.connection(con, encoding = encoding, ..., as_html = as_html,
    base_url = x, options = options)
7.
read_xml.character(x, encoding = encoding, ..., as_html = TRUE,
    options = options)
6.
read_xml(x, encoding = encoding, ..., as_html = TRUE, options = options)
5.
withCallingHandlers(expr, warning = function(w) invokeRestart("muffleWarning"))
4.
suppressWarnings(read_xml(x, encoding = encoding, ..., as_html = TRUE,
    options = options))
3.
read_html.default(str_c(url, "/tao.html"))
2.
read_html(str_c(url, "/tao.html"))
1.
fun2(url)


这是 对方网站设置的反爬 机制,还是我循环代码写的有问题???

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2018-3-18 07:21:22
fcfc2013 发表于 2018-3-17 23:20
&gt; hospital_df  for (m in 1:length(hospital_url)){
+   fun2(url)
+   hospital_df
设置爬虫循环每次运行间隔的时间;
那个函数和设置方法?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2018-3-19 08:13:10
先在浏览器中输入“http://要爬的网站/robots.txt”看看有没有禁止爬虫的协议?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群