全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 R语言论坛
1547 4
2020-02-06
大神们可以帮忙看一下吗?用R进行网络爬虫时想插入一个for循环但不会写:
x=read.table("web2.txt",head=T) #文件里是3个网页链接
i=1:10;j=1:3
zsj1=data.frame()
zsj2=data.frame()
zsj3=data.frame()
for(i in 1:10){
        for(j in 1:3){
        web=read_html(str_c(x[j,],i),encoding="UTF-8")#x[j,]表示第j个链接
                title=web %>% html_nodes(".res-title") %>% html_text()#新闻标题
                sites=web %>% html_nodes(".res-linkinfo") %>% html_text()#新闻发布网站
                        sj1=data.frame(title,sites)
                                zsj1=rbind(zsj1,sj1)
}}

我想循环下来把从3个网页链接爬取的东西合到一个数据集里,但运行下来什么也没爬到。我令j=1时是可以得到结果的,所以我觉得循环的后半部分错了,有大神可以帮忙看看吗?谢谢啦!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2020-2-8 17:48:03
把你三个网页的连接贴出来看看
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2020-2-8 23:37:15
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2020-2-8 23:37:59
https://www.so.com/s?ie=utf-8&q=%E6%9D%AD%E5%B7%9E%E6%99%BA%E6%85%A7%E8%AD%A6%E5%8A%A1%E6%96%B0%E9%97%BB&adv_t=y
https://www.so.com/s?q=%E6%9D%AD%E5%B7%9E%E6%99%BA%E6%85%A7%E8%AD%A6%E5%8A%A1%E6%96%B0%E9%97%BB&pn=2&psid=27ad754a369ddf42776153ffd5537740&src=srp_paging&adv_t=y&fr=chrome_address_bar
https://www.so.com/s?q=%E6%9D%AD%E5%B7%9E%E6%99%BA%E6%85%A7%E8%AD%A6%E5%8A%A1%E6%96%B0%E9%97%BB&pn=3&psid=44ea8ae5b0638878c8036d432ef89656&src=srp_paging&adv_t=y&fr=chrome_address_bar
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2020-2-9 12:02:47
你应该遇到ajax了 现在网站反爬虫技术都很先进 你也不想想你怎么可能用这么两行玩意就能做个爬虫了
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群