全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 数据分析师(CDA)专版
10651 13
2017-06-29

一、简介:

大家好,我是一言,只做实操分享。师从零一老师,用师傅的一句话与大家共勉:"时间是不会辜负你的"。

二、说明:

1.Excel Power Query爬取网页数据的强大之处不仅操作简单,而且后期只需要一键刷新即可实时更新

2.中间获取数据的时候,我是根据自己的需求来勾选数据

3.由于贝贝网的特卖宝贝每天都更新,所以会造成您做案例的时候和我做案例中的宝贝会不一样,忽略就好,只要过程没错,案例中的宝贝不影响最终的数据效果

4.按照此方法,可以获取贝贝网其他类目的销售情况,以及其他同类网站的数据

三、具体步骤如下:

(友情提示:操作步骤很详细,看起来有点繁琐,但只要你动手做,其实很简单)


1.打开贝贝官网:http://www.beibei.com/

2.对着网页鼠标右键,点击"检查"



3.点击"手机标志"


4.按F5刷新网页,右边列表区点击"Network",再点击"clear"



5.左边网页点击女装,左边网页往下拉直到底部,右边列表区点击 "JS" 出现数据


6.点击"1-15","preview","martshows"



7.右边列表区中的"1-15"、"2-15"..."17-15"中的数据均为左边网页女装类目中的内容


8.点击"Headers",复制"1-15"、"2-15"..."17-15"所有的Request URL发现,链接中只有页码在变化,其他都不变,所以页码就可以作为一个变量



9.桌面新建Excel,"数据","从表格",勾选"表包含标题"



10.页码列的格式换成文本



11.添加列,添加自定义列,复制"1-15"Request URL,点击确定

Json.Document(Web.Contents("http://sapi.beibei.com/martshow/search/"&[页码]&"-15-woman_dress--.html"))


12.点击"继续","公共"



13.展开自定义列,勾"martshows",点击确定 (取消勾选使用原始列名作为前缀)



14.接着展在"martshows",勾选"brand(品牌)","buying_info(正在购买人数)","mid(店铺id)",点击确定




二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2017-6-29 19:09:46
15.把"mid(店铺id)"的格式改成文本

16.切换到网页,点击第一个宝贝


17.左边网页往下拉直到底部,右边列表区点击 "JS" 出现数据


18.点击"263710-1-20...","preview","martshow_items"


19.列表区中"1-20"..."17-20"的数据均为左边网页中的内容

(左边网页里的内容,能在右边列表区中找到,此URL就是我们要找的URL)


20.点击Header,复制Request URL


21.切换到excel,把复制好的URL复制到"自定义添加列"中去

Json.Document(Web.Contents("http://sapi.beibei.com/martshow/item/v3/"&[mid]&"-1-20-hot-0--0-0--0.html"))

用"mid(店铺id)"替换"263710"


22.展开"自定义列",勾选"martshow_items",点击确定

(取消勾选使用原始列名作为前缀)


23.接着展开"martshow_items",勾选"iid(商品id)","price(折扣价)","price_ori(原价)","sale_tip(折扣)",点击确定


24.把"iid(商品id)"的格式改成文本


25.切换到网页,点击第一个宝贝


26.左边网页往下拉直到底部,右边列表区"JS"出现数据


27.点击"183682...","preview",列表区的数据均为左边网页中的内容

(左边网页里的内容,能在右边列表区中找到,此URL就是我们要找的URL)


28.点击Header,复制Request URL


29.切换到excel,把复制好的URL复制到"自定义添加列"中

Json.Document(Web.Contents("http://sapi.beibei.com/item/detail/new/"&[iid]&".html"))

用"iid(商品id)"替换"18368838"


30.展开"自定义列",勾选"sold_num(销量)",点击确定

(取消勾选使用原始列名作为前缀)


31.点击"开始","关闭并上载至..."


32.加载到"表",点击确定


33.至此,贝贝网女装销售数据获取成功!

附件列表
零一会logo_03.png

原图尺寸 115.58 KB

零一会logo_03.png

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2017-6-29 19:11:55
如上所述~
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2017-6-29 21:01:03
Data-零一 发表于 2017-6-29 18:53
一、简介:大家好,我是一言,只做实操分享。师从零一老师,用师傅的一句话与大家共勉:"时间是不会辜负你的 ...
还不错呀
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2017-6-29 21:12:25
hjtoh 发表于 2017-6-29 21:01
还不错呀
谢谢关注
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2017-6-29 23:27:09
留下脚步
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群