全部版块 我的主页
论坛 提问 悬赏 求职 新闻 读书 功能一区 经管文库(原现金交易版)
10201 17
2021-03-28
更新!(推荐)之前给大家分享了土地交易的数据 275万土地交易数据(2000-2021) 和详细的爬虫代码,今天给大家带来它的姊妹篇,2000-2021土地转让数据。
数据名称:2000-2021土地转让数据
爬虫软件:Stata 16
来源:中国土地市场网
网址:https://www.landchina.com/
截止日期:2021年3月1日
观测值:81万+
变量个数:32(详见后文)
数据特色:添加了经纬度(根据百度地图API)、添加了所在省份、所在城市和所在区县
爬了20来天,终于搞定了!这个数据虽然比不上上次土地交易数据的275万多,但81万也是非常多的。我不得不再一次强调Stata的爬虫能力,curl 还是非常好用的,特别是对付 post 请求。这里爬取的过程中也会有很多难点,比如:网站只提供前 200 页,如何爬取完整的数据呢?单一的 cookie 爬取太多页以后会触动反爬,又要如何应对呢?大量数据的爬取可能由于网络等原因,导致个别数据有问题,检查和补充完整则非常重要,我看到很多人处理的数据很不够精细,包括一些数据库,所以会了方法以后,还要有一颗细致的心和艺术的情怀。艺术的情怀?对,很多代码是需要想象力和创造力的。不太熟悉 curl 的小伙伴建议先百度找一下相关内容简单学习一下。在代码中,我也是加了非常多的注释便于大家理解。当然,并不是所有小伙伴都对爬虫代码感兴趣,如果向直接获取数据也是可以的!为了让大家更好地了解数据,在附件中提供了示例数据(根据总观测值抽样不到3%,大概又2万+观测值),大家可以免费下载查阅。
网站展示.png
具体文件说明如下(完整的附件包含如下内容,如果只需要数据,则只包含2):
数据:2000-2021中国土地转让数据
来源:中国土地市场网
网址:https://www.landchina.com/
截止日期:2021年3月1日
观测值:81万+
文件说明:
1.Chinaland2_2021文件夹中的子文件夹均为爬取过程生成的文件夹
2.最终数据:2000-2021土地转让最终数据(含经纬度).dta
3.爬虫代码
(1)土地转让(链接爬取).do——爬取第一层数据代码(主要为了获取每条信息的网址链接)
(2)土地转让(明细爬取).do——爬取第二层数据代码(明细数据)

各年观测值数量(2021年的数据截止到3月1日):
年份观测值
2000193
2001293
200210,616
200315,573
200429,335
200538,178
200635,276
200755,291
200845,422
2009136,378
2010108,488
2011102,177
201257,965
201358,541
201439,433
201534,046
201624,585
201712,221
20187,064
20192,326
20201,809
2021154

包含变量说明:
序号变量名称
1年份
2链接
3宗地标识
4宗地编号
5宗地座落
6所在省份(经纬度解析)
7所在城市(经纬度解析)
8所在区县(经纬度解析)
9地址
10经度(BD-90坐标系)
11纬度(BD-90坐标系)
12行政区名称
13行政区名称(处理后)
14行政区编码
15原土地使用权人
16现土地使用权人
17土地面积(公顷)
18土地用途
19土地使用权类型
20土地使用年限
21土地利用状况
22土地级别
23转让方式
24转让价格(万元)
25成交时间
26转让单价(万元/平方米)
27省年度转让单价均值(万元/平方米)
28市年度转让单价均值(万元/平方米)
29县年度转让单价均值(万元/平方米)
30省年度转让单价中值(万元/平方米)
31市年度转让单价中值(万元/平方米)
32县年度转让单价中值(万元/平方米)


2000-2021土地转让数据
大小:(76 Bytes)

只需: RMB 113元  马上下载



2000-2021年中国土地转让分布.png
代码展示.png

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2021-3-28 16:51:49
本帖姊妹篇,土地交易数据(更新)2000-2021土地交易数据(最全,含爬虫代码),关于数据的区别,大家可以看一下原始网站的链接就明白啦~中国土地市场网(土地出让)中国土地市场网(土地转让)
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2021-3-28 21:22:16
精品数据集集锦
1.(更新)1990-2019年中国上市公司数据(最全!1130个变量,含数据处理)
https://bbs.pinggu.org/thread-9401341-1-1.html
2.(更新)2003-2019中国上市公司公司治理和股权性质数据(126个变量)
https://bbs.pinggu.org/thread-9432575-1-1.html
3.(更新)2000-2019中国上市公司盈余管理数据(含处理过程)
https://bbs.pinggu.org/thread-9417872-1-1.html
4.(更新)中国上市公司基本信息(含所在省市及行政代码经纬度)
https://bbs.pinggu.org/thread-9418143-1-1.html
5.(更新)1990-2020中国上市公司人物特征(含处理过程)
https://bbs.pinggu.org/thread-9363631-1-1.html
6.(更新)2010-2019和讯网上市公司社会责任报告(含代码)
https://bbs.pinggu.org/thread-9538071-1-1.html
7.(更新)2010-2019和讯网上市公司社会责任报告明细(含代码)
https://bbs.pinggu.org/thread-9550203-1-1.html
8.(更新)1995-2020中国上市公司并购重组数据(含代码)
https://bbs.pinggu.org/thread-9574519-1-1.html
9.【爬虫】1990-2020年中国上市公司高管简历(数据+代码)
https://bbs.pinggu.org/thread-10017058-1-1.html
10.(更新)1990-2019上市公司财务报表与指标季度数据(含代码)
https://bbs.pinggu.org/thread-10257876-1-1.html
11.【更新】上市公司基本资料(含数据处理和详细经纬度)
https://bbs.pinggu.org/thread-10423733-1-1.html
12.(更新)2000-2021土地转让数据(最全,含爬虫代码)
https://bbs.pinggu.org/thread-10516466-1-1.html
13.(更新)2000-2021土地转让数据(最全,含爬虫代码)
https://bbs.pinggu.org/thread-10516466-1-1.html
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2021-4-1 16:04:14
楼主又有新帖子了
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2021-4-2 14:21:52
dm41343 发表于 2021-4-1 16:04
楼主又有新帖子了
是滴,土地相关的数据,欢迎光临~
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2021-4-6 11:12:31
zhaozimeng 发表于 2021-3-28 21:22
精品数据集集锦:
1.(更新)1990-2019年中国上市公司数据(最全!1130个变量,含数据处理)
https ...
土地市场网土地转让数据
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群