全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 SPSS论坛
3951 5
2014-11-16
大数据资源有哪些?比如Data.gov,data.un.org/,data.worldbank.org/,还有哪些?最好整理成一个导航网页
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2014-11-16 18:30:08
除了互联网数据,还有基因数据
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2014-11-16 18:30:12
除了互联网数据,还有基因数据
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2014-11-16 18:44:47
各种渠道的数据都是大数据资源吧
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2014-11-16 18:58:59
数据在以前并没有被认为是一种资源,而是被认为是一种使用资源的物品。但是,我们看到现在的数据已经被认为是一种资源,这是我们可以利用并从中获得价值和知识的一种资源。我们将数据资源同我们所用的时间、空间资源结合在一起形成一个系统,从而使我们做出适时的、节约成本、高质量的决定和结论,因此我们必须以不同方式进行权衡。但是数据资源和时间、空间资源有很大的不同。如果我给你更多的时间和空间你会更开心,但是数据却不是这样,并不是给你越多的数据你就会越开心。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-10-31 08:46:28
一篇好文,百度经验上的


大数据时代攻略:如何找数据/交易数据
出自:http://jingyan.baidu.com/article/00a07f386f731282d028dcef.html


数据被誉为新时代的石油,随着大数据市场的发展,数据开始流通,越来越多人也开始挖掘数据的价值。本文尽可能全面地介绍国内的数据源、搜索数据的方法以及数据交易的平台,帮助数据工作者们快速全面地找数据。文中涉及的数据交易方式包括API数据接口、数据包下载、数据定制等,涵盖免费的公开源数据以及付费数据。

工具/原料
    1.机器:文中谈论的数据均为“大数据”范畴,供机器处理的格式,非人眼读取
    2.接口:API数据需要自备接口才能使用,通常按调用量收费
    3.处理:想榨取数据的价值,需要大数据技术和工具,文中提到的部分平台提供大数据技术的交易,或者需要大数据工具的时候直接搜索一下

一、统计数据

1.国家统计局/国家数据
最正统、最官方的数据,数据范围涵盖各行各业,时间跨度也较大,可下载为各种常见格式
2.政府各部门
政府网站通常有统计数据,但不同部门数据量有多有少,目前为止数据并不算深入,但随着数据开放政策的深入,相信政府网站会成为很好的数据源
部门列表可以在中国政府网找,下文中的各行业数据都可以在相关的部门网站找到数据,就不一一列举了
3.行业协会
数据需要申请或购买,公开的并不多,但不失为一个选择
4.咨询公司
咨询、金融、市场调研公司,尤其是业内顶尖的,通常有自己的数据,但同样并不免费公开,部分数据可购买
5.年鉴
大部分主要行业都有自己的年鉴,数据比较宝贵,只是给机器用之前还需要处理;价值高的年鉴通常需要付费获取;这里推荐一下人大经济论坛,氛围较好


二、数据交易平台

【政府牵头】
1.地区性数据交易平台:贵州、上海、北京、江苏、武汉、哈尔滨、海南等
2.模式:部分采用会员制,提供交易的场所以及必要的技术支持,收取交易费;部分仅提供在线交易平台
3.特点:享有庞大的政府数据资源,并且联合各行业的龙头企业
(此处参考“北京秋”的文章“走马观花:国内各路大数据交易平台现状”)

【API平台】
1.列表:apistore、京东万象、聚合、阿凡达、showapi、haoservice、极速数据、apix、通联数据商城
2.模式:按调用量收费
3.特点:即时性很好,质量相对有保障,并且可以更大程度保护数据所有者的权益

【淘宝模式】
1.列表:数粮、数据宝(、淘宝)
2.模式:数据商入驻,创造良好的交易环境、鼓励交易
3.特点:数据范围较广、态度开放,比起到处搜罗数据方便很多,有潜力进一步发展

【数据包定制/下载】
1.列表:数多多、大海洋、发源地
2.模式:以数据下载和定制为主
3.特点:有一定的固定用户不断提供新鲜数据,可以定制采集

【其他】
1.列表:数据堂、优易数据、数据淘
2.特点:目前的数据平台(包括未列举的和不断出现的新兴平台)都比较有自己的特点,希望这些平台能够共同推动数据市场的成熟


三、各行业数据源

【财经数据】
1.经济数据库:CEIC、国泰安、锐思、资讯行
2.监管部门:证监会、上交所、深交所(巨潮)、股转系统、大商所、郑商所网站
3.金融市场网站:中国货币网、中国债券信息网、上海期货/黄金交易所
4.财经终端:不少免费版的财经/股票终端都可以导出数据,属优质数据源
5.门户网站:如新浪财经可以下载大量的证券数据
6.通联:类似quandl提供不少财经api接口
7.量化交易平台:近几年新兴的技术产品,可以在这类平台上获取大量历史数据
8.投融资:IT桔子、清科数据库
9.国外资源:WITS,WORLD BANK,IMF,YAHOO,Quandl(大量财经api接口,可导出各种格式)等

【贸易数据】
1.海关总署、海关统计资讯网、海关信息网有不少数据,部分免费(商务部网站中有大量数据,但目前不能下载或调用)
2.综合性网站:慧聪、卓创资讯,但可惜大部分数据只能浏览
3.数据商:可以在百度和上面提到的数据平台上找到不少这类的数据撮合商(一般高质量的数据需要付费获取)
4.国外数据:WTO,UN COMTRADE有大量高质量的数据

【第一第二产业】
1.农业数据:目前以统计数据为主,行业门户网站和细分领域网站(如中华粮网)的数据通常无法直接调用,只能在线浏览,但不妨保持对这些网站的关注
2.农业数据提供商:如艾格农业、布瑞克,但目前数据的总体质量达不到预期
3.工业数据:和农业数据的情况类似,也只有少数数据商,如钢联、煤炭资源网等
(传统领域的数据,随着物联网技术的发展,获取难度会降低、应用价值将提高,预计在未来会有不错的上升空间)

【其他传统行业】
1.地产数据:CRIC、中指是主要信息商
2.物流运输:快递行业得益于电商的带动,有不少API接口,可以百度之;但包括交通运输部、海事局在内的网站,都很难得到有价值的物流数据
3.地图数据:目前可以找到不少地图api接口(如百度、高德、腾讯),但地图数据商并不多(代表企业有四维图新、中科宇图等)
4.吃穿住行:此类数据主要出现在上面提到的api接口平台(如天气、交通、酒店等)

【互联网企业】
由于行业的天然属性,IT企业都较重视自身的数据,因此在公开源很难找到相关的数据源,大部分知名企业选择以api接口的形式(或营销行业的DMP)供外部合作伙伴调用自身的数据,例如淘宝api、携程api、豆瓣api等

【科研数据】
这部分数据的共享性质更突出,而且数据体量较大,未来作者会在合适的时候单论一篇;目前也已经有一些相对活跃的数据流通领域(如遥感数据,已经有中国资源卫星应用中心、遥感集市、地理空间数据云等平台撮合交易)
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群