[Python]在Python中利用Pandas库处理大数据的简单介绍 - 经管之家

› 论坛 › 金融投资论坛六区 › 金融学（理论版） › 量化投资

[Python]在Python中利用Pandas库处理大数据的简单介绍

14936

61

收藏 2015-04-10

QQ截图20150410093203.png

【在Python中利用Pandas库处理大数据的简单介绍】只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类，这次决定采用Python来处理数据。

这篇文章简单介绍了在Python中利用Pandas处理大数据的过程,Pandas库的使用能够很好地展现数据结构,是近来Python项目中经常被使用使用的热门技术,需要的朋友可以参考下
在数据分析领域，最热门的莫过于Python和R语言，此前有一篇文章《别老扯什么Hadoop了，你的数据根本不够大》指出：只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类，这次决定采用Python来处理数据：
硬件环境
      CPU：3.5 GHz Intel Core i7
      内存：32 GB HDDR 3 1600 MHz
      硬盘：3 TB Fusion Drive
数据分析工具
      Python：2.7.6
      Pandas：0.15.0

      IPython notebook：2.0.0

本帖隐藏的内容

在Python中利用Pandas库处理大数据的简单介绍.docx
大小:(216.39 KB)

信息来源：脚本之家

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

2015-4-10 09:38:16

提示: 作者被禁止或删除内容自动屏蔽

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-10 09:40:10

auirzxp 发表于 2015-4-10 09:38

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-10 09:41:17

提示: 作者被禁止或删除内容自动屏蔽

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-10 09:42:03

提示: 作者被禁止或删除内容自动屏蔽

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-10 09:55:54

用SPSS能进行多大规模的数据处理？

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

2015-4-10 09:59:52

[handshake]

[em49]

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-10 10:13:22

斯男发表于 2015-4-10 09:55
用SPSS能进行多大规模的数据处理？

兄台参阅
http://www.ibm.com/developerwork ... /bd-spss/index.html

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-10 10:52:48

谢谢分享~~~

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-10 10:57:14

rrjj101022 发表于 2015-4-10 10:52
谢谢分享~~~

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-10 11:28:04

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-10 11:32:01

欢迎各位来量化投资分享学习心得，项目体会。鼓励原创，速发，重奖

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-10 11:33:59

提示: 作者被禁止或删除内容自动屏蔽

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-10 11:44:27

学习学习。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-10 11:58:44

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-10 14:52:44

谢谢分享

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-10 16:34:17

感谢楼主！感谢楼主！感谢楼主！感谢楼主！感谢楼主！

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-10 16:35:20

感谢楼主！感谢楼主！感谢楼主！感谢楼主！感谢楼主！

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-10 19:50:14

好好好

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-10 20:01:24

timing 发表于 2015-4-10 19:50
好好好

兄台的论坛币看的眼红

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-11 03:33:01

谢谢分享！

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-11 07:56:29

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-11 08:31:21

楼主厉害！

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-11 08:33:05

谢谢分享

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-11 08:41:13

LIXUANHANK 发表于 2015-4-11 08:31
楼主厉害！

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-11 10:49:23

一点点都看不懂

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-11 10:57:24

421073390 发表于 2015-4-11 10:49
一点点都看不懂

学习之嘛

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-12 15:11:58

看看先

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-14 17:19:21

关注一下

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2015-4-15 11:22:10

刚开始学习python+pandas ,非常感谢！

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

首页上一页下一页跳至第页

相关推荐

栏目导航

热门文章

推荐文章

扫码加好友，拉您进群

各岗位、行业、专业交流群