全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 python论坛
923 1
2017-09-03
安装了anaconda最新的版本,64位,从数据库导入数据时发现很慢,大概130个字段,100万记录,后改从文本导入时间消耗还是差不多,运行过程中CPU使用率一直是100%,机器是8C的,为什么导入数据操作只能用到一个C,有没有可以加快速度的方法呢?  
  
多谢!
  
import pandas as pd
pd.read_sql(conn,"sql string")
  
pd.read_csv("/opt/data.csv",'|')
--
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2017-9-3 16:48:21
并行多进程导入csv转成pickle存起来,以后直接读pickle
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群