经管之家App
让优质教育人人可得
立即打开
全部版块
我的主页
›
论坛
›
数据科学与人工智能
›
数据分析与数据科学
›
python论坛
pandas的加载数据如何快速
楼主
香蕉菠萝大鸭梨
1000
1
收藏
2017-09-03
安装了anaconda最新的版本,64位,从数据库导入数据时发现很慢,大概130个字段,100万记录,后改从文本导入时间消耗还是差不多,运行过程中CPU使用率一直是100%,机器是8C的,为什么导入数据操作只能用到一个C,有没有可以加快速度的方法呢?
多谢!
import pandas as pd
pd.read_sql(conn,"sql string")
pd.read_csv("/opt/data.csv",'|')
--
扫码加我 拉你入群
请注明:姓名-公司-职位
以便审核进群资格,未注明则拒绝
全部回复
沙发
徐博
2017-9-3 16:48:21
并行多进程导入csv转成pickle存起来,以后直接读pickle
扫码加我 拉你入群
请注明:姓名-公司-职位
以便审核进群资格,未注明则拒绝
栏目导航
python论坛
CFA、CVA、FRM等金融考证论坛
微观经济学
外文文献专区
站务与外事
学术道德监督
热门文章
CDA数据分析脱产就业班于2026年3月7日开班! ...
参数估计:CDA数据分析师的核心推断工具,用 ...
GeoSaaS永久会员版
脑机接口行业系列报告:Neuralink带来的启示 ...
2025年全国公交路线及站点矢量数据
通往2026 中国消费者趋势前瞻
天堂的证据(〔美〕埃本·亚历山大)
Causal Inference: what if 25年11月版
芜宣机场,增长740%!
表格结构数据特征与CDA数据分析师:精准适配 ...
推荐文章
2026JG学术冬训营:从Stata初高到Python机器 ...
【必看】【本版版规,欢迎发悬赏贴求助】
【新课】26年3月|Gemini辅助论文写作与数据 ...
关于如何利用文献的若干建议
关于学术研究和论文发表的一些建议
关于科研中如何学习基础知识的一些建议 (一 ...
一个自编的经济学建模小案例 --写给授课本科 ...
AI智能体赋能教学改革: 全国AI教育教学应用 ...
2025中国AIoT产业全景图谱报告-406页
关于文献求助的一些建议
说点什么
分享
微信
QQ空间
QQ
微博
扫码加好友,拉您进群
各岗位、行业、专业交流群