3GB左右的xml数据大文件如何读取到Excel表或者数据库呢

1341

收藏 2016-12-01

像这样3GB左右的xml数据大文件如何读取到Excel表或者数据库呢？有大神吗？感激不尽。
谢谢！

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

2016-12-1 22:40:44

数据量太大的话，EXCEL可能接受不了的。大数据最好用文本格式或者压缩格式，CSV就是文本格式的。数据量很大的时候，经常还能写入CSV文档，但是可能EXCEL打开看不到全部。

大数据对于常用的数据库操作应该没啥问题，除非小型的数据库可能对数据量有限制吧。

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-12-2 07:25:46

建议可以尝试一下使用Excel里面的Power Query功能，这个功能可以突破Excel本身的限制。[

附件列表

原图尺寸 82.26 KB

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-12-2 08:40:55

1）先从XML里抓取数据，由于文件较大，建议一行一行的读数据，抓数据
2）抓取1000条之后，处理数据问题后，一次性的往ODBC数据库里写
3）清理内存gc（）

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享