全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 python论坛
4743 2
2019-03-21
输入文件比较大,所以采取了分块处理df = pd.read_csv(args.input,sep=',',iterator=True)
loop = True
chunkSize = 900000
while loop:
    try:
        chunk = df.get_chunk(chunkSize)
        chunk = chunk[ ~ chunk['Chr'].str.contains('_')]
        chunk_1 = sample_threshold(chunk,SampleThreshold)
        chunk_2 = depth_caculate(chunk_1,DepThreshold)
        chunk_3 = wilcoxon_test(chunk_2,SampleNum)
        print('already handled one chunk!')
        print('============================')
    except StopIteration:
        loop = False
        print("Iteration is stopped.")


请问一下我怎么才能在每一块处理好之后就写入文件,并且不会覆盖前面的?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2019-3-28 14:56:39
df.to_csv(date+'.csv',index = False,header=0,mode='a')
关键是 mode参数
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2019-5-9 17:01:46
楼上正解
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群