第一种合并方法:
在sheet的第一行,追加新表concat旧表
read_excel读取旧表全部
to_excel新表追加写入旧表
需要的时间:
第二种合并方法:
在sheet的最后一行,直接追加新表
load_book只读用来获取旧表sheet行数
read_excel读取旧表表头(因为新表表头可能会改变,需要re_index对齐旧表)
to_excel新表追加写入旧表
需要的时间:
读取新表没有计时
新表10r
旧表7000+r
总结:之前小样本数据一直用第二种,样本量上来之后就开始慢了。这样看还是第二种方法好,主要是读取和写入的时间都少了,文件(旧表)打开关闭的时间没有变。打开的时候没有使用with语句上下文管理,不知道改一下io操作的效率会不会有变化,目前看打开和关闭文件都挺费时间的。另外,好像有帖子写过xlsxwriter的效率会更快,没有实践过,不想整了。
更:后面试了一下with语句,效率没什么变化