第一句子网 - 唯美句子、句子迷、好句子大全
第一句子网 > openpyxl 打开大文件很慢_解决python执行较大excel文件openpyxl慢问题

openpyxl 打开大文件很慢_解决python执行较大excel文件openpyxl慢问题

时间:2020-04-04 19:25:59

相关推荐

openpyxl 打开大文件很慢_解决python执行较大excel文件openpyxl慢问题

我就废话不多说了,大家还是直接看代码吧!

talk is cheap

from openpyxl import Workbook

from openpyxl.utils import get_column_letter

from openpyxl import load_workbook

import time

wb = load_workbook("E:/a.xlsx", read_only=True)

sh = wb["Sheet"]

# rowItem = {}

# for j in range(1,2000):

# for i in range(1, 30):

# rowItem[get_column_letter(i)] = i

# sh.append(rowItem)

# wb.save("E:/a.xlsx")

t0 = time.time()

print(sh['V500'].value)

t1 = time.time()

print("openpyxl所用时间:", str(t1-t0))

import xlrd

xlsPath = "E:/a.xlsx"

WorkBook = xlrd.open_workbook(xlsPath)

sh = WorkBook.sheet_by_name("Sheet")

t0 = time.time()

print(sh.cell(499,22).value)

t1 = time.time()

print("xlrd所用时间:", str(t1-t0))

测试结果:

22

openpyxl所用时间: 0.44217610359191895

23.0

xlrd所用时间: 0.0010063648223876953

结论

openpyxl的慢是读取慢,可以选择xlrd代替,详细测试下面继续

不直接使用xlwt+xlrd是因为xlwt仅支持及以下版本,最大行数限制在65536,不够用,而openpyxl大概在一百多万

主要的说完了,下面详细说了:在写工具的时候遇到的这个问题,开始是用的xlwt+xlrd,然后行数超标了,没办法换成openpyxl使用excel的版本,原本测试不到三万行的数据,只要三四秒,换成openpyxl以后,花了好几分钟,具体没看多少了,然后加上函数运行时间的监视器以后,才看到是读取的时候出的问题

推测原因:

推测的话,openpyxl的根据行号列号读取的时候,是从第一行第一列开始遍历,直到行号等于指定行号,列号等于指定列号,所以要读取的行号列号越多就越慢,(也可能是从第一个有数据的行或列),而xlrd则是类似与数组一样,我们要取第几个元素,直接根据下标找到内存中对应地址的元素即可,所以无论excel总量多少,速度基本都是不变的

留下的坑

xlwt写入仅支持65536行,那xlrd的读取很可能也是,也就是超过这么多的数据可能也会出错

我这里因为是读多表数据生成单表数据,生成方式大概是Na*Nb这样,所以实际读取的不会太多,但生成的很多,所以基本可以用考虑这个问题

另外,据说xlrd读取xlsx格式的偶尔会出现问题,具体没测试,暂时用还没毛病

最后,顺带上一下监控函数运行时间的装饰器吧:

import time

from functools import wraps

def fn_timer(function):

@wraps(function)

def function_timer(*args, **kwargs):

t0 = time.time()

result = function(*args, **kwargs)

t1 = time.time()

print ("Total time running %s: %s seconds" %

(function.__name__, str(t1-t0))

)

return result

return function_timer

使用方式的话,就是在要监控的函数定义上面加上 @fn_timer 就行了

以上这篇解决python执行较大excel文件openpyxl慢问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持站圈网。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。