第一句子网 - 唯美句子、句子迷、好句子大全
第一句子网 > Python 优化第一步: 性能分析实践 使用cporfile+gprof2dot可视化

Python 优化第一步: 性能分析实践 使用cporfile+gprof2dot可视化

时间:2024-01-19 12:15:42

相关推荐

Python 优化第一步: 性能分析实践 使用cporfile+gprof2dot可视化

拿来主义:

python -m cProfile -o profile.pstats to_profile.py gprof2dot -f pstats profile.pstats |dot -Tpng -o click.png

然后顺着浅色线条优化就OK了。

windows下:

google下graphviz-2.38.msi,然后安装。dot命令需要。

git clone/jrfonseca/gprof2dot.git。

然后就是:

D:\KwDownload\gprof2dot-master\gprof2dot-master>python gprof2dot.py -f pstats C:\Users\l00379637\AppData\Roaming\eSpace_Desktop\UserData\l00379637\ReceiveFile\profile.pstats | "c:\Program Files (x86)\Graphviz2.38\bin\dot.exe" -Tpng -o click.png

Python 优化第一步: 性能分析实践

from:/87621/

Python的性能分析器

Python中最常用的性能分析工具主要有:cProfiler, line_profiler以及memory_profiler等。他们以不同的方式帮助我们分析Python代码的性能。我们这里主要关注Python内置的cProfiler,并使用它帮助我们分析并优化程序。

cProfiler

快速使用

这里我先拿上官方文档的一个简单例子来对cProfiler的简单使用进行简单介绍。

Python

分析结果:

Shell

从分析报告结果中我们可以得到很多信息:

整个过程一共有197个函数调用被监控,其中192个是原生调用(即不涉及递归调用)总共执行的时间为0.002秒结果列表中是按照标准名称进行排序,也就是按照字符串的打印方式(数字也当作字符串)在列表中:ncalls表示函数调用的次数(有两个数值表示有递归调用,总调用次数/原生调用次数)tottime是函数内部调用时间(不包括他自己调用的其他函数的时间)percall等于tottime/ncallscumtime累积调用时间,与tottime相反,它包含了自己内部调用函数的时间最后一列,文件名,行号,函数名

优雅的使用

Python给我们提供了很多接口方便我们能够灵活的进行性能分析,其中主要包含两个类cProfile模块的Profile类和pstat模块的Stats类。

我们可以通过这两个类来将代码分析的功能进行封装以便在项目的其他地方能够灵活重复的使用进行分析。

这里还是需要对Profile以及Stats的几个常用接口进行简单总结:

Profile类:

enable(): 开始收集性能分析数据disable(): 停止收集性能分析数据create_stats(): 停止收集分析数据,并为已收集的数据创建stats对象print_stats(): 创建stats对象并打印分析结果dump_stats(filename): 把当前性能分析的结果写入文件(二进制格式)runcall(func, *args, **kwargs): 收集被调用函数func的性能分析数据Stats

pstats模块提供的Stats类可以帮助我们读取和操作stats文件(二进制格式) PythonStats类可以接受stats文件名,也可以直接接受cProfile.Profile对象作为数据源。strip_dirs(): 删除报告中所有函数文件名的路径信息dump_stats(filename): 把stats中的分析数据写入文件(效果同cProfile.Profile.dump_stats())sort_stats(*keys): 对报告列表进行排序,函数会依次按照传入的参数排序,关键词包括calls,cumtime等,具体参数参见/2/library/profile.html#pstats.Stats.sort_statsreverse_order(): 逆反当前的排序print_stats(*restrictions): 把信息打印到标准输出。*restrictions用于控制打印结果的形式, 例如(10, 1.0, ".*.py.*")表示打印所有py文件的信息的前10行结果。

分析数据可视化

gprof2dot

Gprof2Dot可将多种Profiler的数据转成Graphviz可处理的图像表述。配合dot命令,即可得到不同函数所消耗的时间分析图。具体使用方法详见:/jrfonseca/gprof2dot

因此我们可以利用它来为我们的程序生成分析图:

Shell

于是我们路径下面就生成了mkm_run.png

我倒是蛮喜欢这个时间分析图,顺着浅色方格的看下去很容易发现程序的瓶颈部分,

每个node的信息如下:

Python

每个edge的信息如下:

Python

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。