Python程序调优 (Python Profiler)

概述

本文介绍基本的python profilter方法,并且用Openstack Nova作为例子展示具体使用方法。
本文介绍的profiler方法区别于一般常用的使用python cProfile模块,cProfile模块的分析结果不直观,并且仍然无法精确定位具体出问题代码。
本文的profile的最小粒度是“行”,profile的结果需要展示某行代码对CPU和memory的影响,最终帮助我们优化代码。

CPU Profiler

我们使用Robert Kern 写的 line_profiler 项目,安装

2016年11月14日更新:

$ pip install 'line_profiler<2.0'

因为 line_profiler 2.0 之后依赖 IPython,我并不需要它,所以强制版本号。

会安装一个可执行文件“kernprof.py”。然后修改目标代码,只要在需要测试的函数加上@profile,不用import任何东西,只要加上这一句即可,因为kernprof会动态插入。

test.py

@profile  
def run():  
    a = [1]*100  
    b = [x*x*x for x in a ]  
    c = [x for x in b]  
    d = c*2  

run()  

运行

2016年11月14日更新

kernperf -l -v test.py

-l表示动态插入profile.
-v 当程序运行结束后,将结果输出到标准输出,而不是到文件中。
其他用法可以参看kernprof帮助:kernprof –help。

结果很详细,给出了每行运行时间,百分比等:

Wrote profile results to test.py.lprof  
Timer unit: 1e-06 s  


File: test.py  
Function: run at line 1  
Total time: 0.000322 s  


Line #      Hits         Time  Per Hit   % Time  Line Contents  
==============================================================  
     1                                           @profile  
     2                                           def run():  
     3         1            5      5.0      1.6      a = [1]*100  
     4       101          166      1.6     51.6      b = [x*x*x for x in a ]  
     5       101          147      1.5     45.7      c = [x for x in b]  
     6         1            4      4.0      1.2      d = c*2  

Memory Profiler

在line_profiler基础之上, fabian实现了针对行的memory profiler,安装:

$ pip install -U memory_profiler  
$ pip install psutil  

(psutil不是必须,但是安装上会提高memory_profiler的效率)

还是之前的那串代码,还是在目标函数上加上@profiler。运行:

$ python -m memory_profiler test.py  
Filename: test.py  

Line #    Mem usage    Increment   Line Contents  
================================================  
     1                             @profile  
     2     9.488 MB     0.000 MB   def run():  
     3     9.496 MB     0.008 MB       a = [1]*100  
     4     9.504 MB     0.008 MB       b = [x*x*x for x in a ]  
     5     9.504 MB     0.000 MB       c = [x for x in b]  
     6     9.504 MB     0.000 MB       d = c*2  

与之前的结果类似,给出了某行的内存的增量。

Profile Openstack Nova

本文用nova-compute举例,直接研究nova-compute最外层调用后,CPU使用情况和memory使用情况,如果读者有兴趣可以进一步分析,往更深层次的函数上加@profile。
实例代码是grizzly版本。

nova/cmd/compute.py  
@profile  
def main():  
    config.parse_args([]) # 这里参数原本是sys.argv,因为parse_args()会修改sys.argv,导致memory_profiler不能正常执行,所以我决定不传sys.argv进去,既默认不带任何参数启动nova-compute。  
    logging.setup('nova')  
    utils.monkey_patch()  


    if not CONF.conductor.use_local:  
        block_db_access()  


    server = service.Service.create(binary='nova-compute',  
                                    topic=CONF.compute_topic,  
                                    db_allowed=False)  
    service.serve(server)  
    service.wait()  

执行:

kernprof.py -l -v bin/nova-compute  
Wrote profile results to nova-compute.lprof  
Timer unit: 1e-06 s  

File: /opt/stack/nova/nova/cmd/compute.py  
Function: main at line 52  
Total time: 80.6356 s  

Line #      Hits         Time  Per Hit   % Time  Line Contents  
==============================================================  
    52                                           @profile  
    53                                           def main():  
    54         1        15483  15483.0      0.0      config.parse_args(sys.argv)  
    55         1         1859   1859.0      0.0      logging.setup('nova')  
    56         1           85     85.0      0.0      utils.monkey_patch()  
    57                                             
    58         1          132    132.0      0.0      if not CONF.conductor.use_local:  
    59         1           88     88.0      0.0          block_db_access()  
    60                                             
    61         1            4      4.0      0.0      server = service.Service.create(binary='nova-compute',  
    62         1          106    106.0      0.0                                      topic=CONF.compute_topic,  
    63         1     51468528 51468528.0     63.8                                      db_allowed=False)  
    64         1          205    205.0      0.0      service.serve(server)  
    65         1     29149130 29149130.0     36.1      service.wait()  

$ python -m memory_profiler bin/nova-compute   
Filename: nova/cmd/compute.py  

Line #    Mem usage    Increment   Line Contents  
================================================  
    52                             @profile  
    53    32.883 MB     0.000 MB   def main():  
    54    33.027 MB     0.145 MB       config.parse_args([])  
    55    33.043 MB     0.016 MB       logging.setup('nova')  
    56    33.043 MB     0.000 MB       utils.monkey_patch()  
    57                               
    58    33.043 MB     0.000 MB       if not CONF.conductor.use_local:  
    59    33.047 MB     0.004 MB           block_db_access()  
    60                               
    61    33.047 MB     0.000 MB       server = service.Service.create(binary='nova-compute',  
    62    33.047 MB     0.000 MB                                       topic=CONF.compute_topic,  
    63    47.371 MB    14.324 MB                                       db_allowed=False)  
    64    47.371 MB     0.000 MB       service.serve(server)  
    65    49.434 MB     2.062 MB       service.wait()  

由于分析结果要等进程结束退出之后才有,但是nova-compute是daemon进程,所以需要了解nova-compute进程执行到哪一步了。
根据日志输出,当nova开始执行periodic_task之后,基本可以认为这些代码都执行完成了。

本文介绍了line_profiler和memory_profiler的基本使用方法,有了这两个工具,可以轻松的分析任意函数的执行效率,“快准狠”。

References

http://www.huyng.com/posts/python-performance-analysis/

1 条思考于 “Python程序调优 (Python Profiler)

发表评论

电子邮件地址不会被公开。 必填项已用*标注