scrapy 2.3 用muppy调试内存泄漏
trackref
提供了一种非常方便的机制来跟踪内存泄漏,但它只跟踪更可能导致内存泄漏的对象。然而,在其他情况下,内存泄漏可能来自其他(或多或少模糊)对象。如果这是你的案子,而且你用 trackref
,你还有另一个资源:muppy类库。
你可以从 Pympler .
如果你使用 pip
,可以使用以下命令安装muppy::
pip install Pympler
下面是一个使用muppy查看堆中可用的所有Python对象的示例:
>>> from pympler import muppy
>>> all_objects = muppy.get_objects()
>>> len(all_objects)
28667
>>> from pympler import summary
>>> suml = summary.summarize(all_objects)
>>> summary.print_(suml)
types | # objects | total size
==================================== | =========== | ============
<class 'str | 9822 | 1.10 MB
<class 'dict | 1658 | 856.62 KB
<class 'type | 436 | 443.60 KB
<class 'code | 2974 | 419.56 KB
<class '_io.BufferedWriter | 2 | 256.34 KB
<class 'set | 420 | 159.88 KB
<class '_io.BufferedReader | 1 | 128.17 KB
<class 'wrapper_descriptor | 1130 | 88.28 KB
<class 'tuple | 1304 | 86.57 KB
<class 'weakref | 1013 | 79.14 KB
<class 'builtin_function_or_method | 958 | 67.36 KB
<class 'method_descriptor | 865 | 60.82 KB
<class 'abc.ABCMeta | 62 | 59.96 KB
<class 'list | 446 | 58.52 KB
<class 'int | 1425 | 43.20 KB
有关Muppy的更多信息,请参阅 muppy documentation .