Thinking more...

前一陣子在改寫程式，避免使用過多記憶體時的一些紀錄。

pympler

pympler 很好用，主要是用來察看記憶體用量。缺點是得自己安插 code 觀看，之後再移掉。文件裡有不少用法，我只用到兩種。
第1種用法是 asizeof.asizeof(obj) ，這可以看物件使用的記憶體用量。

from pympler import asizeof
obj = {'foo': 'bar'}
print(asizeof.asizeof(obj))

第2種用法是 summary/muppy，這可以察看一段程序執行後的記憶體差異。

from pympler import summary, muppy
sum1 = summary.summarize(muppy.get_objects())
# do works
sum2 = summary.summarize(muppy.get_objects())
diff = summary.get_diff(sum1, sum2)
summary.print_(diff)
# 要輸出到 logging 的話，可以用 format_ 或 _format_table
# for line in summary.format_(diff):
#   logger.debug(line)

這段根據文件也可以使用 tracker.SummaryTracker() 來代替。
參考資料：

• https://stackoverflow.com/questions/1435415/python-memory-leaks
• https://pythonhosted.org/Pympler/

yield / generator

函式如果要傳回大量的資料，使用 yield ，這可以避免佔用大量記憶體，只有在 iterate 時，才一次一次拿回來。

def foo():
  for i in range(100000000):
    yield i  # 這讓 foo 的傳回結果變成 generator 物件

for x in foo():
  print(x)

Django Queryset

可以的話，儘量使用 values() 跟 values_list() 並指定所需的欄位，除了可以提升速度之外，也減少記憶體用量。
values() 是將記錄作為一個 dict 傳回，而 values_list() 則是將紀錄作為一個 tuple 傳回。這樣可以省去還原為 Django model object 的程序，因此速度會更快，記憶體使用的更少。而使用 values_list() 比 values() 來的更省，這是因為 tuple 所佔用的記憶體比 dict 來的少。