MobileBlur

Hex Artifact Content
Login

Artifact 9258d641dc4731c9ad99dfb502dae56c2d1d63d4:


0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70  #!/usr/bin/env p
0010: 79 74 68 6f 6e 0a 23 20 2d 2a 2d 20 63 6f 64 69  ython.# -*- codi
0020: 6e 67 3a 20 75 74 66 2d 38 20 2d 2a 2d 0a 0a 22  ng: utf-8 -*-.."
0030: 22 22 0a 54 68 69 73 20 66 69 6c 65 20 69 73 20  "".This file is 
0040: 70 61 72 74 20 6f 66 20 74 68 65 20 77 65 62 32  part of the web2
0050: 70 79 20 57 65 62 20 46 72 61 6d 65 77 6f 72 6b  py Web Framework
0060: 0a 43 6f 70 79 72 69 67 68 74 65 64 20 62 79 20  .Copyrighted by 
0070: 4d 61 73 73 69 6d 6f 20 44 69 20 50 69 65 72 72  Massimo Di Pierr
0080: 6f 20 3c 6d 64 69 70 69 65 72 72 6f 40 63 73 2e  o <mdipierro@cs.
0090: 64 65 70 61 75 6c 2e 65 64 75 3e 0a 4c 69 63 65  depaul.edu>.Lice
00a0: 6e 73 65 3a 20 4c 47 50 4c 76 33 20 28 68 74 74  nse: LGPLv3 (htt
00b0: 70 3a 2f 2f 77 77 77 2e 67 6e 75 2e 6f 72 67 2f  p://www.gnu.org/
00c0: 6c 69 63 65 6e 73 65 73 2f 6c 67 70 6c 2e 68 74  licenses/lgpl.ht
00d0: 6d 6c 29 0a 0a 42 61 73 69 63 20 63 61 63 68 69  ml)..Basic cachi
00e0: 6e 67 20 63 6c 61 73 73 65 73 20 61 6e 64 20 6d  ng classes and m
00f0: 65 74 68 6f 64 73 0a 3d 3d 3d 3d 3d 3d 3d 3d 3d  ethods.=========
0100: 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d  ================
0110: 3d 3d 3d 3d 3d 3d 3d 3d 0a 0a 2d 20 43 61 63 68  ========..- Cach
0120: 65 20 2d 20 54 68 65 20 67 65 6e 65 72 69 63 20  e - The generic 
0130: 63 61 63 68 69 6e 67 20 6f 62 6a 65 63 74 20 69  caching object i
0140: 6e 74 65 72 66 61 63 69 6e 67 20 77 69 74 68 20  nterfacing with 
0150: 74 68 65 20 6f 74 68 65 72 73 0a 2d 20 43 61 63  the others.- Cac
0160: 68 65 49 6e 52 61 6d 20 2d 20 70 72 6f 76 69 64  heInRam - provid
0170: 69 6e 67 20 63 61 63 68 69 6e 67 20 69 6e 20 72  ing caching in r
0180: 61 6d 0a 2d 20 43 61 63 68 65 49 6e 44 69 73 6b  am.- CacheInDisk
0190: 20 2d 20 70 72 6f 76 69 64 65 73 20 63 61 63 68   - provides cach
01a0: 65 73 20 6f 6e 20 64 69 73 6b 0a 0a 4d 65 6d 63  es on disk..Memc
01b0: 61 63 68 65 20 69 73 20 61 6c 73 6f 20 61 76 61  ache is also ava
01c0: 69 6c 61 62 6c 65 20 76 69 61 20 61 20 64 69 66  ilable via a dif
01d0: 66 65 72 65 6e 74 20 6d 6f 64 75 6c 65 20 28 73  ferent module (s
01e0: 65 65 20 67 6c 75 6f 6e 2e 63 6f 6e 74 72 69 62  ee gluon.contrib
01f0: 2e 6d 65 6d 63 61 63 68 65 29 0a 0a 57 68 65 6e  .memcache)..When
0200: 20 77 65 62 32 70 79 20 69 73 20 72 75 6e 6e 69   web2py is runni
0210: 6e 67 20 6f 6e 20 47 6f 6f 67 6c 65 20 41 70 70  ng on Google App
0220: 20 45 6e 67 69 6e 65 2c 0a 63 61 63 68 69 6e 67   Engine,.caching
0230: 20 77 69 6c 6c 20 62 65 20 70 72 6f 76 69 64 65   will be provide
0240: 64 20 62 79 20 74 68 65 20 47 41 45 20 6d 65 6d  d by the GAE mem
0250: 63 61 63 68 65 0a 28 73 65 65 20 67 6c 75 6f 6e  cache.(see gluon
0260: 2e 63 6f 6e 74 72 69 62 2e 67 61 65 5f 6d 65 6d  .contrib.gae_mem
0270: 63 61 63 68 65 29 0a 22 22 22 0a 0a 69 6d 70 6f  cache)."""..impo
0280: 72 74 20 74 69 6d 65 0a 69 6d 70 6f 72 74 20 70  rt time.import p
0290: 6f 72 74 61 6c 6f 63 6b 65 72 0a 69 6d 70 6f 72  ortalocker.impor
02a0: 74 20 73 68 65 6c 76 65 0a 69 6d 70 6f 72 74 20  t shelve.import 
02b0: 74 68 72 65 61 64 0a 69 6d 70 6f 72 74 20 6f 73  thread.import os
02c0: 0a 69 6d 70 6f 72 74 20 6c 6f 67 67 69 6e 67 0a  .import logging.
02d0: 69 6d 70 6f 72 74 20 72 65 0a 0a 6c 6f 67 67 65  import re..logge
02e0: 72 20 3d 20 6c 6f 67 67 69 6e 67 2e 67 65 74 4c  r = logging.getL
02f0: 6f 67 67 65 72 28 22 77 65 62 32 70 79 2e 63 61  ogger("web2py.ca
0300: 63 68 65 22 29 0a 0a 5f 5f 61 6c 6c 5f 5f 20 3d  che")..__all__ =
0310: 20 5b 27 43 61 63 68 65 27 5d 0a 0a 0a 44 45 46   ['Cache']...DEF
0320: 41 55 4c 54 5f 54 49 4d 45 5f 45 58 50 49 52 45  AULT_TIME_EXPIRE
0330: 20 3d 20 33 30 30 0a 0a 0a 63 6c 61 73 73 20 43   = 300...class C
0340: 61 63 68 65 41 62 73 74 72 61 63 74 28 6f 62 6a  acheAbstract(obj
0350: 65 63 74 29 3a 0a 20 20 20 20 22 22 22 0a 20 20  ect):.    """.  
0360: 20 20 41 62 73 74 72 61 63 74 20 63 6c 61 73 73    Abstract class
0370: 20 66 6f 72 20 63 61 63 68 65 20 69 6d 70 6c 65   for cache imple
0380: 6d 65 6e 74 61 74 69 6f 6e 73 2e 0a 20 20 20 20  mentations..    
0390: 4d 61 69 6e 20 66 75 6e 63 74 69 6f 6e 20 69 73  Main function is
03a0: 20 6e 6f 77 20 74 6f 20 70 72 6f 76 69 64 65 20   now to provide 
03b0: 72 65 66 65 72 65 6e 63 65 64 20 61 70 69 20 64  referenced api d
03c0: 6f 63 75 6d 65 6e 74 61 74 69 6f 6e 2e 0a 0a 20  ocumentation... 
03d0: 20 20 20 55 73 65 20 43 61 63 68 65 49 6e 52 61     Use CacheInRa
03e0: 6d 20 6f 72 20 43 61 63 68 65 4f 6e 44 69 73 6b  m or CacheOnDisk
03f0: 20 69 6e 73 74 65 61 64 20 77 68 69 63 68 20 61   instead which a
0400: 72 65 20 64 65 72 69 76 65 64 20 66 72 6f 6d 20  re derived from 
0410: 74 68 69 73 20 63 6c 61 73 73 2e 0a 20 20 20 20  this class..    
0420: 22 22 22 0a 0a 20 20 20 20 63 61 63 68 65 5f 73  """..    cache_s
0430: 74 61 74 73 5f 6e 61 6d 65 20 3d 20 27 77 65 62  tats_name = 'web
0440: 32 70 79 5f 63 61 63 68 65 5f 73 74 61 74 69 73  2py_cache_statis
0450: 74 69 63 73 27 0a 0a 20 20 20 20 64 65 66 20 5f  tics'..    def _
0460: 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 2c 20 72 65  _init__(self, re
0470: 71 75 65 73 74 3d 4e 6f 6e 65 29 3a 0a 20 20 20  quest=None):.   
0480: 20 20 20 20 20 22 22 22 0a 20 20 20 20 20 20 20       """.       
0490: 20 50 61 72 65 6d 65 74 65 72 73 0a 20 20 20 20   Paremeters.    
04a0: 20 20 20 20 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 20      ----------. 
04b0: 20 20 20 20 20 20 20 72 65 71 75 65 73 74 3a 0a         request:.
04c0: 20 20 20 20 20 20 20 20 20 20 20 20 74 68 65 20              the 
04d0: 67 6c 6f 62 61 6c 20 72 65 71 75 65 73 74 20 6f  global request o
04e0: 62 6a 65 63 74 0a 20 20 20 20 20 20 20 20 22 22  bject.        ""
04f0: 22 0a 20 20 20 20 20 20 20 20 72 61 69 73 65 20  ".        raise 
0500: 4e 6f 74 49 6d 70 6c 65 6d 65 6e 74 65 64 45 72  NotImplementedEr
0510: 72 6f 72 0a 0a 20 20 20 20 64 65 66 20 5f 5f 63  ror..    def __c
0520: 61 6c 6c 5f 5f 28 73 65 6c 66 2c 20 6b 65 79 2c  all__(self, key,
0530: 20 66 2c 0a 20 20 20 20 20 20 20 20 20 20 20 20   f,.            
0540: 20 20 20 20 74 69 6d 65 5f 65 78 70 69 72 65 20      time_expire 
0550: 3d 20 44 45 46 41 55 4c 54 5f 54 49 4d 45 5f 45  = DEFAULT_TIME_E
0560: 58 50 49 52 45 29 3a 0a 20 20 20 20 20 20 20 20  XPIRE):.        
0570: 22 22 22 0a 20 20 20 20 20 20 20 20 54 72 69 65  """.        Trie
0580: 73 20 72 65 74 72 69 65 76 65 20 74 68 65 20 76  s retrieve the v
0590: 61 6c 75 65 20 63 6f 72 72 65 73 70 6f 6e 64 69  alue correspondi
05a0: 6e 67 20 74 6f 20 60 6b 65 79 60 20 66 72 6f 6d  ng to `key` from
05b0: 20 74 68 65 20 63 61 63 68 65 20 6f 66 20 74 68   the cache of th
05c0: 65 0a 20 20 20 20 20 20 20 20 6f 62 6a 65 63 74  e.        object
05d0: 20 65 78 69 73 74 73 20 61 6e 64 20 69 66 20 69   exists and if i
05e0: 74 20 64 69 64 20 6e 6f 74 20 65 78 70 69 72 65  t did not expire
05f0: 2c 20 65 6c 73 65 20 69 74 20 63 61 6c 6c 65 64  , else it called
0600: 20 74 68 65 20 66 75 6e 63 74 69 6f 6e 20 60 66   the function `f
0610: 60 0a 20 20 20 20 20 20 20 20 61 6e 64 20 73 74  `.        and st
0620: 6f 72 65 73 20 74 68 65 20 6f 75 74 70 75 74 20  ores the output 
0630: 69 6e 20 74 68 65 20 63 61 63 68 65 20 63 6f 72  in the cache cor
0640: 72 65 73 70 6f 6e 64 69 6e 67 20 74 6f 20 60 6b  responding to `k
0650: 65 79 60 2e 20 49 6e 20 74 68 65 20 63 61 73 65  ey`. In the case
0660: 0a 20 20 20 20 20 20 20 20 74 68 65 20 6f 75 74  .        the out
0670: 70 75 74 20 6f 66 20 74 68 65 20 66 75 6e 63 74  put of the funct
0680: 69 6f 6e 20 69 73 20 72 65 74 75 72 6e 65 64 2e  ion is returned.
0690: 0a 0a 20 20 20 20 20 20 20 20 3a 70 61 72 61 6d  ..        :param
06a0: 20 6b 65 79 3a 20 74 68 65 20 6b 65 79 20 6f 66   key: the key of
06b0: 20 74 68 65 20 6f 62 6a 65 63 74 20 74 6f 20 62   the object to b
06c0: 65 20 73 74 6f 72 65 20 6f 72 20 72 65 74 72 69  e store or retri
06d0: 65 76 65 64 0a 20 20 20 20 20 20 20 20 3a 70 61  eved.        :pa
06e0: 72 61 6d 20 66 3a 20 74 68 65 20 66 75 6e 63 74  ram f: the funct
06f0: 69 6f 6e 2c 20 77 68 6f 73 65 20 6f 75 74 70 75  ion, whose outpu
0700: 74 20 69 73 20 74 6f 20 62 65 20 63 61 63 68 65  t is to be cache
0710: 64 0a 20 20 20 20 20 20 20 20 3a 70 61 72 61 6d  d.        :param
0720: 20 74 69 6d 65 5f 65 78 70 69 72 65 3a 20 65 78   time_expire: ex
0730: 70 69 72 61 74 69 6f 6e 20 6f 66 20 74 68 65 20  piration of the 
0740: 63 61 63 68 65 20 69 6e 20 6d 69 63 72 6f 73 65  cache in microse
0750: 63 6f 6e 64 73 0a 0a 20 20 20 20 20 20 20 20 2d  conds..        -
0760: 20 60 74 69 6d 65 5f 65 78 70 69 72 65 60 20 69   `time_expire` i
0770: 73 20 75 73 65 64 20 74 6f 20 63 6f 6d 70 61 72  s used to compar
0780: 65 20 74 68 65 20 63 75 72 72 65 6e 74 20 74 69  e the current ti
0790: 6d 65 20 77 69 74 68 20 74 68 65 20 74 69 6d 65  me with the time
07a0: 20 77 68 65 6e 0a 20 20 20 20 20 20 20 20 20 20   when.          
07b0: 20 20 74 68 65 20 72 65 71 75 65 73 74 65 64 20    the requested 
07c0: 6f 62 6a 65 63 74 20 77 61 73 20 6c 61 73 74 20  object was last 
07d0: 73 61 76 65 64 20 69 6e 20 63 61 63 68 65 2e 20  saved in cache. 
07e0: 49 74 20 64 6f 65 73 20 6e 6f 74 20 61 66 66 65  It does not affe
07f0: 63 74 0a 20 20 20 20 20 20 20 20 20 20 20 20 66  ct.            f
0800: 75 74 75 72 65 20 72 65 71 75 65 73 74 73 2e 0a  uture requests..
0810: 20 20 20 20 20 20 20 20 2d 20 53 65 74 74 69 6e          - Settin
0820: 67 20 60 74 69 6d 65 5f 65 78 70 69 72 65 60 20  g `time_expire` 
0830: 74 6f 20 30 20 6f 72 20 6e 65 67 61 74 69 76 65  to 0 or negative
0840: 20 76 61 6c 75 65 20 66 6f 72 63 65 73 20 74 68   value forces th
0850: 65 20 63 61 63 68 65 20 74 6f 0a 20 20 20 20 20  e cache to.     
0860: 20 20 20 20 20 20 20 72 65 66 72 65 73 68 2e 0a         refresh..
0870: 0a 20 20 20 20 20 20 20 20 49 66 20 74 68 65 20  .        If the 
0880: 66 75 6e 63 74 69 6f 6e 20 60 66 60 20 69 73 20  function `f` is 
0890: 60 4e 6f 6e 65 60 20 74 68 65 20 63 61 63 68 65  `None` the cache
08a0: 20 69 73 20 63 6c 65 61 72 65 64 2e 0a 20 20 20   is cleared..   
08b0: 20 20 20 20 20 22 22 22 0a 20 20 20 20 20 20 20       """.       
08c0: 20 72 61 69 73 65 20 4e 6f 74 49 6d 70 6c 65 6d   raise NotImplem
08d0: 65 6e 74 65 64 45 72 72 6f 72 0a 0a 20 20 20 20  entedError..    
08e0: 64 65 66 20 63 6c 65 61 72 28 73 65 6c 66 2c 20  def clear(self, 
08f0: 72 65 67 65 78 3d 4e 6f 6e 65 29 3a 0a 20 20 20  regex=None):.   
0900: 20 20 20 20 20 22 22 22 0a 20 20 20 20 20 20 20       """.       
0910: 20 43 6c 65 61 72 73 20 74 68 65 20 63 61 63 68   Clears the cach
0920: 65 20 6f 66 20 61 6c 6c 20 6b 65 79 73 20 74 68  e of all keys th
0930: 61 74 20 6d 61 74 63 68 20 74 68 65 20 70 72 6f  at match the pro
0940: 76 69 64 65 64 20 72 65 67 75 6c 61 72 20 65 78  vided regular ex
0950: 70 72 65 73 73 69 6f 6e 2e 0a 20 20 20 20 20 20  pression..      
0960: 20 20 49 66 20 6e 6f 20 72 65 67 75 6c 61 72 20    If no regular 
0970: 65 78 70 72 65 73 73 69 6f 6e 20 69 73 20 70 72  expression is pr
0980: 6f 76 69 64 65 64 2c 20 69 74 20 63 6c 65 61 72  ovided, it clear
0990: 73 20 61 6c 6c 20 65 6e 74 72 69 65 73 20 69 6e  s all entries in
09a0: 20 63 61 63 68 65 2e 0a 0a 20 20 20 20 20 20 20   cache...       
09b0: 20 50 61 72 61 6d 65 74 65 72 73 0a 20 20 20 20   Parameters.    
09c0: 20 20 20 20 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 20      ----------. 
09d0: 20 20 20 20 20 20 20 72 65 67 65 78 3a 0a 20 20         regex:.  
09e0: 20 20 20 20 20 20 20 20 20 20 69 66 20 70 72 6f            if pro
09f0: 76 69 64 65 64 2c 20 6f 6e 6c 79 20 6b 65 79 73  vided, only keys
0a00: 20 6d 61 74 63 68 69 6e 67 20 74 68 65 20 72 65   matching the re
0a10: 67 65 78 20 77 69 6c 6c 20 62 65 20 63 6c 65 61  gex will be clea
0a20: 72 65 64 2e 0a 20 20 20 20 20 20 20 20 20 20 20  red..           
0a30: 20 4f 74 68 65 72 77 69 73 65 20 61 6c 6c 20 6b   Otherwise all k
0a40: 65 79 73 20 61 72 65 20 63 6c 65 61 72 65 64 2e  eys are cleared.
0a50: 0a 20 20 20 20 20 20 20 20 22 22 22 0a 0a 20 20  .        """..  
0a60: 20 20 20 20 20 20 72 61 69 73 65 20 4e 6f 74 49        raise NotI
0a70: 6d 70 6c 65 6d 65 6e 74 65 64 45 72 72 6f 72 0a  mplementedError.
0a80: 0a 20 20 20 20 64 65 66 20 69 6e 63 72 65 6d 65  .    def increme
0a90: 6e 74 28 73 65 6c 66 2c 20 6b 65 79 2c 20 76 61  nt(self, key, va
0aa0: 6c 75 65 3d 31 29 3a 0a 20 20 20 20 20 20 20 20  lue=1):.        
0ab0: 22 22 22 0a 20 20 20 20 20 20 20 20 49 6e 63 72  """.        Incr
0ac0: 65 6d 65 6e 74 73 20 74 68 65 20 63 61 63 68 65  ements the cache
0ad0: 64 20 76 61 6c 75 65 20 66 6f 72 20 74 68 65 20  d value for the 
0ae0: 67 69 76 65 6e 20 6b 65 79 20 62 79 20 74 68 65  given key by the
0af0: 20 61 6d 6f 75 6e 74 20 69 6e 20 76 61 6c 75 65   amount in value
0b00: 0a 0a 20 20 20 20 20 20 20 20 50 61 72 61 6d 65  ..        Parame
0b10: 74 65 72 73 0a 20 20 20 20 20 20 20 20 2d 2d 2d  ters.        ---
0b20: 2d 2d 2d 2d 2d 2d 2d 0a 20 20 20 20 20 20 20 20  -------.        
0b30: 6b 65 79 3a 0a 20 20 20 20 20 20 20 20 20 20 20  key:.           
0b40: 20 6b 65 79 20 66 6f 72 20 74 68 65 20 63 61 63   key for the cac
0b50: 68 65 64 20 6f 62 6a 65 63 74 20 74 6f 20 62 65  hed object to be
0b60: 20 69 6e 63 72 65 6d 65 6e 65 74 65 64 0a 20 20   incremeneted.  
0b70: 20 20 20 20 20 20 76 61 6c 75 65 3a 0a 20 20 20        value:.   
0b80: 20 20 20 20 20 20 20 20 20 61 6d 6f 75 6e 74 20           amount 
0b90: 6f 66 20 74 68 65 20 69 6e 63 72 65 6d 65 6e 74  of the increment
0ba0: 20 28 64 65 66 61 75 6c 74 73 20 74 6f 20 31 2c   (defaults to 1,
0bb0: 20 63 61 6e 20 62 65 20 6e 65 67 61 74 69 76 65   can be negative
0bc0: 29 0a 20 20 20 20 20 20 20 20 22 22 22 0a 20 20  ).        """.  
0bd0: 20 20 20 20 20 20 72 61 69 73 65 20 4e 6f 74 49        raise NotI
0be0: 6d 70 6c 65 6d 65 6e 74 65 64 45 72 72 6f 72 0a  mplementedError.
0bf0: 0a 20 20 20 20 64 65 66 20 5f 63 6c 65 61 72 28  .    def _clear(
0c00: 73 65 6c 66 2c 20 73 74 6f 72 61 67 65 2c 20 72  self, storage, r
0c10: 65 67 65 78 29 3a 0a 20 20 20 20 20 20 20 20 22  egex):.        "
0c20: 22 22 0a 20 20 20 20 20 20 20 20 41 75 78 69 6c  "".        Auxil
0c30: 69 61 72 79 20 66 75 6e 63 74 69 6f 6e 20 63 61  iary function ca
0c40: 6c 6c 65 64 20 62 79 20 60 63 6c 65 61 72 60 20  lled by `clear` 
0c50: 74 6f 20 73 65 61 72 63 68 20 61 6e 64 20 63 6c  to search and cl
0c60: 65 61 72 20 63 61 63 68 65 20 65 6e 74 72 69 65  ear cache entrie
0c70: 73 0a 20 20 20 20 20 20 20 20 22 22 22 0a 20 20  s.        """.  
0c80: 20 20 20 20 20 20 72 20 3d 20 72 65 2e 63 6f 6d        r = re.com
0c90: 70 69 6c 65 28 72 65 67 65 78 29 0a 20 20 20 20  pile(regex).    
0ca0: 20 20 20 20 66 6f 72 20 28 6b 65 79 2c 20 76 61      for (key, va
0cb0: 6c 75 65 29 20 69 6e 20 73 74 6f 72 61 67 65 2e  lue) in storage.
0cc0: 69 74 65 6d 73 28 29 3a 0a 20 20 20 20 20 20 20  items():.       
0cd0: 20 20 20 20 20 69 66 20 72 2e 6d 61 74 63 68 28       if r.match(
0ce0: 73 74 72 28 6b 65 79 29 29 3a 0a 20 20 20 20 20  str(key)):.     
0cf0: 20 20 20 20 20 20 20 20 20 20 20 64 65 6c 20 73             del s
0d00: 74 6f 72 61 67 65 5b 6b 65 79 5d 0a 0a 63 6c 61  torage[key]..cla
0d10: 73 73 20 43 61 63 68 65 49 6e 52 61 6d 28 43 61  ss CacheInRam(Ca
0d20: 63 68 65 41 62 73 74 72 61 63 74 29 3a 0a 20 20  cheAbstract):.  
0d30: 20 20 22 22 22 0a 20 20 20 20 52 61 6d 20 62 61    """.    Ram ba
0d40: 73 65 64 20 63 61 63 68 69 6e 67 0a 0a 20 20 20  sed caching..   
0d50: 20 54 68 69 73 20 69 73 20 69 6d 70 6c 65 6d 65   This is impleme
0d60: 6e 74 65 64 20 61 73 20 67 6c 6f 62 61 6c 20 28  nted as global (
0d70: 70 65 72 20 70 72 6f 63 65 73 73 2c 20 73 68 61  per process, sha
0d80: 72 65 64 20 62 79 20 61 6c 6c 20 74 68 72 65 61  red by all threa
0d90: 64 73 29 0a 20 20 20 20 64 69 63 74 69 6f 6e 61  ds).    dictiona
0da0: 72 79 2e 0a 20 20 20 20 41 20 6d 75 74 65 78 2d  ry..    A mutex-
0db0: 6c 6f 63 6b 20 6d 65 63 68 61 6e 69 73 6d 20 61  lock mechanism a
0dc0: 76 6f 69 64 20 63 6f 6e 66 6c 69 63 74 73 2e 0a  void conflicts..
0dd0: 20 20 20 20 22 22 22 0a 0a 20 20 20 20 6c 6f 63      """..    loc
0de0: 6b 65 72 20 3d 20 74 68 72 65 61 64 2e 61 6c 6c  ker = thread.all
0df0: 6f 63 61 74 65 5f 6c 6f 63 6b 28 29 0a 20 20 20  ocate_lock().   
0e00: 20 6d 65 74 61 5f 73 74 6f 72 61 67 65 20 3d 20   meta_storage = 
0e10: 7b 7d 0a 0a 20 20 20 20 64 65 66 20 5f 5f 69 6e  {}..    def __in
0e20: 69 74 5f 5f 28 73 65 6c 66 2c 20 72 65 71 75 65  it__(self, reque
0e30: 73 74 3d 4e 6f 6e 65 29 3a 0a 20 20 20 20 20 20  st=None):.      
0e40: 20 20 73 65 6c 66 2e 6c 6f 63 6b 65 72 2e 61 63    self.locker.ac
0e50: 71 75 69 72 65 28 29 0a 20 20 20 20 20 20 20 20  quire().        
0e60: 73 65 6c 66 2e 72 65 71 75 65 73 74 20 3d 20 72  self.request = r
0e70: 65 71 75 65 73 74 0a 20 20 20 20 20 20 20 20 69  equest.        i
0e80: 66 20 72 65 71 75 65 73 74 3a 0a 20 20 20 20 20  f request:.     
0e90: 20 20 20 20 20 20 20 61 70 70 20 3d 20 72 65 71         app = req
0ea0: 75 65 73 74 2e 61 70 70 6c 69 63 61 74 69 6f 6e  uest.application
0eb0: 0a 20 20 20 20 20 20 20 20 65 6c 73 65 3a 0a 20  .        else:. 
0ec0: 20 20 20 20 20 20 20 20 20 20 20 61 70 70 20 3d             app =
0ed0: 20 27 27 0a 20 20 20 20 20 20 20 20 69 66 20 6e   ''.        if n
0ee0: 6f 74 20 61 70 70 20 69 6e 20 73 65 6c 66 2e 6d  ot app in self.m
0ef0: 65 74 61 5f 73 74 6f 72 61 67 65 3a 0a 20 20 20  eta_storage:.   
0f00: 20 20 20 20 20 20 20 20 20 73 65 6c 66 2e 73 74           self.st
0f10: 6f 72 61 67 65 20 3d 20 73 65 6c 66 2e 6d 65 74  orage = self.met
0f20: 61 5f 73 74 6f 72 61 67 65 5b 61 70 70 5d 20 3d  a_storage[app] =
0f30: 20 7b 43 61 63 68 65 41 62 73 74 72 61 63 74 2e   {CacheAbstract.
0f40: 63 61 63 68 65 5f 73 74 61 74 73 5f 6e 61 6d 65  cache_stats_name
0f50: 3a 20 7b 0a 20 20 20 20 20 20 20 20 20 20 20 20  : {.            
0f60: 20 20 20 20 27 68 69 74 5f 74 6f 74 61 6c 27 3a      'hit_total':
0f70: 20 30 2c 0a 20 20 20 20 20 20 20 20 20 20 20 20   0,.            
0f80: 20 20 20 20 27 6d 69 73 73 65 73 27 3a 20 30 2c      'misses': 0,
0f90: 0a 20 20 20 20 20 20 20 20 20 20 20 20 7d 7d 0a  .            }}.
0fa0: 20 20 20 20 20 20 20 20 65 6c 73 65 3a 0a 20 20          else:.  
0fb0: 20 20 20 20 20 20 20 20 20 20 73 65 6c 66 2e 73            self.s
0fc0: 74 6f 72 61 67 65 20 3d 20 73 65 6c 66 2e 6d 65  torage = self.me
0fd0: 74 61 5f 73 74 6f 72 61 67 65 5b 61 70 70 5d 0a  ta_storage[app].
0fe0: 20 20 20 20 20 20 20 20 73 65 6c 66 2e 6c 6f 63          self.loc
0ff0: 6b 65 72 2e 72 65 6c 65 61 73 65 28 29 0a 0a 20  ker.release().. 
1000: 20 20 20 64 65 66 20 63 6c 65 61 72 28 73 65 6c     def clear(sel
1010: 66 2c 20 72 65 67 65 78 3d 4e 6f 6e 65 29 3a 0a  f, regex=None):.
1020: 20 20 20 20 20 20 20 20 73 65 6c 66 2e 6c 6f 63          self.loc
1030: 6b 65 72 2e 61 63 71 75 69 72 65 28 29 0a 20 20  ker.acquire().  
1040: 20 20 20 20 20 20 73 74 6f 72 61 67 65 20 3d 20        storage = 
1050: 73 65 6c 66 2e 73 74 6f 72 61 67 65 0a 20 20 20  self.storage.   
1060: 20 20 20 20 20 69 66 20 72 65 67 65 78 20 69 73       if regex is
1070: 20 4e 6f 6e 65 3a 0a 20 20 20 20 20 20 20 20 20   None:.         
1080: 20 20 20 73 74 6f 72 61 67 65 2e 63 6c 65 61 72     storage.clear
1090: 28 29 0a 20 20 20 20 20 20 20 20 65 6c 73 65 3a  ().        else:
10a0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 73 65 6c  .            sel
10b0: 66 2e 5f 63 6c 65 61 72 28 73 74 6f 72 61 67 65  f._clear(storage
10c0: 2c 20 72 65 67 65 78 29 0a 0a 20 20 20 20 20 20  , regex)..      
10d0: 20 20 69 66 20 6e 6f 74 20 43 61 63 68 65 41 62    if not CacheAb
10e0: 73 74 72 61 63 74 2e 63 61 63 68 65 5f 73 74 61  stract.cache_sta
10f0: 74 73 5f 6e 61 6d 65 20 69 6e 20 73 74 6f 72 61  ts_name in stora
1100: 67 65 2e 6b 65 79 73 28 29 3a 0a 20 20 20 20 20  ge.keys():.     
1110: 20 20 20 20 20 20 20 73 74 6f 72 61 67 65 5b 43         storage[C
1120: 61 63 68 65 41 62 73 74 72 61 63 74 2e 63 61 63  acheAbstract.cac
1130: 68 65 5f 73 74 61 74 73 5f 6e 61 6d 65 5d 20 3d  he_stats_name] =
1140: 20 7b 0a 20 20 20 20 20 20 20 20 20 20 20 20 20   {.             
1150: 20 20 20 27 68 69 74 5f 74 6f 74 61 6c 27 3a 20     'hit_total': 
1160: 30 2c 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  0,.             
1170: 20 20 20 27 6d 69 73 73 65 73 27 3a 20 30 2c 0a     'misses': 0,.
1180: 20 20 20 20 20 20 20 20 20 20 20 20 7d 0a 0a 20              }.. 
1190: 20 20 20 20 20 20 20 73 65 6c 66 2e 6c 6f 63 6b         self.lock
11a0: 65 72 2e 72 65 6c 65 61 73 65 28 29 0a 0a 20 20  er.release()..  
11b0: 20 20 64 65 66 20 5f 5f 63 61 6c 6c 5f 5f 28 73    def __call__(s
11c0: 65 6c 66 2c 20 6b 65 79 2c 20 66 2c 0a 20 20 20  elf, key, f,.   
11d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 74 69 6d               tim
11e0: 65 5f 65 78 70 69 72 65 20 3d 20 44 45 46 41 55  e_expire = DEFAU
11f0: 4c 54 5f 54 49 4d 45 5f 45 58 50 49 52 45 29 3a  LT_TIME_EXPIRE):
1200: 0a 20 20 20 20 20 20 20 20 22 22 22 0a 20 20 20  .        """.   
1210: 20 20 20 20 20 41 74 74 65 6e 74 69 6f 6e 21 20       Attention! 
1220: 63 61 63 68 65 2e 72 61 6d 20 64 6f 65 73 20 6e  cache.ram does n
1230: 6f 74 20 63 6f 70 79 20 74 68 65 20 63 61 63 68  ot copy the cach
1240: 65 64 20 6f 62 6a 65 63 74 2e 20 49 74 20 6a 75  ed object. It ju
1250: 73 74 20 73 74 6f 72 65 73 20 61 20 72 65 66 65  st stores a refe
1260: 72 65 6e 63 65 20 74 6f 20 69 74 2e 0a 20 20 20  rence to it..   
1270: 20 20 20 20 20 54 75 72 6e 73 20 6f 75 74 20 74       Turns out t
1280: 68 65 20 64 65 65 70 63 6f 70 79 69 6e 67 20 74  he deepcopying t
1290: 68 65 20 6f 62 6a 65 63 74 20 68 61 73 20 73 6f  he object has so
12a0: 6d 65 20 70 72 6f 62 6c 65 6d 73 3a 0a 20 20 20  me problems:.   
12b0: 20 20 20 20 20 31 29 20 77 6f 75 6c 64 20 62 72       1) would br
12c0: 65 61 6b 20 62 61 63 6b 77 61 72 64 20 63 6f 6d  eak backward com
12d0: 70 61 74 69 62 69 6c 69 74 79 0a 20 20 20 20 20  patibility.     
12e0: 20 20 20 32 29 20 77 6f 75 6c 64 20 62 65 20 6c     2) would be l
12f0: 69 6d 69 74 69 6e 67 20 62 65 63 61 75 73 65 20  imiting because 
1300: 70 65 6f 70 6c 65 20 6d 61 79 20 77 61 6e 74 20  people may want 
1310: 74 6f 20 63 61 63 68 65 20 6c 69 76 65 20 6f 62  to cache live ob
1320: 6a 65 63 74 73 0a 20 20 20 20 20 20 20 20 33 29  jects.        3)
1330: 20 77 6f 75 6c 64 20 77 6f 72 6b 20 75 6e 6c 65   would work unle
1340: 73 73 20 77 65 20 64 65 65 70 63 6f 70 79 20 6e  ss we deepcopy n
1350: 6f 20 73 74 6f 72 61 67 65 20 61 6e 64 20 72 65  o storage and re
1360: 74 72 69 76 61 6c 20 77 68 69 63 68 20 77 6f 75  trival which wou
1370: 6c 64 20 6d 61 6b 65 20 74 68 69 6e 67 73 20 73  ld make things s
1380: 6c 6f 77 2e 0a 20 20 20 20 20 20 20 20 41 6e 79  low..        Any
1390: 77 61 79 2e 20 59 6f 75 20 63 61 6e 20 64 65 65  way. You can dee
13a0: 70 63 6f 70 79 20 65 78 70 6c 69 63 69 74 6c 79  pcopy explicitly
13b0: 20 69 6e 20 74 68 65 20 66 75 6e 63 74 69 6f 6e   in the function
13c0: 20 67 65 6e 65 72 61 74 69 6e 67 20 74 68 65 20   generating the 
13d0: 76 61 6c 75 65 20 74 6f 20 62 65 20 63 61 63 68  value to be cach
13e0: 65 64 2e 0a 20 20 20 20 20 20 20 20 22 22 22 0a  ed..        """.
13f0: 0a 20 20 20 20 20 20 20 20 64 74 20 3d 20 74 69  .        dt = ti
1400: 6d 65 5f 65 78 70 69 72 65 0a 0a 20 20 20 20 20  me_expire..     
1410: 20 20 20 73 65 6c 66 2e 6c 6f 63 6b 65 72 2e 61     self.locker.a
1420: 63 71 75 69 72 65 28 29 0a 20 20 20 20 20 20 20  cquire().       
1430: 20 69 74 65 6d 20 3d 20 73 65 6c 66 2e 73 74 6f   item = self.sto
1440: 72 61 67 65 2e 67 65 74 28 6b 65 79 2c 20 4e 6f  rage.get(key, No
1450: 6e 65 29 0a 20 20 20 20 20 20 20 20 69 66 20 69  ne).        if i
1460: 74 65 6d 20 61 6e 64 20 66 20 69 73 20 4e 6f 6e  tem and f is Non
1470: 65 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 64  e:.            d
1480: 65 6c 20 73 65 6c 66 2e 73 74 6f 72 61 67 65 5b  el self.storage[
1490: 6b 65 79 5d 0a 20 20 20 20 20 20 20 20 73 65 6c  key].        sel
14a0: 66 2e 73 74 6f 72 61 67 65 5b 43 61 63 68 65 41  f.storage[CacheA
14b0: 62 73 74 72 61 63 74 2e 63 61 63 68 65 5f 73 74  bstract.cache_st
14c0: 61 74 73 5f 6e 61 6d 65 5d 5b 27 68 69 74 5f 74  ats_name]['hit_t
14d0: 6f 74 61 6c 27 5d 20 2b 3d 20 31 0a 20 20 20 20  otal'] += 1.    
14e0: 20 20 20 20 73 65 6c 66 2e 6c 6f 63 6b 65 72 2e      self.locker.
14f0: 72 65 6c 65 61 73 65 28 29 0a 0a 20 20 20 20 20  release()..     
1500: 20 20 20 69 66 20 66 20 69 73 20 4e 6f 6e 65 3a     if f is None:
1510: 0a 20 20 20 20 20 20 20 20 20 20 20 20 72 65 74  .            ret
1520: 75 72 6e 20 4e 6f 6e 65 0a 20 20 20 20 20 20 20  urn None.       
1530: 20 69 66 20 69 74 65 6d 20 61 6e 64 20 28 64 74   if item and (dt
1540: 20 69 73 20 4e 6f 6e 65 20 6f 72 20 69 74 65 6d   is None or item
1550: 5b 30 5d 20 3e 20 74 69 6d 65 2e 74 69 6d 65 28  [0] > time.time(
1560: 29 20 2d 20 64 74 29 3a 0a 20 20 20 20 20 20 20  ) - dt):.       
1570: 20 20 20 20 20 72 65 74 75 72 6e 20 69 74 65 6d       return item
1580: 5b 31 5d 0a 20 20 20 20 20 20 20 20 76 61 6c 75  [1].        valu
1590: 65 20 3d 20 66 28 29 0a 0a 20 20 20 20 20 20 20  e = f()..       
15a0: 20 73 65 6c 66 2e 6c 6f 63 6b 65 72 2e 61 63 71   self.locker.acq
15b0: 75 69 72 65 28 29 0a 20 20 20 20 20 20 20 20 73  uire().        s
15c0: 65 6c 66 2e 73 74 6f 72 61 67 65 5b 6b 65 79 5d  elf.storage[key]
15d0: 20 3d 20 28 74 69 6d 65 2e 74 69 6d 65 28 29 2c   = (time.time(),
15e0: 20 76 61 6c 75 65 29 0a 20 20 20 20 20 20 20 20   value).        
15f0: 73 65 6c 66 2e 73 74 6f 72 61 67 65 5b 43 61 63  self.storage[Cac
1600: 68 65 41 62 73 74 72 61 63 74 2e 63 61 63 68 65  heAbstract.cache
1610: 5f 73 74 61 74 73 5f 6e 61 6d 65 5d 5b 27 6d 69  _stats_name]['mi
1620: 73 73 65 73 27 5d 20 2b 3d 20 31 0a 20 20 20 20  sses'] += 1.    
1630: 20 20 20 20 73 65 6c 66 2e 6c 6f 63 6b 65 72 2e      self.locker.
1640: 72 65 6c 65 61 73 65 28 29 0a 20 20 20 20 20 20  release().      
1650: 20 20 72 65 74 75 72 6e 20 76 61 6c 75 65 0a 0a    return value..
1660: 20 20 20 20 64 65 66 20 69 6e 63 72 65 6d 65 6e      def incremen
1670: 74 28 73 65 6c 66 2c 20 6b 65 79 2c 20 76 61 6c  t(self, key, val
1680: 75 65 3d 31 29 3a 0a 20 20 20 20 20 20 20 20 73  ue=1):.        s
1690: 65 6c 66 2e 6c 6f 63 6b 65 72 2e 61 63 71 75 69  elf.locker.acqui
16a0: 72 65 28 29 0a 20 20 20 20 20 20 20 20 74 72 79  re().        try
16b0: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 69 66  :.            if
16c0: 20 6b 65 79 20 69 6e 20 73 65 6c 66 2e 73 74 6f   key in self.sto
16d0: 72 61 67 65 3a 0a 20 20 20 20 20 20 20 20 20 20  rage:.          
16e0: 20 20 20 20 20 20 76 61 6c 75 65 20 3d 20 73 65        value = se
16f0: 6c 66 2e 73 74 6f 72 61 67 65 5b 6b 65 79 5d 5b  lf.storage[key][
1700: 31 5d 20 2b 20 76 61 6c 75 65 0a 20 20 20 20 20  1] + value.     
1710: 20 20 20 20 20 20 20 73 65 6c 66 2e 73 74 6f 72         self.stor
1720: 61 67 65 5b 6b 65 79 5d 20 3d 20 28 74 69 6d 65  age[key] = (time
1730: 2e 74 69 6d 65 28 29 2c 20 76 61 6c 75 65 29 0a  .time(), value).
1740: 20 20 20 20 20 20 20 20 65 78 63 65 70 74 20 42          except B
1750: 61 73 65 45 78 63 65 70 74 69 6f 6e 2c 20 65 3a  aseException, e:
1760: 0a 20 20 20 20 20 20 20 20 20 20 20 20 73 65 6c  .            sel
1770: 66 2e 6c 6f 63 6b 65 72 2e 72 65 6c 65 61 73 65  f.locker.release
1780: 28 29 0a 20 20 20 20 20 20 20 20 20 20 20 20 72  ().            r
1790: 61 69 73 65 20 65 0a 20 20 20 20 20 20 20 20 73  aise e.        s
17a0: 65 6c 66 2e 6c 6f 63 6b 65 72 2e 72 65 6c 65 61  elf.locker.relea
17b0: 73 65 28 29 0a 20 20 20 20 20 20 20 20 72 65 74  se().        ret
17c0: 75 72 6e 20 76 61 6c 75 65 0a 0a 0a 63 6c 61 73  urn value...clas
17d0: 73 20 43 61 63 68 65 4f 6e 44 69 73 6b 28 43 61  s CacheOnDisk(Ca
17e0: 63 68 65 41 62 73 74 72 61 63 74 29 3a 0a 20 20  cheAbstract):.  
17f0: 20 20 22 22 22 0a 20 20 20 20 44 69 73 6b 20 62    """.    Disk b
1800: 61 73 65 64 20 63 61 63 68 65 0a 0a 20 20 20 20  ased cache..    
1810: 54 68 69 73 20 69 73 20 69 6d 70 6c 65 6d 65 6e  This is implemen
1820: 74 65 64 20 61 73 20 61 20 73 68 65 6c 76 65 20  ted as a shelve 
1830: 6f 62 6a 65 63 74 20 61 6e 64 20 69 74 20 69 73  object and it is
1840: 20 73 68 61 72 65 64 20 62 79 20 6d 75 6c 74 69   shared by multi
1850: 70 6c 65 20 77 65 62 32 70 79 0a 20 20 20 20 70  ple web2py.    p
1860: 72 6f 63 65 73 73 65 73 20 28 61 6e 64 20 74 68  rocesses (and th
1870: 72 65 61 64 73 29 20 61 73 20 6c 6f 6e 67 20 61  reads) as long a
1880: 73 20 74 68 65 79 20 73 68 61 72 65 20 74 68 65  s they share the
1890: 20 73 61 6d 65 20 66 69 6c 65 73 79 73 74 65 6d   same filesystem
18a0: 2e 0a 20 20 20 20 54 68 65 20 66 69 6c 65 20 69  ..    The file i
18b0: 73 20 6c 6f 63 6b 65 64 20 77 65 6e 20 61 63 63  s locked wen acc
18c0: 65 73 73 65 64 2e 0a 0a 20 20 20 20 44 69 73 6b  essed...    Disk
18d0: 20 63 61 63 68 65 20 70 72 6f 76 69 64 65 73 20   cache provides 
18e0: 70 65 72 73 69 73 74 61 6e 63 65 20 77 68 65 6e  persistance when
18f0: 20 77 65 62 32 70 79 20 69 73 20 73 74 61 72 74   web2py is start
1900: 65 64 2f 73 74 6f 70 70 65 64 20 62 75 74 20 69  ed/stopped but i
1910: 74 20 73 6c 6f 77 65 72 0a 20 20 20 20 74 68 61  t slower.    tha
1920: 6e 20 60 43 61 63 68 65 49 6e 52 61 6d 60 0a 0a  n `CacheInRam`..
1930: 20 20 20 20 56 61 6c 75 65 73 20 73 74 6f 72 65      Values store
1940: 64 20 69 6e 20 64 69 73 6b 20 63 61 63 68 65 20  d in disk cache 
1950: 6d 75 73 74 20 62 65 20 70 69 63 6b 61 62 6c 65  must be pickable
1960: 2e 0a 20 20 20 20 22 22 22 0a 0a 20 20 20 20 73  ..    """..    s
1970: 70 65 65 64 75 70 5f 63 68 65 63 6b 73 20 3d 20  peedup_checks = 
1980: 73 65 74 28 29 0a 0a 20 20 20 20 64 65 66 20 5f  set()..    def _
1990: 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 2c 20 72 65  _init__(self, re
19a0: 71 75 65 73 74 2c 20 66 6f 6c 64 65 72 3d 4e 6f  quest, folder=No
19b0: 6e 65 29 3a 0a 20 20 20 20 20 20 20 20 73 65 6c  ne):.        sel
19c0: 66 2e 72 65 71 75 65 73 74 20 3d 20 72 65 71 75  f.request = requ
19d0: 65 73 74 0a 0a 20 20 20 20 20 20 20 20 23 20 4c  est..        # L
19e0: 65 74 73 20 74 65 73 74 20 69 66 20 74 68 65 20  ets test if the 
19f0: 63 61 63 68 65 20 66 6f 6c 64 65 72 20 65 78 69  cache folder exi
1a00: 73 74 73 2c 20 69 66 20 6e 6f 74 0a 20 20 20 20  sts, if not.    
1a10: 20 20 20 20 23 20 77 65 20 61 72 65 20 67 6f 69      # we are goi
1a20: 6e 67 20 74 6f 20 63 72 65 61 74 65 20 69 74 0a  ng to create it.
1a30: 20 20 20 20 20 20 20 20 66 6f 6c 64 65 72 20 3d          folder =
1a40: 20 66 6f 6c 64 65 72 20 6f 72 20 6f 73 2e 70 61   folder or os.pa
1a50: 74 68 2e 6a 6f 69 6e 28 72 65 71 75 65 73 74 2e  th.join(request.
1a60: 66 6f 6c 64 65 72 2c 20 27 63 61 63 68 65 27 29  folder, 'cache')
1a70: 0a 0a 20 20 20 20 20 20 20 20 69 66 20 6e 6f 74  ..        if not
1a80: 20 6f 73 2e 70 61 74 68 2e 65 78 69 73 74 73 28   os.path.exists(
1a90: 66 6f 6c 64 65 72 29 3a 0a 20 20 20 20 20 20 20  folder):.       
1aa0: 20 20 20 20 20 6f 73 2e 6d 6b 64 69 72 28 66 6f       os.mkdir(fo
1ab0: 6c 64 65 72 29 0a 0a 20 20 20 20 20 20 20 20 23  lder)..        #
1ac0: 23 23 20 77 65 20 6e 65 65 64 20 74 68 69 73 20  ## we need this 
1ad0: 62 65 63 61 75 73 65 20 6f 66 20 61 20 70 6f 73  because of a pos
1ae0: 73 69 62 6c 65 20 62 75 67 20 69 6e 20 73 68 65  sible bug in she
1af0: 6c 76 65 20 74 68 61 74 20 6d 61 79 0a 20 20 20  lve that may.   
1b00: 20 20 20 20 20 23 23 23 20 6f 72 20 6d 61 79 20       ### or may 
1b10: 6e 6f 74 20 6c 6f 63 6b 0a 20 20 20 20 20 20 20  not lock.       
1b20: 20 73 65 6c 66 2e 6c 6f 63 6b 65 72 5f 6e 61 6d   self.locker_nam
1b30: 65 20 3d 20 6f 73 2e 70 61 74 68 2e 6a 6f 69 6e  e = os.path.join
1b40: 28 66 6f 6c 64 65 72 2c 27 63 61 63 68 65 2e 6c  (folder,'cache.l
1b50: 6f 63 6b 27 29 0a 20 20 20 20 20 20 20 20 73 65  ock').        se
1b60: 6c 66 2e 73 68 65 6c 76 65 5f 6e 61 6d 65 20 3d  lf.shelve_name =
1b70: 20 6f 73 2e 70 61 74 68 2e 6a 6f 69 6e 28 66 6f   os.path.join(fo
1b80: 6c 64 65 72 2c 27 63 61 63 68 65 2e 73 68 65 6c  lder,'cache.shel
1b90: 76 65 27 29 0a 0a 20 20 20 20 20 20 20 20 6c 6f  ve')..        lo
1ba0: 63 6b 65 72 2c 20 6c 6f 63 6b 65 72 5f 6c 6f 63  cker, locker_loc
1bb0: 6b 65 64 20 3d 20 4e 6f 6e 65 2c 20 46 61 6c 73  ked = None, Fals
1bc0: 65 0a 20 20 20 20 20 20 20 20 73 70 65 65 64 75  e.        speedu
1bd0: 70 5f 6b 65 79 20 3d 20 28 66 6f 6c 64 65 72 2c  p_key = (folder,
1be0: 43 61 63 68 65 41 62 73 74 72 61 63 74 2e 63 61  CacheAbstract.ca
1bf0: 63 68 65 5f 73 74 61 74 73 5f 6e 61 6d 65 29 0a  che_stats_name).
1c00: 20 20 20 20 20 20 20 20 69 66 20 6e 6f 74 20 73          if not s
1c10: 70 65 65 64 75 70 5f 6b 65 79 20 69 6e 20 73 65  peedup_key in se
1c20: 6c 66 2e 73 70 65 65 64 75 70 5f 63 68 65 63 6b  lf.speedup_check
1c30: 73 20 6f 72 20 5c 0a 20 20 20 20 20 20 20 20 20  s or \.         
1c40: 20 20 20 20 20 20 20 6e 6f 74 20 6f 73 2e 70 61         not os.pa
1c50: 74 68 2e 65 78 69 73 74 73 28 73 65 6c 66 2e 73  th.exists(self.s
1c60: 68 65 6c 76 65 5f 6e 61 6d 65 29 3a 0a 20 20 20  helve_name):.   
1c70: 20 20 20 20 20 20 20 20 20 74 72 79 3a 0a 20 20           try:.  
1c80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 6c 6f                lo
1c90: 63 6b 65 72 20 3d 20 6f 70 65 6e 28 73 65 6c 66  cker = open(self
1ca0: 2e 6c 6f 63 6b 65 72 5f 6e 61 6d 65 2c 20 27 61  .locker_name, 'a
1cb0: 27 29 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  ').             
1cc0: 20 20 20 70 6f 72 74 61 6c 6f 63 6b 65 72 2e 6c     portalocker.l
1cd0: 6f 63 6b 28 6c 6f 63 6b 65 72 2c 20 70 6f 72 74  ock(locker, port
1ce0: 61 6c 6f 63 6b 65 72 2e 4c 4f 43 4b 5f 45 58 29  alocker.LOCK_EX)
1cf0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
1d00: 20 6c 6f 63 6b 65 72 5f 6c 6f 63 6b 65 64 20 3d   locker_locked =
1d10: 20 54 72 75 65 0a 20 20 20 20 20 20 20 20 20 20   True.          
1d20: 20 20 20 20 20 20 73 74 6f 72 61 67 65 20 3d 20        storage = 
1d30: 73 68 65 6c 76 65 2e 6f 70 65 6e 28 73 65 6c 66  shelve.open(self
1d40: 2e 73 68 65 6c 76 65 5f 6e 61 6d 65 29 0a 20 20  .shelve_name).  
1d50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 74 72                tr
1d60: 79 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  y:.             
1d70: 20 20 20 20 20 20 20 69 66 20 6e 6f 74 20 73 74         if not st
1d80: 6f 72 61 67 65 2e 68 61 73 5f 6b 65 79 28 43 61  orage.has_key(Ca
1d90: 63 68 65 41 62 73 74 72 61 63 74 2e 63 61 63 68  cheAbstract.cach
1da0: 65 5f 73 74 61 74 73 5f 6e 61 6d 65 29 3a 0a 20  e_stats_name):. 
1db0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1dc0: 20 20 20 20 20 20 20 73 74 6f 72 61 67 65 5b 43         storage[C
1dd0: 61 63 68 65 41 62 73 74 72 61 63 74 2e 63 61 63  acheAbstract.cac
1de0: 68 65 5f 73 74 61 74 73 5f 6e 61 6d 65 5d 20 3d  he_stats_name] =
1df0: 20 7b 0a 20 20 20 20 20 20 20 20 20 20 20 20 20   {.             
1e00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 27                 '
1e10: 68 69 74 5f 74 6f 74 61 6c 27 3a 20 30 2c 0a 20  hit_total': 0,. 
1e20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1e30: 20 20 20 20 20 20 20 20 20 20 20 27 6d 69 73 73             'miss
1e40: 65 73 27 3a 20 30 2c 0a 20 20 20 20 20 20 20 20  es': 0,.        
1e50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1e60: 20 20 20 20 7d 0a 20 20 20 20 20 20 20 20 20 20      }.          
1e70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 73 74                st
1e80: 6f 72 61 67 65 2e 73 79 6e 63 28 29 0a 20 20 20  orage.sync().   
1e90: 20 20 20 20 20 20 20 20 20 20 20 20 20 66 69 6e               fin
1ea0: 61 6c 6c 79 3a 0a 20 20 20 20 20 20 20 20 20 20  ally:.          
1eb0: 20 20 20 20 20 20 20 20 20 20 73 74 6f 72 61 67            storag
1ec0: 65 2e 63 6c 6f 73 65 28 29 0a 20 20 20 20 20 20  e.close().      
1ed0: 20 20 20 20 20 20 20 20 20 20 73 65 6c 66 2e 73            self.s
1ee0: 70 65 65 64 75 70 5f 63 68 65 63 6b 73 2e 61 64  peedup_checks.ad
1ef0: 64 28 73 70 65 65 64 75 70 5f 6b 65 79 29 0a 20  d(speedup_key). 
1f00: 20 20 20 20 20 20 20 20 20 20 20 65 78 63 65 70             excep
1f10: 74 20 49 6d 70 6f 72 74 45 72 72 6f 72 3a 0a 20  t ImportError:. 
1f20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 70                 p
1f30: 61 73 73 20 23 20 6e 6f 20 6d 6f 64 75 6c 65 20  ass # no module 
1f40: 5f 62 73 64 64 62 2c 20 69 67 6e 6f 72 69 6e 67  _bsddb, ignoring
1f50: 20 65 78 63 65 70 74 69 6f 6e 20 6e 6f 77 20 73   exception now s
1f60: 6f 20 69 74 20 6d 61 6b 65 73 20 61 20 74 69 63  o it makes a tic
1f70: 6b 65 74 20 6f 6e 6c 79 20 69 66 20 75 73 65 64  ket only if used
1f80: 0a 20 20 20 20 20 20 20 20 20 20 20 20 65 78 63  .            exc
1f90: 65 70 74 3a 0a 20 20 20 20 20 20 20 20 20 20 20  ept:.           
1fa0: 20 20 20 20 20 6c 6f 67 67 65 72 2e 65 72 72 6f       logger.erro
1fb0: 72 28 27 63 6f 72 72 75 70 74 65 64 20 66 69 6c  r('corrupted fil
1fc0: 65 20 25 73 2c 20 77 69 6c 6c 20 74 72 79 20 64  e %s, will try d
1fd0: 65 6c 65 74 65 20 69 74 21 27 20 5c 0a 20 20 20  elete it!' \.   
1fe0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1ff0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 25 20                % 
2000: 73 65 6c 66 2e 73 68 65 6c 76 65 5f 6e 61 6d 65  self.shelve_name
2010: 29 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ).              
2020: 20 20 74 72 79 3a 0a 20 20 20 20 20 20 20 20 20    try:.         
2030: 20 20 20 20 20 20 20 20 20 20 20 6f 73 2e 75 6e             os.un
2040: 6c 69 6e 6b 28 73 65 6c 66 2e 73 68 65 6c 76 65  link(self.shelve
2050: 5f 6e 61 6d 65 29 0a 20 20 20 20 20 20 20 20 20  _name).         
2060: 20 20 20 20 20 20 20 65 78 63 65 70 74 20 49 4f         except IO
2070: 45 72 72 6f 72 3a 0a 20 20 20 20 20 20 20 20 20  Error:.         
2080: 20 20 20 20 20 20 20 20 20 20 20 6c 6f 67 67 65             logge
2090: 72 2e 77 61 72 6e 28 27 75 6e 61 62 6c 65 20 74  r.warn('unable t
20a0: 6f 20 64 65 6c 65 74 65 20 66 69 6c 65 20 25 73  o delete file %s
20b0: 27 20 25 20 73 65 6c 66 2e 73 68 65 6c 76 65 5f  ' % self.shelve_
20c0: 6e 61 6d 65 29 0a 20 20 20 20 20 20 20 20 20 20  name).          
20d0: 20 20 69 66 20 6c 6f 63 6b 65 72 5f 6c 6f 63 6b    if locker_lock
20e0: 65 64 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  ed:.            
20f0: 20 20 20 20 70 6f 72 74 61 6c 6f 63 6b 65 72 2e      portalocker.
2100: 75 6e 6c 6f 63 6b 28 6c 6f 63 6b 65 72 29 0a 20  unlock(locker). 
2110: 20 20 20 20 20 20 20 20 20 20 20 69 66 20 6c 6f             if lo
2120: 63 6b 65 72 3a 0a 20 20 20 20 20 20 20 20 20 20  cker:.          
2130: 20 20 20 20 20 20 6c 6f 63 6b 65 72 2e 63 6c 6f        locker.clo
2140: 73 65 28 29 0a 0a 20 20 20 20 64 65 66 20 63 6c  se()..    def cl
2150: 65 61 72 28 73 65 6c 66 2c 20 72 65 67 65 78 3d  ear(self, regex=
2160: 4e 6f 6e 65 29 3a 0a 20 20 20 20 20 20 20 20 6c  None):.        l
2170: 6f 63 6b 65 72 20 3d 20 6f 70 65 6e 28 73 65 6c  ocker = open(sel
2180: 66 2e 6c 6f 63 6b 65 72 5f 6e 61 6d 65 2c 27 61  f.locker_name,'a
2190: 27 29 0a 20 20 20 20 20 20 20 20 70 6f 72 74 61  ').        porta
21a0: 6c 6f 63 6b 65 72 2e 6c 6f 63 6b 28 6c 6f 63 6b  locker.lock(lock
21b0: 65 72 2c 20 70 6f 72 74 61 6c 6f 63 6b 65 72 2e  er, portalocker.
21c0: 4c 4f 43 4b 5f 45 58 29 0a 20 20 20 20 20 20 20  LOCK_EX).       
21d0: 20 73 74 6f 72 61 67 65 20 3d 20 73 68 65 6c 76   storage = shelv
21e0: 65 2e 6f 70 65 6e 28 73 65 6c 66 2e 73 68 65 6c  e.open(self.shel
21f0: 76 65 5f 6e 61 6d 65 29 0a 20 20 20 20 20 20 20  ve_name).       
2200: 20 74 72 79 3a 0a 20 20 20 20 20 20 20 20 20 20   try:.          
2210: 20 20 69 66 20 72 65 67 65 78 20 69 73 20 4e 6f    if regex is No
2220: 6e 65 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  ne:.            
2230: 20 20 20 20 73 74 6f 72 61 67 65 2e 63 6c 65 61      storage.clea
2240: 72 28 29 0a 20 20 20 20 20 20 20 20 20 20 20 20  r().            
2250: 65 6c 73 65 3a 0a 20 20 20 20 20 20 20 20 20 20  else:.          
2260: 20 20 20 20 20 20 73 65 6c 66 2e 5f 63 6c 65 61        self._clea
2270: 72 28 73 74 6f 72 61 67 65 2c 20 72 65 67 65 78  r(storage, regex
2280: 29 0a 20 20 20 20 20 20 20 20 20 20 20 20 69 66  ).            if
2290: 20 6e 6f 74 20 43 61 63 68 65 41 62 73 74 72 61   not CacheAbstra
22a0: 63 74 2e 63 61 63 68 65 5f 73 74 61 74 73 5f 6e  ct.cache_stats_n
22b0: 61 6d 65 20 69 6e 20 73 74 6f 72 61 67 65 2e 6b  ame in storage.k
22c0: 65 79 73 28 29 3a 0a 20 20 20 20 20 20 20 20 20  eys():.         
22d0: 20 20 20 20 20 20 20 73 74 6f 72 61 67 65 5b 43         storage[C
22e0: 61 63 68 65 41 62 73 74 72 61 63 74 2e 63 61 63  acheAbstract.cac
22f0: 68 65 5f 73 74 61 74 73 5f 6e 61 6d 65 5d 20 3d  he_stats_name] =
2300: 20 7b 0a 20 20 20 20 20 20 20 20 20 20 20 20 20   {.             
2310: 20 20 20 20 20 20 20 27 68 69 74 5f 74 6f 74 61         'hit_tota
2320: 6c 27 3a 20 30 2c 0a 20 20 20 20 20 20 20 20 20  l': 0,.         
2330: 20 20 20 20 20 20 20 20 20 20 20 27 6d 69 73 73             'miss
2340: 65 73 27 3a 20 30 2c 0a 20 20 20 20 20 20 20 20  es': 0,.        
2350: 20 20 20 20 20 20 20 20 7d 0a 20 20 20 20 20 20          }.      
2360: 20 20 20 20 20 20 73 74 6f 72 61 67 65 2e 73 79        storage.sy
2370: 6e 63 28 29 0a 20 20 20 20 20 20 20 20 66 69 6e  nc().        fin
2380: 61 6c 6c 79 3a 0a 20 20 20 20 20 20 20 20 20 20  ally:.          
2390: 20 20 73 74 6f 72 61 67 65 2e 63 6c 6f 73 65 28    storage.close(
23a0: 29 0a 20 20 20 20 20 20 20 20 70 6f 72 74 61 6c  ).        portal
23b0: 6f 63 6b 65 72 2e 75 6e 6c 6f 63 6b 28 6c 6f 63  ocker.unlock(loc
23c0: 6b 65 72 29 0a 20 20 20 20 20 20 20 20 6c 6f 63  ker).        loc
23d0: 6b 65 72 2e 63 6c 6f 73 65 28 29 0a 0a 20 20 20  ker.close()..   
23e0: 20 64 65 66 20 5f 5f 63 61 6c 6c 5f 5f 28 73 65   def __call__(se
23f0: 6c 66 2c 20 6b 65 79 2c 20 66 2c 0a 20 20 20 20  lf, key, f,.    
2400: 20 20 20 20 20 20 20 20 20 20 20 20 74 69 6d 65              time
2410: 5f 65 78 70 69 72 65 20 3d 20 44 45 46 41 55 4c  _expire = DEFAUL
2420: 54 5f 54 49 4d 45 5f 45 58 50 49 52 45 29 3a 0a  T_TIME_EXPIRE):.
2430: 20 20 20 20 20 20 20 20 64 74 20 3d 20 74 69 6d          dt = tim
2440: 65 5f 65 78 70 69 72 65 0a 0a 20 20 20 20 20 20  e_expire..      
2450: 20 20 6c 6f 63 6b 65 72 20 3d 20 6f 70 65 6e 28    locker = open(
2460: 73 65 6c 66 2e 6c 6f 63 6b 65 72 5f 6e 61 6d 65  self.locker_name
2470: 2c 27 61 27 29 0a 20 20 20 20 20 20 20 20 70 6f  ,'a').        po
2480: 72 74 61 6c 6f 63 6b 65 72 2e 6c 6f 63 6b 28 6c  rtalocker.lock(l
2490: 6f 63 6b 65 72 2c 20 70 6f 72 74 61 6c 6f 63 6b  ocker, portalock
24a0: 65 72 2e 4c 4f 43 4b 5f 45 58 29 0a 20 20 20 20  er.LOCK_EX).    
24b0: 20 20 20 20 73 74 6f 72 61 67 65 20 3d 20 73 68      storage = sh
24c0: 65 6c 76 65 2e 6f 70 65 6e 28 73 65 6c 66 2e 73  elve.open(self.s
24d0: 68 65 6c 76 65 5f 6e 61 6d 65 29 0a 0a 20 20 20  helve_name)..   
24e0: 20 20 20 20 20 69 74 65 6d 20 3d 20 73 74 6f 72       item = stor
24f0: 61 67 65 2e 67 65 74 28 6b 65 79 2c 20 4e 6f 6e  age.get(key, Non
2500: 65 29 0a 20 20 20 20 20 20 20 20 69 66 20 69 74  e).        if it
2510: 65 6d 20 61 6e 64 20 66 20 69 73 20 4e 6f 6e 65  em and f is None
2520: 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 64 65  :.            de
2530: 6c 20 73 74 6f 72 61 67 65 5b 6b 65 79 5d 0a 0a  l storage[key]..
2540: 20 20 20 20 20 20 20 20 73 74 6f 72 61 67 65 5b          storage[
2550: 43 61 63 68 65 41 62 73 74 72 61 63 74 2e 63 61  CacheAbstract.ca
2560: 63 68 65 5f 73 74 61 74 73 5f 6e 61 6d 65 5d 20  che_stats_name] 
2570: 3d 20 7b 0a 20 20 20 20 20 20 20 20 20 20 20 20  = {.            
2580: 27 68 69 74 5f 74 6f 74 61 6c 27 3a 20 73 74 6f  'hit_total': sto
2590: 72 61 67 65 5b 43 61 63 68 65 41 62 73 74 72 61  rage[CacheAbstra
25a0: 63 74 2e 63 61 63 68 65 5f 73 74 61 74 73 5f 6e  ct.cache_stats_n
25b0: 61 6d 65 5d 5b 27 68 69 74 5f 74 6f 74 61 6c 27  ame]['hit_total'
25c0: 5d 20 2b 20 31 2c 0a 20 20 20 20 20 20 20 20 20  ] + 1,.         
25d0: 20 20 20 27 6d 69 73 73 65 73 27 3a 20 73 74 6f     'misses': sto
25e0: 72 61 67 65 5b 43 61 63 68 65 41 62 73 74 72 61  rage[CacheAbstra
25f0: 63 74 2e 63 61 63 68 65 5f 73 74 61 74 73 5f 6e  ct.cache_stats_n
2600: 61 6d 65 5d 5b 27 6d 69 73 73 65 73 27 5d 0a 20  ame]['misses']. 
2610: 20 20 20 20 20 20 20 7d 0a 0a 20 20 20 20 20 20         }..      
2620: 20 20 73 74 6f 72 61 67 65 2e 73 79 6e 63 28 29    storage.sync()
2630: 0a 0a 20 20 20 20 20 20 20 20 70 6f 72 74 61 6c  ..        portal
2640: 6f 63 6b 65 72 2e 75 6e 6c 6f 63 6b 28 6c 6f 63  ocker.unlock(loc
2650: 6b 65 72 29 0a 20 20 20 20 20 20 20 20 6c 6f 63  ker).        loc
2660: 6b 65 72 2e 63 6c 6f 73 65 28 29 0a 0a 20 20 20  ker.close()..   
2670: 20 20 20 20 20 69 66 20 66 20 69 73 20 4e 6f 6e       if f is Non
2680: 65 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20 72  e:.            r
2690: 65 74 75 72 6e 20 4e 6f 6e 65 0a 20 20 20 20 20  eturn None.     
26a0: 20 20 20 69 66 20 69 74 65 6d 20 61 6e 64 20 28     if item and (
26b0: 64 74 20 69 73 20 4e 6f 6e 65 20 6f 72 20 69 74  dt is None or it
26c0: 65 6d 5b 30 5d 20 3e 20 74 69 6d 65 2e 74 69 6d  em[0] > time.tim
26d0: 65 28 29 20 2d 20 64 74 29 3a 0a 20 20 20 20 20  e() - dt):.     
26e0: 20 20 20 20 20 20 20 72 65 74 75 72 6e 20 69 74         return it
26f0: 65 6d 5b 31 5d 0a 20 20 20 20 20 20 20 20 76 61  em[1].        va
2700: 6c 75 65 20 3d 20 66 28 29 0a 0a 20 20 20 20 20  lue = f()..     
2710: 20 20 20 6c 6f 63 6b 65 72 20 3d 20 6f 70 65 6e     locker = open
2720: 28 73 65 6c 66 2e 6c 6f 63 6b 65 72 5f 6e 61 6d  (self.locker_nam
2730: 65 2c 27 61 27 29 0a 20 20 20 20 20 20 20 20 70  e,'a').        p
2740: 6f 72 74 61 6c 6f 63 6b 65 72 2e 6c 6f 63 6b 28  ortalocker.lock(
2750: 6c 6f 63 6b 65 72 2c 20 70 6f 72 74 61 6c 6f 63  locker, portaloc
2760: 6b 65 72 2e 4c 4f 43 4b 5f 45 58 29 0a 20 20 20  ker.LOCK_EX).   
2770: 20 20 20 20 20 73 74 6f 72 61 67 65 5b 6b 65 79       storage[key
2780: 5d 20 3d 20 28 74 69 6d 65 2e 74 69 6d 65 28 29  ] = (time.time()
2790: 2c 20 76 61 6c 75 65 29 0a 0a 20 20 20 20 20 20  , value)..      
27a0: 20 20 73 74 6f 72 61 67 65 5b 43 61 63 68 65 41    storage[CacheA
27b0: 62 73 74 72 61 63 74 2e 63 61 63 68 65 5f 73 74  bstract.cache_st
27c0: 61 74 73 5f 6e 61 6d 65 5d 20 3d 20 7b 0a 20 20  ats_name] = {.  
27d0: 20 20 20 20 20 20 20 20 20 20 27 68 69 74 5f 74            'hit_t
27e0: 6f 74 61 6c 27 3a 20 73 74 6f 72 61 67 65 5b 43  otal': storage[C
27f0: 61 63 68 65 41 62 73 74 72 61 63 74 2e 63 61 63  acheAbstract.cac
2800: 68 65 5f 73 74 61 74 73 5f 6e 61 6d 65 5d 5b 27  he_stats_name]['
2810: 68 69 74 5f 74 6f 74 61 6c 27 5d 2c 0a 20 20 20  hit_total'],.   
2820: 20 20 20 20 20 20 20 20 20 27 6d 69 73 73 65 73           'misses
2830: 27 3a 20 73 74 6f 72 61 67 65 5b 43 61 63 68 65  ': storage[Cache
2840: 41 62 73 74 72 61 63 74 2e 63 61 63 68 65 5f 73  Abstract.cache_s
2850: 74 61 74 73 5f 6e 61 6d 65 5d 5b 27 6d 69 73 73  tats_name]['miss
2860: 65 73 27 5d 20 2b 20 31 0a 20 20 20 20 20 20 20  es'] + 1.       
2870: 20 7d 0a 0a 20 20 20 20 20 20 20 20 73 74 6f 72   }..        stor
2880: 61 67 65 2e 73 79 6e 63 28 29 0a 0a 20 20 20 20  age.sync()..    
2890: 20 20 20 20 73 74 6f 72 61 67 65 2e 63 6c 6f 73      storage.clos
28a0: 65 28 29 0a 20 20 20 20 20 20 20 20 70 6f 72 74  e().        port
28b0: 61 6c 6f 63 6b 65 72 2e 75 6e 6c 6f 63 6b 28 6c  alocker.unlock(l
28c0: 6f 63 6b 65 72 29 0a 20 20 20 20 20 20 20 20 6c  ocker).        l
28d0: 6f 63 6b 65 72 2e 63 6c 6f 73 65 28 29 0a 0a 20  ocker.close().. 
28e0: 20 20 20 20 20 20 20 72 65 74 75 72 6e 20 76 61         return va
28f0: 6c 75 65 0a 0a 20 20 20 20 64 65 66 20 69 6e 63  lue..    def inc
2900: 72 65 6d 65 6e 74 28 73 65 6c 66 2c 20 6b 65 79  rement(self, key
2910: 2c 20 76 61 6c 75 65 3d 31 29 3a 0a 20 20 20 20  , value=1):.    
2920: 20 20 20 20 6c 6f 63 6b 65 72 20 3d 20 6f 70 65      locker = ope
2930: 6e 28 73 65 6c 66 2e 6c 6f 63 6b 65 72 5f 6e 61  n(self.locker_na
2940: 6d 65 2c 27 61 27 29 0a 20 20 20 20 20 20 20 20  me,'a').        
2950: 70 6f 72 74 61 6c 6f 63 6b 65 72 2e 6c 6f 63 6b  portalocker.lock
2960: 28 6c 6f 63 6b 65 72 2c 20 70 6f 72 74 61 6c 6f  (locker, portalo
2970: 63 6b 65 72 2e 4c 4f 43 4b 5f 45 58 29 0a 20 20  cker.LOCK_EX).  
2980: 20 20 20 20 20 20 73 74 6f 72 61 67 65 20 3d 20        storage = 
2990: 73 68 65 6c 76 65 2e 6f 70 65 6e 28 73 65 6c 66  shelve.open(self
29a0: 2e 73 68 65 6c 76 65 5f 6e 61 6d 65 29 0a 20 20  .shelve_name).  
29b0: 20 20 20 20 20 20 74 72 79 3a 0a 20 20 20 20 20        try:.     
29c0: 20 20 20 20 20 20 20 69 66 20 6b 65 79 20 69 6e         if key in
29d0: 20 73 74 6f 72 61 67 65 3a 0a 20 20 20 20 20 20   storage:.      
29e0: 20 20 20 20 20 20 20 20 20 20 76 61 6c 75 65 20            value 
29f0: 3d 20 73 74 6f 72 61 67 65 5b 6b 65 79 5d 5b 31  = storage[key][1
2a00: 5d 20 2b 20 76 61 6c 75 65 0a 20 20 20 20 20 20  ] + value.      
2a10: 20 20 20 20 20 20 73 74 6f 72 61 67 65 5b 6b 65        storage[ke
2a20: 79 5d 20 3d 20 28 74 69 6d 65 2e 74 69 6d 65 28  y] = (time.time(
2a30: 29 2c 20 76 61 6c 75 65 29 0a 20 20 20 20 20 20  ), value).      
2a40: 20 20 20 20 20 20 73 74 6f 72 61 67 65 2e 73 79        storage.sy
2a50: 6e 63 28 29 0a 20 20 20 20 20 20 20 20 66 69 6e  nc().        fin
2a60: 61 6c 6c 79 3a 0a 20 20 20 20 20 20 20 20 20 20  ally:.          
2a70: 20 20 73 74 6f 72 61 67 65 2e 63 6c 6f 73 65 28    storage.close(
2a80: 29 0a 20 20 20 20 20 20 20 20 20 20 20 20 70 6f  ).            po
2a90: 72 74 61 6c 6f 63 6b 65 72 2e 75 6e 6c 6f 63 6b  rtalocker.unlock
2aa0: 28 6c 6f 63 6b 65 72 29 0a 20 20 20 20 20 20 20  (locker).       
2ab0: 20 20 20 20 20 6c 6f 63 6b 65 72 2e 63 6c 6f 73       locker.clos
2ac0: 65 28 29 0a 20 20 20 20 20 20 20 20 72 65 74 75  e().        retu
2ad0: 72 6e 20 76 61 6c 75 65 0a 0a 0a 63 6c 61 73 73  rn value...class
2ae0: 20 43 61 63 68 65 28 6f 62 6a 65 63 74 29 3a 0a   Cache(object):.
2af0: 20 20 20 20 22 22 22 0a 20 20 20 20 53 65 74 73      """.    Sets
2b00: 20 75 70 20 67 65 6e 65 72 69 63 20 63 61 63 68   up generic cach
2b10: 69 6e 67 2c 20 63 72 65 61 74 69 6e 67 20 61 6e  ing, creating an
2b20: 20 69 6e 73 74 61 6e 63 65 20 6f 66 20 62 6f 74   instance of bot
2b30: 68 20 43 61 63 68 65 49 6e 52 61 6d 20 61 6e 64  h CacheInRam and
2b40: 0a 20 20 20 20 43 61 63 68 65 4f 6e 44 69 73 6b  .    CacheOnDisk
2b50: 2e 0a 20 20 20 20 49 6e 20 63 61 73 65 20 6f 66  ..    In case of
2b60: 20 47 41 45 20 77 69 6c 6c 20 6d 61 6b 65 20 75   GAE will make u
2b70: 73 65 20 6f 66 20 67 6c 75 6f 6e 2e 63 6f 6e 74  se of gluon.cont
2b80: 72 69 62 2e 67 61 65 5f 6d 65 6d 63 61 63 68 65  rib.gae_memcache
2b90: 2e 0a 0a 20 20 20 20 2d 20 73 65 6c 66 2e 72 61  ...    - self.ra
2ba0: 6d 20 69 73 20 61 6e 20 69 6e 73 74 61 6e 63 65  m is an instance
2bb0: 20 6f 66 20 43 61 63 68 65 49 6e 52 61 6d 0a 20   of CacheInRam. 
2bc0: 20 20 20 2d 20 73 65 6c 66 2e 64 69 73 6b 20 69     - self.disk i
2bd0: 73 20 61 6e 20 69 6e 73 74 61 6e 63 65 20 6f 66  s an instance of
2be0: 20 43 61 63 68 65 4f 6e 44 69 73 6b 0a 20 20 20   CacheOnDisk.   
2bf0: 20 22 22 22 0a 0a 20 20 20 20 64 65 66 20 5f 5f   """..    def __
2c00: 69 6e 69 74 5f 5f 28 73 65 6c 66 2c 20 72 65 71  init__(self, req
2c10: 75 65 73 74 29 3a 0a 20 20 20 20 20 20 20 20 22  uest):.        "
2c20: 22 22 0a 20 20 20 20 20 20 20 20 50 61 72 61 6d  "".        Param
2c30: 65 74 65 72 73 0a 20 20 20 20 20 20 20 20 2d 2d  eters.        --
2c40: 2d 2d 2d 2d 2d 2d 2d 2d 0a 20 20 20 20 20 20 20  --------.       
2c50: 20 72 65 71 75 65 73 74 3a 0a 20 20 20 20 20 20   request:.      
2c60: 20 20 20 20 20 20 74 68 65 20 67 6c 6f 62 61 6c        the global
2c70: 20 72 65 71 75 65 73 74 20 6f 62 6a 65 63 74 0a   request object.
2c80: 20 20 20 20 20 20 20 20 22 22 22 0a 20 20 20 20          """.    
2c90: 20 20 20 20 23 20 47 41 45 20 77 69 6c 6c 20 68      # GAE will h
2ca0: 61 76 65 20 61 20 73 70 65 63 69 61 6c 20 63 61  ave a special ca
2cb0: 63 68 69 6e 67 0a 20 20 20 20 20 20 20 20 69 6d  ching.        im
2cc0: 70 6f 72 74 20 73 65 74 74 69 6e 67 73 0a 20 20  port settings.  
2cd0: 20 20 20 20 20 20 69 66 20 73 65 74 74 69 6e 67        if setting
2ce0: 73 2e 67 6c 6f 62 61 6c 5f 73 65 74 74 69 6e 67  s.global_setting
2cf0: 73 2e 77 65 62 32 70 79 5f 72 75 6e 74 69 6d 65  s.web2py_runtime
2d00: 5f 67 61 65 3a 0a 20 20 20 20 20 20 20 20 20 20  _gae:.          
2d10: 20 20 66 72 6f 6d 20 63 6f 6e 74 72 69 62 2e 67    from contrib.g
2d20: 61 65 5f 6d 65 6d 63 61 63 68 65 20 69 6d 70 6f  ae_memcache impo
2d30: 72 74 20 4d 65 6d 63 61 63 68 65 43 6c 69 65 6e  rt MemcacheClien
2d40: 74 0a 20 20 20 20 20 20 20 20 20 20 20 20 73 65  t.            se
2d50: 6c 66 2e 72 61 6d 3d 73 65 6c 66 2e 64 69 73 6b  lf.ram=self.disk
2d60: 3d 4d 65 6d 63 61 63 68 65 43 6c 69 65 6e 74 28  =MemcacheClient(
2d70: 72 65 71 75 65 73 74 29 0a 20 20 20 20 20 20 20  request).       
2d80: 20 65 6c 73 65 3a 0a 20 20 20 20 20 20 20 20 20   else:.         
2d90: 20 20 20 23 20 4f 74 68 65 72 77 69 73 65 20 75     # Otherwise u
2da0: 73 65 20 72 61 6d 20 28 61 6e 64 20 74 72 79 20  se ram (and try 
2db0: 61 6c 73 6f 20 64 69 73 6b 29 0a 20 20 20 20 20  also disk).     
2dc0: 20 20 20 20 20 20 20 73 65 6c 66 2e 72 61 6d 20         self.ram 
2dd0: 3d 20 43 61 63 68 65 49 6e 52 61 6d 28 72 65 71  = CacheInRam(req
2de0: 75 65 73 74 29 0a 20 20 20 20 20 20 20 20 20 20  uest).          
2df0: 20 20 74 72 79 3a 0a 20 20 20 20 20 20 20 20 20    try:.         
2e00: 20 20 20 20 20 20 20 73 65 6c 66 2e 64 69 73 6b         self.disk
2e10: 20 3d 20 43 61 63 68 65 4f 6e 44 69 73 6b 28 72   = CacheOnDisk(r
2e20: 65 71 75 65 73 74 29 0a 20 20 20 20 20 20 20 20  equest).        
2e30: 20 20 20 20 65 78 63 65 70 74 20 49 4f 45 72 72      except IOErr
2e40: 6f 72 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  or:.            
2e50: 20 20 20 20 6c 6f 67 67 65 72 2e 77 61 72 6e 69      logger.warni
2e60: 6e 67 28 27 6e 6f 20 63 61 63 68 65 2e 64 69 73  ng('no cache.dis
2e70: 6b 20 28 49 4f 45 72 72 6f 72 29 27 29 0a 20 20  k (IOError)').  
2e80: 20 20 20 20 20 20 20 20 20 20 65 78 63 65 70 74            except
2e90: 20 41 74 74 72 69 62 75 74 65 45 72 72 6f 72 3a   AttributeError:
2ea0: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
2eb0: 20 23 20 6e 6f 72 6d 61 6c 6c 79 20 6e 6f 74 20   # normally not 
2ec0: 65 78 70 65 63 74 65 64 20 61 6e 79 6d 6f 72 65  expected anymore
2ed0: 2c 20 61 73 20 47 41 45 20 68 61 73 20 61 6c 72  , as GAE has alr
2ee0: 65 61 64 79 0a 20 20 20 20 20 20 20 20 20 20 20  eady.           
2ef0: 20 20 20 20 20 23 20 62 65 65 6e 20 61 63 63 6f       # been acco
2f00: 75 6e 74 65 64 20 66 6f 72 0a 20 20 20 20 20 20  unted for.      
2f10: 20 20 20 20 20 20 20 20 20 20 6c 6f 67 67 65 72            logger
2f20: 2e 77 61 72 6e 69 6e 67 28 27 6e 6f 20 63 61 63  .warning('no cac
2f30: 68 65 2e 64 69 73 6b 20 28 41 74 74 72 69 62 75  he.disk (Attribu
2f40: 74 65 45 72 72 6f 72 29 27 29 0a 0a 20 20 20 20  teError)')..    
2f50: 64 65 66 20 5f 5f 63 61 6c 6c 5f 5f 28 73 65 6c  def __call__(sel
2f60: 66 2c 0a 20 20 20 20 20 20 20 20 20 20 20 20 20  f,.             
2f70: 20 20 20 6b 65 79 20 3d 20 4e 6f 6e 65 2c 0a 20     key = None,. 
2f80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 74                 t
2f90: 69 6d 65 5f 65 78 70 69 72 65 20 3d 20 44 45 46  ime_expire = DEF
2fa0: 41 55 4c 54 5f 54 49 4d 45 5f 45 58 50 49 52 45  AULT_TIME_EXPIRE
2fb0: 2c 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ,.              
2fc0: 20 20 63 61 63 68 65 5f 6d 6f 64 65 6c 20 3d 20    cache_model = 
2fd0: 4e 6f 6e 65 29 3a 0a 20 20 20 20 20 20 20 20 22  None):.        "
2fe0: 22 22 0a 20 20 20 20 20 20 20 20 44 65 63 6f 72  "".        Decor
2ff0: 61 74 6f 72 20 66 75 6e 63 74 69 6f 6e 20 74 68  ator function th
3000: 61 74 20 63 61 6e 20 62 65 20 75 73 65 64 20 74  at can be used t
3010: 6f 20 63 61 63 68 65 20 61 6e 79 20 66 75 6e 63  o cache any func
3020: 74 69 6f 6e 2f 6d 65 74 68 6f 64 2e 0a 0a 20 20  tion/method...  
3030: 20 20 20 20 20 20 45 78 61 6d 70 6c 65 3a 3a 0a        Example::.
3040: 0a 20 20 20 20 20 20 20 20 20 20 20 20 40 63 61  .            @ca
3050: 63 68 65 28 27 6b 65 79 27 2c 20 35 30 30 30 2c  che('key', 5000,
3060: 20 63 61 63 68 65 2e 72 61 6d 29 0a 20 20 20 20   cache.ram).    
3070: 20 20 20 20 20 20 20 20 64 65 66 20 66 28 29 3a          def f():
3080: 0a 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  .               
3090: 20 72 65 74 75 72 6e 20 74 69 6d 65 2e 63 74 69   return time.cti
30a0: 6d 65 28 29 0a 0a 20 20 20 20 20 20 20 20 57 68  me()..        Wh
30b0: 65 6e 20 74 68 65 20 66 75 6e 63 74 69 6f 6e 20  en the function 
30c0: 66 20 69 73 20 63 61 6c 6c 65 64 2c 20 77 65 62  f is called, web
30d0: 32 70 79 20 74 72 69 65 73 20 74 6f 20 72 65 74  2py tries to ret
30e0: 72 69 65 76 65 0a 20 20 20 20 20 20 20 20 74 68  rieve.        th
30f0: 65 20 76 61 6c 75 65 20 63 6f 72 72 65 73 70 6f  e value correspo
3100: 6e 64 69 6e 67 20 74 6f 20 60 6b 65 79 60 20 66  nding to `key` f
3110: 72 6f 6d 20 74 68 65 20 63 61 63 68 65 20 6f 66  rom the cache of
3120: 20 74 68 65 0a 20 20 20 20 20 20 20 20 6f 62 6a   the.        obj
3130: 65 63 74 20 65 78 69 73 74 73 20 61 6e 64 20 69  ect exists and i
3140: 66 20 69 74 20 64 69 64 20 6e 6f 74 20 65 78 70  f it did not exp
3150: 69 72 65 2c 20 65 6c 73 65 20 69 74 20 63 61 6c  ire, else it cal
3160: 6c 65 73 20 74 68 65 20 66 75 6e 63 74 69 6f 6e  les the function
3170: 20 60 66 60 0a 20 20 20 20 20 20 20 20 61 6e 64   `f`.        and
3180: 20 73 74 6f 72 65 73 20 74 68 65 20 6f 75 74 70   stores the outp
3190: 75 74 20 69 6e 20 74 68 65 20 63 61 63 68 65 20  ut in the cache 
31a0: 63 6f 72 72 65 73 70 6f 6e 64 69 6e 67 20 74 6f  corresponding to
31b0: 20 60 6b 65 79 60 2e 20 49 6e 20 74 68 65 20 63   `key`. In the c
31c0: 61 73 65 0a 20 20 20 20 20 20 20 20 74 68 65 20  ase.        the 
31d0: 6f 75 74 70 75 74 20 6f 66 20 74 68 65 20 66 75  output of the fu
31e0: 6e 63 74 69 6f 6e 20 69 73 20 72 65 74 75 72 6e  nction is return
31f0: 65 64 2e 0a 0a 20 20 20 20 20 20 20 20 3a 70 61  ed...        :pa
3200: 72 61 6d 20 6b 65 79 3a 20 74 68 65 20 6b 65 79  ram key: the key
3210: 20 6f 66 20 74 68 65 20 6f 62 6a 65 63 74 20 74   of the object t
3220: 6f 20 62 65 20 73 74 6f 72 65 20 6f 72 20 72 65  o be store or re
3230: 74 72 69 65 76 65 64 0a 20 20 20 20 20 20 20 20  trieved.        
3240: 3a 70 61 72 61 6d 20 74 69 6d 65 5f 65 78 70 69  :param time_expi
3250: 72 65 3a 20 65 78 70 69 72 61 74 69 6f 6e 20 6f  re: expiration o
3260: 66 20 74 68 65 20 63 61 63 68 65 20 69 6e 20 6d  f the cache in m
3270: 69 63 72 6f 73 65 63 6f 6e 64 73 0a 20 20 20 20  icroseconds.    
3280: 20 20 20 20 3a 70 61 72 61 6d 20 63 61 63 68 65      :param cache
3290: 5f 6d 6f 64 65 6c 3a 20 60 63 61 63 68 65 2e 72  _model: `cache.r
32a0: 61 6d 60 2c 20 60 63 61 63 68 65 2e 64 69 73 6b  am`, `cache.disk
32b0: 60 2c 20 6f 72 20 6f 74 68 65 72 0a 20 20 20 20  `, or other.    
32c0: 20 20 20 20 20 20 20 20 28 6c 69 6b 65 20 60 63          (like `c
32d0: 61 63 68 65 2e 6d 65 6d 63 61 63 68 65 60 20 69  ache.memcache` i
32e0: 66 20 64 65 66 69 6e 65 64 29 2e 20 49 74 20 64  f defined). It d
32f0: 65 66 61 75 6c 74 73 20 74 6f 20 60 63 61 63 68  efaults to `cach
3300: 65 2e 72 61 6d 60 2e 0a 0a 20 20 20 20 20 20 20  e.ram`...       
3310: 20 4e 6f 74 65 73 0a 20 20 20 20 20 20 20 20 2d   Notes.        -
3320: 2d 2d 2d 2d 0a 20 20 20 20 20 20 20 20 60 74 69  ----.        `ti
3330: 6d 65 5f 65 78 70 69 72 65 60 20 69 73 20 75 73  me_expire` is us
3340: 65 64 20 74 6f 20 63 6f 6d 70 61 72 65 20 74 68  ed to compare th
3350: 65 20 63 75 72 72 65 74 20 74 69 6d 65 20 77 69  e curret time wi
3360: 74 68 20 74 68 65 20 74 69 6d 65 20 77 68 65 6e  th the time when
3370: 20 74 68 65 0a 20 20 20 20 20 20 20 20 72 65 71   the.        req
3380: 75 65 73 74 65 64 20 6f 62 6a 65 63 74 20 77 61  uested object wa
3390: 73 20 6c 61 73 74 20 73 61 76 65 64 20 69 6e 20  s last saved in 
33a0: 63 61 63 68 65 2e 20 49 74 20 64 6f 65 73 20 6e  cache. It does n
33b0: 6f 74 20 61 66 66 65 63 74 20 66 75 74 75 72 65  ot affect future
33c0: 0a 20 20 20 20 20 20 20 20 72 65 71 75 65 73 74  .        request
33d0: 73 2e 0a 20 20 20 20 20 20 20 20 53 65 74 74 69  s..        Setti
33e0: 6e 67 20 60 74 69 6d 65 5f 65 78 70 69 72 65 60  ng `time_expire`
33f0: 20 74 6f 20 30 20 6f 72 20 6e 65 67 61 74 69 76   to 0 or negativ
3400: 65 20 76 61 6c 75 65 20 66 6f 72 63 65 73 20 74  e value forces t
3410: 68 65 20 63 61 63 68 65 20 74 6f 0a 20 20 20 20  he cache to.    
3420: 20 20 20 20 72 65 66 72 65 73 68 2e 0a 0a 20 20      refresh...  
3430: 20 20 20 20 20 20 49 66 20 74 68 65 20 66 75 6e        If the fun
3440: 63 74 69 6f 6e 20 60 66 60 20 69 73 20 61 6e 20  ction `f` is an 
3450: 61 63 74 69 6f 6e 2c 20 77 65 20 73 75 67 67 65  action, we sugge
3460: 73 74 20 75 73 69 6e 67 0a 20 20 20 20 20 20 20  st using.       
3470: 20 60 72 65 71 75 65 73 74 2e 65 6e 76 2e 70 61   `request.env.pa
3480: 74 68 5f 69 6e 66 6f 60 20 61 73 20 6b 65 79 2e  th_info` as key.
3490: 0a 20 20 20 20 20 20 20 20 22 22 22 0a 20 20 20  .        """.   
34a0: 20 20 20 20 20 69 66 20 6e 6f 74 20 63 61 63 68       if not cach
34b0: 65 5f 6d 6f 64 65 6c 3a 0a 20 20 20 20 20 20 20  e_model:.       
34c0: 20 20 20 20 20 63 61 63 68 65 5f 6d 6f 64 65 6c       cache_model
34d0: 20 3d 20 73 65 6c 66 2e 72 61 6d 0a 0a 20 20 20   = self.ram..   
34e0: 20 20 20 20 20 64 65 66 20 74 6d 70 28 66 75 6e       def tmp(fun
34f0: 63 29 3a 0a 20 20 20 20 20 20 20 20 20 20 20 20  c):.            
3500: 64 65 66 20 61 63 74 69 6f 6e 28 29 3a 0a 20 20  def action():.  
3510: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 72 65                re
3520: 74 75 72 6e 20 63 61 63 68 65 5f 6d 6f 64 65 6c  turn cache_model
3530: 28 6b 65 79 2c 20 66 75 6e 63 2c 20 74 69 6d 65  (key, func, time
3540: 5f 65 78 70 69 72 65 29 0a 20 20 20 20 20 20 20  _expire).       
3550: 20 20 20 20 20 61 63 74 69 6f 6e 2e 5f 5f 6e 61       action.__na
3560: 6d 65 5f 5f 5f 20 3d 20 66 75 6e 63 2e 5f 5f 6e  me___ = func.__n
3570: 61 6d 65 5f 5f 0a 20 20 20 20 20 20 20 20 20 20  ame__.          
3580: 20 20 61 63 74 69 6f 6e 2e 5f 5f 64 6f 63 5f 5f    action.__doc__
3590: 20 3d 20 66 75 6e 63 2e 5f 5f 64 6f 63 5f 5f 0a   = func.__doc__.
35a0: 20 20 20 20 20 20 20 20 20 20 20 20 72 65 74 75              retu
35b0: 72 6e 20 61 63 74 69 6f 6e 0a 0a 20 20 20 20 20  rn action..     
35c0: 20 20 20 72 65 74 75 72 6e 20 74 6d 70 0a 0a 0a     return tmp...
35d0: 0a                                               .