缓存过期失效时,需要从持久化层获取数据。从持久化层获取数据一般耗时较长,且CPU/内存消耗较高。
参考了http://www.zrwm.com/?p=7265,处理缓存失效主要有三种方式,写了个Servlet对其进行了验证。
测试端启动200个线程,每个线程请求200次,每次间隔100ms。
1,getDataNoLock()。缓存失效时,所有没有获取到缓存的线程均去访问持久化层;
这个方法应用服务器CPU利用率是最低的,峰值CPU为50%左右。但是持久化层在3000ms的访问期间被访问多次,压力巨大。另外访问持久化层期间页面不响应。
2,getDataByThreadLock()。缓存失效时,由一个线程获得锁,单独访问,其他线程挂起;
这个方法在缓存过期的时候只有一个线程访问持久化层。但是访问期间大量线程积压,造成瞬间CPU冲高到200%,并且持久化返回结果存入Memcached后, 所有线程在短短300ms内返回,对网络带宽也是很大的冲击。另外访问持久化层期间页面不响应。
3,getDataByUpdate()。在缓存失效前由一个线程更新缓存。
这个方法在缓存过期前,就提前由一个后台线程更新Memcached。虽然也用到了锁,但是锁住时间(Memcached置LOCK标志时间)与方法2(持久化时间)相比极短。并且持久化访问由后台线程进行,不影响创建后台线程的业务线程及时放回。另外,页面访问期间也不会有卡顿的现象出现。
如果是几十台上百台服务器的集群环境,可以增加Memcached更新消息处理服务器。应用服务器发现Memcached需要更新的时候,发送JMS消息给消息处理服务器,由其完成Memcached更新过程,从而彻底解放更新缓存过程。
题外话:MemNoCacheServlet中有一段static代码,这段代码会在访问该Servlet,MemNoCacheServlet.class加载的实例化过程中执行,类的加载会获得内部类级锁,保证只能有一个线程执行类的加载实例化,所以这段代码是线程安全的。实际测试过程中,输出结果也说明了这点。