`
QING____
  • 浏览: 2228431 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

guava cache与编程实践

    博客分类:
  • JAVA
 
阅读更多

Guava-cache

    guava cache是google开源代码库中的一个辅助功能模块,可以作为JVM嵌入式cache来使用,基于key-value模型。对于Rdedis、Memcached,这种缓存系统,我们称之为“分布式缓存”,它们通过集群扩容,可以将海量数据cache在远端。而guava cache,作为“嵌入式cache”,这些cache的数据寄宿在当前JVM堆中,和JVM进程具有共同生命周期。它具备如下特点:

  • 占用JVM内存,内部数据结构类似于ConcurrentHashMap。
  • 因为JVM堆大小的限制,guava cache只能保存较少的数据量,不能超过JVM Heap。
  • 相对Redis等“分布式缓存”,它本身不需要RPC调用,性能较高。

    如果你的系统中,有一种数据符合“尺寸较小”、“高频的读取操作”、“变更操作较少”,那么使用guava cache这种“嵌入式缓存”,将非常适合,它将会带来巨大的性能提升。

 

    Guava cache读取过程也符合“get-if-absent-compute”语义,即如果本地缓存中有,则返回对应value,如果key不存在,则通过“加载机制”获取新的value。

  • 通过Cache.put相关方法,将key-value加入缓存。
  • 通过Cache.get,从cache中获取key对应的value。
  • 通过Cache.invalidate,将key-value通缓存中移除。

 

CacheBuilder:用来构建Cache,可以在构建时指定一些全局的参数。

CacheBuilder cacheBuilder = CacheBuilder.newBuilder()
                .concurrencyLevel(Runtime.getRuntime().availableProcessors() - 1)
                .initialCapacity(1024);
//maxCacheSize由外部注入,表示cache中保存的key的最大条数
if(maxCacheSize > 0) {
	cacheBuilder.maximumSize(maxCacheSize);
}else if(maxKeysWeight > 0) {
//maxKeysWeight由外部注入,逻辑上用来表示一种“权重”,
//本例中,我们将key所占的字节数,作为weight。
//当cache中所有的“weight”总和达到maxKeyWeight时,将会触发“剔除策略”。
	cacheBuilder.maximumWeight(maxKeysWeight)
			.weigher(new Weigher<String, Object>() {
				@Override
				public int weigh(String key, Object value) {
					//粗略估计,不适用key.getBytes,避免一次不必要的解析与copy
					return key.length();
				}
			});
}

 

    需要注意,在Guava Cache中,“maximumSize”和“maximumWeight”两种控制cache量的参数,是互斥的,即同时只能设置其中一个。

 

    如果cache中不存在Key,那么意味着这个key的数据需要从一个可靠的地方load,我们有2中方式:

1、通过CacheLoader:

LoadingCache cache = cacheBuilder.build(new CacheLoader<String, Object>() {
                    //如果loader中返回null,则使用NULL占位符替代。
                    public Object load(String key) throws Exception {
                        if(valueLoader == null) {
                            return NULL;
                        }
                        Object value = valueLoader.get(key);
                        if(value == null) {
                            value = NULL;
                        }
                        return value;
                    }
                });

 

    其中valueLoader,是一个自定义的加载器,我们假定valueLoader.get方法,是通过redis从远端获取新的数据。CacheLoader的适应场景就是:当Guava Cache中没有key时,将会通过其load方法加载数据,并保存在Cache中。load方法不能返回NULL。

 

2、通过Callable:

    1)中,LoadingCache这个类通过和CacheLoader配合,完成Key的延迟加载。当然如果你不想使用CacheLoader这种统筹的方式,可以使用Callable接口, 那么你可以在需要的地方,使用Callable来自定义load操作。

Cache<String,Object> cache = cacheBuilder.build();
cache.get("user_id_10000", new Callable<Object>() {
	@Override
	public Object call() throws Exception {
		return redisClient.get("user_id_10000");
	}
});

 

    跟CacheLoader一样,callable.call方法返回的数据也会保存在Cache中。

 

Cache中数据“剔除”(Eviction)

    用户对cache的盲目使用,可能导致cache中数据不断增大,一个残酷的现实就是RAM资源非常有限,所以我们需要将那些不常用的数据移除,Guava cache基于LRU策略剔除数据,开发者只需要控制剔除数据的时机即可。

 

1、Size-based

    通过上述例子,我们已经知道可以通过CacheBuilder.maximumSize(long)方法指定cache中允许的key的个数。如果key的个数即将超过阀值(边际),将会根据LRU算法,剔除那些不常用的K-V。

 

    此外,如果你的每个Key-Value有不同的“weights”--比如每个K-V占用不同的内存量,我们可以用“weight”来描述这一指标。通过使用CacheBuilder.maximumWeights(long)和CacheBuilder.weigher(Weigher)来达成这一目的,当cache中put一个key时,都会计算它的weight值,并累加,当达到maximumWeight阀值时,会触发剔除操作。

 

2、Timed Eviction

    CacheBuilder提供了2中基于“时间”的剔除方式:

  • expireAfterAccess(long,TimeUnit):当key在被“read/write”操作之后,空闲多久后被删除。
  • expireAfterWrite(long,TimeUnit):当key被write(put或者reload)操作之后,空闲多久后被删除。

3、Reference-based

    JAVA中,一个对象的引用类型分为“强、弱、软”(还有“虚引用”),Guava Cache中也可以根据Key或者Value的引用类型,并结合GC,来完成cache数据的剔除。

  • CacheBuilder.weakKeys():将key存为WeakReference,如果JVM中,此key没有任何被任何“强引用”、“软引用”对象引用它,那么此K-V将会从cache中移除。
  • CacheBuilder.weakValues():同上。
  • CacheBuilder.softValues():同上。

“显性”移除

  • Cache.invalidate(key)
  • Cache.invalidateAll(keys)
  • Cache.invalidateAll():移除所有的数据

    CacheBuilder不会在数据过期时立即执行cleanup,这种数据剔除操作,通常是延迟的,在边际条件时,某些write或者read操作会触发cleanup。如果想更加及时的清理过期数据,那么需要自己去创建一个thread,然后周期性的执行cache.cleanUp()。Guava Cache并没有这么做,它主要考虑到,这种“cleanup”会和用户的正常操作产生“锁冲突”,对性能会有额外的干扰。如果开发者能够预料这种事情,那么你就可以这么做。

    

 

 

 

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics