Redis-server本身并没有sharding方法,不过我们可以借助客户端程序来实现此功能,Jedis中已经为我们提供了足够的API,接下来通过2种方式分别介绍3个API使用方法。不过首先介绍一下Jedis中sharding原理
一.Sharding与一致性Hash
sharding的核心理念就是将数据按照一定的策略"分散"存储在集群中不同的物理server上,本质上实现了"大数据"分布式存储,以及体现了"集群"的高可用性.比如1亿数据,我们按照数据的hashcode散列存储在5个server上.
Jedis中sharding基于“一致性hash”算法,其思路非常清晰,代码基本也是标准的“一致性hash”的实现,我们先来“欣赏”一下:
1) hashcode取值:源码来自redis.clients.util.Hashing,Jedis中默认的hash值计算采取了MD5作为辅助,似乎此算法已经成为“标准”:
//少量优化性能 public ThreadLocal<MessageDigest> md5Holder = new ThreadLocal<MessageDigest>(); public static final Hashing MD5 = new Hashing() { public long hash(String key) { return hash(SafeEncoder.encode(key)); } public long hash(byte[] key) { try { if (md5Holder.get() == null) { md5Holder.set(MessageDigest.getInstance("MD5")); } } catch (NoSuchAlgorithmException e) { throw new IllegalStateException("++++ no md5 algorythm found"); } MessageDigest md5 = md5Holder.get(); md5.reset(); md5.update(key); byte[] bKey = md5.digest();//获得MD5字节序列 //前四个字节作为计算参数,最终获得一个32位int值. //此种计算方式,能够确保key的hash值更加“随即”/“离散” //如果hash值过于密集,不利于一致性hash的实现(特别是有“虚拟节点”设计时) long res = ((long) (bKey[3] & 0xFF) << 24) | ((long) (bKey[2] & 0xFF) << 16) | ((long) (bKey[1] & 0xFF) << 8) | (long) (bKey[0] & 0xFF); return res; } };
2) node构建过程(redis.clients.util.Sharded):
//shards列表为客户端提供了所有redis-server配置信息,包括:ip,port,weight,name //其中weight为权重,将直接决定“虚拟节点”的“比例”(密度),权重越高,在存储是被hash命中的概率越高 //--其上存储的数据越多。 //其中name为“节点名称”,jedis使用name作为“节点hash值”的一个计算参数。 //--- //一致性hash算法,要求每个“虚拟节点”必须具备“hash值”,每个实际的server可以有多个“虚拟节点”(API级别) //其中虚拟节点的个数= “逻辑区间长度” * weight,每个server的“虚拟节点”将会以“hash”的方式分布在全局区域中 //全局区域总长为2^32.每个“虚拟节点”以hash值的方式映射在全局区域中。 // 环形:0-->vnode1(:1230)-->vnode2(:2800)-->vnode3(400000)---2^32-->0 //所有的“虚拟节点”将按照其”节点hash“顺序排列(正序/反序均可),因此相邻两个“虚拟节点”之间必有hash值差, //那么此差值,即为前一个(或者后一个,根据实现而定)“虚拟节点”所负载的数据hash值区间。 //比如hash值为“2000”的数据将会被vnode1所接受。 //--- private void initialize(List<S> shards) { nodes = new TreeMap<Long, S>();//虚拟节点,采取TreeMap存储:排序,二叉树 for (int i = 0; i != shards.size(); ++i) { final S shardInfo = shards.get(i); if (shardInfo.getName() == null) //当没有设置“name”是,将“SHARD-NODE”作为“虚拟节点”hash值计算的参数 //"逻辑区间步长"为160,为什么呢?? //最终多个server的“虚拟节点”将会交错布局,不一定非常均匀。 for (int n = 0; n < 160 * shardInfo.getWeight(); n++) { nodes.put(this.algo.hash("SHARD-" + i + "-NODE-" + n), shardInfo); } else for (int n = 0; n < 160 * shardInfo.getWeight(); n++) { nodes.put(this.algo.hash(shardInfo.getName() + "*" + shardInfo.getWeight() + n), shardInfo); } resources.put(shardInfo, shardInfo.createResource()); } }
3) node选择方式:
public R getShard(String key) { return resources.get(getShardInfo(key)); } //here: public S getShardInfo(byte[] key) { //获取>=key的“虚拟节点”的列表 SortedMap<Long, S> tail = nodes.tailMap(algo.hash(key)); //如果不存在“虚拟节点”,则将返回首节点。 if (tail.size() == 0) { return nodes.get(nodes.firstKey()); } //如果存在,则返回符合(>=key)条件的“虚拟节点”的第一个节点 return tail.get(tail.firstKey()); }
4) 补充:
Jedis sharding模式下,如果某个server失效,客户端并不会删除此shard,所以如果访问此shard将会抛出异常。这是为了保持所有的客户端数据视图一致性。你可能希望动态的一致性hash拓扑结构(即如果某个shard失效,shard结构则重新调整,失效的shard上的数据则被hash到其他shard上),但是很遗憾,SharedJedis客户端无法支持,如果非要支持,则需要巨大的代码调整,而且还需要引入额外的拓扑自动发现机制。(参看:redis cluster架构,已提供此问题的完善解决方案)
不过,在持久存储的情况下,我们可以使用"强hash"分片,则需要重写其Hash算法,参见"程序实例1中的InnnerHashing"实现.强hash算法下,如果某个虚拟节点所在的物理server故障,将导致数据无法访问(读取/存储);即不会从虚拟节点列表中删除那些失效的server。
对于jedis如果重写了Hashing算法,你需要兼顾几个方面:1) 虚拟节点hash是否相对均匀 2) 数据的hash值分布是否均匀 3) 虚拟节点在“全局”是否散列均匀。。如果设计不良,很有可能导致数据在server上分布不均,而失去了sharding的本身意义。
二.ShardedJedis
1) 程序实例
public static void main(String[] args){ //ip,port,timeout,weight JedisShardInfo si1 = new JedisShardInfo("127.0.0.1", 6379,15000,1); JedisShardInfo si2 = new JedisShardInfo("127.0.0.1", 6479,15000,1); List<JedisShardInfo> shards = new ArrayList<JedisShardInfo>(); shards.add(si1); shards.add(si2); //指定hash算法,默认为"cache-only"的一致性hash,不过此处InnerHashing为强hash分片 ShardedJedis shardedJedis = new ShardedJedis(shards,new InnerHashing()); //指定hash算法 shardedJedis.set("k1", "v1"); Charset charset = Charset.forName("utf-8"); //注意此处对key的字节转换时,一定要和Innerhashing.hash(String)保持一致 System.out.println(shardedJedis.get("k1").getBytes(charset)); } //不建议自己重新hash算法,jedis的默认算法已经足够良好,默认为"一致性hash"分片 //此hash算法,为"强Hash"分片 static class InnerHashing implements Hashing{ static Charset charset = Charset.forName("utf-8"); @Override public long hash(String key) { return hash(key.getBytes(charset)); } @Override public long hash(byte[] key) { int hashcode = new HashCodeBuilder().append(key).toHashCode(); return hashcode & 0x7FFFFFFF; } }
2) spring环境下
<bean id="shardedJedis" class="redis.clients.jedis.ShardedJedis"> <constructor-arg> <list> <bean class="redis.clients.jedis.JedisShardInfo"> <constructor-arg value="127.0.0.1"></constructor-arg> <constructor-arg value="6379"></constructor-arg> <property name="password" value="0123456"></property> </bean> <bean class="redis.clients.jedis.JedisShardInfo"> <constructor-arg value="127.0.0.1"></constructor-arg> <constructor-arg value="6379"></constructor-arg> <property name="password" value="0123456"></property> </bean> </list> </constructor-arg> </bean>
//resources/beans.xml ClassPathXmlApplicationContext context = new ClassPathXmlApplicationContext("classpath:beans.xml"); ShardedJedis shardedJedis = (ShardedJedis)context.getBean("shardedJedis"); try{ shardedJedis.set("k1", "v2"); System.out.println(shardedJedis.get("k1")); }catch(Exception e){ e.printStackTrace(); }
三.ShardedJedisPool
基于连接池的sharding代码实例.
1) 程序实例
JedisPoolConfig config = new JedisPoolConfig(); config.setMaxActive(32); config.setMaxIdle(6); config.setMinIdle(0); config.setMaxWait(15000); JedisShardInfo si1 = new JedisShardInfo("127.0.0.1", 6379,15000,1); JedisShardInfo si2 = new JedisShardInfo("127.0.0.1", 6479,15000,1); List<JedisShardInfo> shards = new ArrayList<JedisShardInfo>(); shards.add(si1); shards.add(si2); ShardedJedisPool sjp = new ShardedJedisPool(config, shards, new InnerHashing()); ShardedJedis shardedJedis = sjp.getResource(); try{ System.out.println(shardedJedis.get("k1")); }catch(Exception e){ e.printStackTrace(); }finally{ sjp.returnResource(shardedJedis); }
2) spring环境下
<bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig"> <property name="maxActive" value="32"></property> <property name="maxIdle" value="6"></property> <property name="maxWait" value="15000"></property> <property name="minEvictableIdleTimeMillis" value="300000"></property> <property name="numTestsPerEvictionRun" value="3"></property> <property name="timeBetweenEvictionRunsMillis" value="60000"></property> <property name="whenExhaustedAction" value="1"></property> </bean> <bean id="shardedJedisPool" class="redis.clients.jedis.ShardedJedisPool" destroy-method="destroy"> <constructor-arg ref="jedisPoolConfig"></constructor-arg> <constructor-arg> <list> <bean class="redis.clients.jedis.JedisShardInfo"> <constructor-arg value="127.0.0.1"></constructor-arg> <constructor-arg value="6379"></constructor-arg> <property name="password" value="0123456"></property> </bean> <bean class="redis.clients.jedis.JedisShardInfo"> <constructor-arg value="127.0.0.1"></constructor-arg> <constructor-arg value="6379"></constructor-arg> <property name="password" value="0123456"></property> </bean> </list> </constructor-arg> </bean>
更多连接池的配置参数,请参考:jedis连接池
//resources/beans.xml ClassPathXmlApplicationContext context = new ClassPathXmlApplicationContext("classpath:beans.xml"); ShardedJedisPool shardedJedisPool = (ShardedJedisPool)context.getBean("shardedJedisPool"); ShardedJedis shardedJedis = shardedJedisPool.getResource(); try{ shardedJedis.set("k1", "v2"); System.out.println(shardedJedis.get("k1")); }catch(Exception e){ e.printStackTrace(); }finally{ shardedJedisPool.returnResource(shardedJedis); }
四.ShardedJedisPipeline 其他配置参见上文
ClassPathXmlApplicationContext context = new ClassPathXmlApplicationContext("classpath:beans.xml"); ShardedJedisPool shardedJedisPool = (ShardedJedisPool)context.getBean("shardedJedisPool"); ShardedJedis shardedJedis = shardedJedisPool.getResource(); try{ ShardedJedisPipeline shardedJedisPipeline = new ShardedJedisPipeline(); shardedJedisPipeline.setShardedJedis(shardedJedis); shardedJedisPipeline.set("k1", "v1"); shardedJedisPipeline.set("k3", "v3"); shardedJedisPipeline.get("k3"); List<Object> results = shardedJedisPipeline.syncAndReturnAll(); for(Object result : results){ System.out.println(result.toString()); } }catch(Exception e){ e.printStackTrace(); }finally{ shardedJedisPool.returnResource(shardedJedis); }
相关推荐
Jedis 是 Redis 官方首选的 Java 客户端开发包。 实例方法: ? 1 import redis.clients.jedis.* ...Sharding (MD5, MurmurHash) Key-tags for sharding Sharding with pipelining Scripting with pipelining
关于Redis 3.0.7 的集群部署 及 jedis2.8 与 spring3.2 整合的测试笔记 配套小程序
jedis jar包; 版本:2.0 2.1
jedis-2.9.0.jar jedis-2.9.0 jar 包,不包含源码,源码下载地址: http://download.csdn.net/download/tan3739/9993938 测试代码: 导入依赖包: commons-lang-2.5.jar commons-pool2-2.4.2.jar jedis-2.9.0 jar ...
Jedis2.1.0源码与Jar包,实现在Java中操作Redis服务器!
jedis依赖jar包, jedis-2.7.0.jar
jedis相关jar包:commons-pool2-2.3.jar、jedis-2.7.0.jar
jedis-jedis-2.7.2缓存技术应用
此资源为Java连接redis的工具jar,Jedis 版本为2.62; 有两个地方需要注意下;jedis 3.0新版本废弃了旧回收资源方法; 废弃方法为:JedisPool.returnResource(Jedis);回收资源 Jedis 3.0版本新回收资源: Jedis.close();...
jedis源码 (学习jedis必备,附带测试用例)
jedis jedis
赠送jar包:jedis-2.9.0.jar; 赠送原API文档:jedis-2.9.0-javadoc.jar; 赠送源代码:jedis-2.9.0-sources.jar; 包含翻译后的API文档:jedis-2.9.0-javadoc-API文档-中文(简体)版.zip 对应Maven信息:groupId...
jedis-test.7z jedis 简单测试 项目工程 lib 目录包含了依赖包: commons-lang-2.5.jar commons-pool2-2.4.2.jar jedis-2.9.0.jar 另: * Jedis 的源码工程(导入 eclipse 可直接运行): ...
赠送jar包:jedis-2.8.0.jar; 赠送原API文档:jedis-2.8.0-javadoc.jar; 赠送源代码:jedis-2.8.0-sources.jar; 赠送Maven依赖信息文件:jedis-2.8.0.pom; 包含翻译后的API文档:jedis-2.8.0-javadoc-API文档-...
Redis Windows32位+64位安装包,Linux压缩包, Redis图形操作管理软件,Jedis
使用redisson替代jedis中的的对应方法,以及对应的redis的命令在这三方中对应查询及操作,
jedis安装包
本demo为java连接redis,提供jedis连接池,提供String与Hash的存取方式; 提供相关工具包括vm虚拟机和linux的centos7;
要开始使用 Jedis,首先将其作为依赖项添加到您的 Java 项目中。如果使用 Maven: <groupId>redis.clients <artifactId>jedis <version>4.3.0 对于许多应用程序,最好使用连接池。实例化 Jedis 连接池: Jedis...
jedis和对应的pool,jedis是2.7版 pool是2.3版,使用的时候 解压使用里面的jar包