问题描述
问题是这样的：我有一个 IP 地址库（里面有近 40万 条IP地址记录），表结构是这样的：id —— 主键，自增长fromip —— ip地址段的开始值（long型的-将ip地址转换成long型存入的）toip —— ip地址段的结束值（long型的）unit —— 该ip段分配给的单位名称我主要的任务就是：查询一个IP地址在哪个IP地址段范围内，并给出其分配的单位名称。SQL语句类似这样（976362050 ——是一个IP地址的long型值）：select unit from ipglobe where fromip < 976362050 and toip > 976362050因为要大量查询一些IP地址在哪个IP地址段范围内，所以如果每次都从数据库近40万条记录中检索，速度很慢。于是就想采用 memcached 缓存策略，但是想了好几天，也没有想到该如何缓存这些数据？曾经想到这样一个方法：将近40万记录以 key = "fromip#toip" value="unit" 形式存放，然后遍历所有的 key ，取key分离出fromip和toip，然后判断给的IP值是否在该key的范围内。但是后来发现遍历memcached中所有的 key 是不行的，所以想请教一下该怎么设计存储策略？？ （我用的是 Java 语言）
解决方案
1.你可不可以通过一个KEY,VALUE为FORMIP,TOIP组装成一个字串遍历memcached中所有的 key 是行的,看看下面这个方法 // memcache中的KEY遍历(当前slab) // 一个SLAB中包含 多个dump public static void keySet() { Set<String> keys = new HashSet<String>(); Map<String, Integer> dumps = new HashMap<String, Integer>(); // 获取所有的slab(由服务器地址:端口号组成KEY，dump信息组成value) Map slabs = getMemCachedClient().statsItems(); Iterator itemsItr = slabs.keySet().iterator(); // 用来收集所有slab的dump号 while (itemsItr.hasNext()) { String server = itemsItr.next().toString(); Map itemNames = (Map) slabs.get(server); System.out.println(itemNames); Iterator itemNameItr = itemNames.keySet().iterator(); while (itemNameItr.hasNext()) { String itemName = itemNameItr.next().toString(); String[] itemAtt = itemName.split(":"); // 如果是itemName中是:number来表示，那么证明是一个存储数据的dump，还有一些是age的部分 if (itemAtt[2].startsWith("number")) { System.out.println(itemAtt[1] + " " + Integer.parseInt(itemAtt[1])); // put dump区号 dumps.put(itemAtt[1], Integer.parseInt(itemAtt[1])); } } } // 根据收集到的dump来获取keys if (!dumps.values().isEmpty()) { Iterator<Integer> dumpIter = dumps.values().iterator(); while (dumpIter.hasNext()) { int dump = dumpIter.next(); // statsCacheDump支持三个参数String[],int,int，第一个参数可以省略，默认填入null，表示从那些slab中获取dump号为第二个参数的keys，如果是null就从当前所有的slab中获取。 // 第二个参数表示dump号，第三个参数表示返回最多多少个结果。 // {127.0.0.1:11211={DD=[2 b; 1223911432 s], AA=[2 b; 1223911432 s], BB=[2 b; 1223911432 s]}} Map cacheDump = getMemCachedClient().statsCacheDump(dump, 10); System.out.println(cacheDump); Iterator entryIter = cacheDump.values().iterator(); while (entryIter.hasNext()) { Map items = (Map) entryIter.next(); Iterator ks = items.keySet().iterator(); while (ks.hasNext()) { String k = (String) ks.next(); try { // 这里为什么要作decode，因为其实在我使用的这个java客户端存储的时候，默认会把key都作encoding一次，所以必须要做，不然会出现问题。 k = URLDecoder.decode(k, "UTF-8"); // key 对应的VALUE是这个值的长度，过期时间 System.out.println(k); } catch (Exception ex) { ex.printStackTrace(); } } } } } }