Plurk.com在今年2月28日开源了LightCloud这个分布式的键-值数据库,根据 官方网站的信息,有以下特性
基于Tokyo Tyrant(这个项目貌似又是另一个名叫Tokyo Cabinet的数据库系 统的网络接口)。Tokyo Tyrant是最快的键-值数据库之一,并且已经开发了好几 年并且在n个网站中被应用。
性能非常好(可以和memcached进行对比)
在很少的服务器上面可以存储百万级的数据量
简单的通过添加节点来扩展
节点可以通过master-master复制来进行备份。很容易添加自动错误恢复和负 载均衡功能
使用Lua语言进行扩展
备份和恢复数据时不需要关机
LightCloud Manager工具可以很方便的管理节点,备份节点,查看状态
非常小巧(客户端大约500行,Manager大约400行)
纯python开发,但是很容易移植到其他语言
和Memcached以及MySql的区别
Memcached是缓存服务器,而LightCloud内存储的数据是持久的(到底是数据 库嘛)。
MySql和其他关系数据库服务器存储键-值对时效率不高(肯定没LightCloud这 种专用的高)。
和Memcached性能对比
对LightCloud和Memcached做10,000次set和get
Elapsed for 10000 gets: 1.74538516998 seconds [memcache]
Elapsed for 10000 gets: 3.57339096069 seconds [lightcloud]
Elapsed for 10000 sets: 1.88236999512 seconds [memcache]
Elapsed for 10000 sets: 9.23674893379 seconds [lightcloud]
值得注意的一点是Memcached是完全在内存中操作的,而LightCloud是会读写 硬盘的。
而Tokyo Tyrant官网提供的数据更加惊人(LightCloud在Tokyo Tyrant上增加 了网络和Python语言执行开销)
1 million GETS in < 0.5 seconds
1 million SETS in < 0.5 seconds
使用Lua进行扩展
Lua扩展貌似是由Tokyo Tyrant提供的
下面是一个简单的扩展,扩展出一个incr命令
function incr(key, value)
value = tonumber(value)
if not value then
return nil
end
local old = tonumber(_get(key))
if old then
value = value + old
end
if not _put(key, value) then
return nil
end
return value
end