ICADL2012- A Scalable, Adaptive, Self-management and Fault-tolerant Architecture for Digital Library

 转载请注明出处:http://blog.csdn.net/zbf8441372

蹭了师兄郑良榉@lj_zheng 在ICADL 2012发布的长文,一并感谢鲁伟明老师@luwm~ ICADL属数字图书馆,世界著名会议,今年在台湾于九月份召开,届时请关注这篇长文哈。

A Scalable, Adaptive, Self-management and Fault-tolerant Architecture for Digital Library 

Abstract.

In the era of Big Data, two major challenges are taking place in digital library technologies. One is the transition from database to Data Ocean and the other is transition from digital library to Smart Library. In order to address these challenges, we propose
a scalable, adaptive,  self-management, fault-tolerant architecture for various services in the digital library. Users can deploy services quite easily on this architecture, and the architecture enables the deployed services load balancing, scalable, adaptive
and fault-tolerant. The practice in CADAL demonstrates the feasibility and efficiency of our architecture. 

Keywords.

Big Data, Digital Library, OSGi, Architecture, Fault-tolerant

时间: 2024-08-07 05:42:15

ICADL2012- A Scalable, Adaptive, Self-management and Fault-tolerant Architecture for Digital Library的相关文章

Apache Flink fault tolerance源码剖析(五)

上一篇文章我们谈论了保存点的相关内容,其中就谈到了保存点状态的存储.这篇文章我们来探讨用户程序状态的存储,也是在之前的文章中多次提及的state backend(中文暂译为状态终端). 基于数据流API而编写的程序经常以各种各样的形式保存着状态: 窗口收集/聚合元素(这里的元素可以看作是窗口的状态)直到它们被触发 转换函数可能会使用key/value状态接口来存储数据 转换函数可能实现Checkpointed接口来让它们的本地变量受益于fault tolerant机制 当检查点机制工作时,上面谈

Hadoop生态圈一览

根据Hadoop官网的相关介绍和实际使用中的软件集,将Hadoop生态圈的主要软件工具简单介绍下,拓展对整个Hadoop生态圈的了解. 这是Hadoop生态从Google的三篇论文开始的发展历程,现已经发展成为一个生态体系,并还在蓬勃发展中.... 这是官网上的Hadoop生态图,包含了大部分常用到的Hadoop相关工具软件 这是以体系从下到上的布局展示的Hadoop生态系统图,言明了各工具软件在体系中所处的位置 这张图是Hadoop在系统中核心组件与系统的依赖关系 下面就是简单介绍Hadoop

数据库内核月报 - 2015 / 11-MySQL · 社区见闻 · OOW 2015 总结 MySQL 篇

前言 && 感想 本年度Oralce Open World会议从十月25号到29号,在美国旧金山举行.数万来自全球各地的从业人员涌入Moscone Center,见证一年一度的Oracle生态系统盛事. 本次OOW2015的主题都是围绕在Oracle Cloud,云服务应该是Oracle之后的发力点.几场Oracle CTO(前Oracle CEO)Larry的主题演讲也围绕cloud,详细阐述了Oracle Cloud的设计原则,及相关的云产品,其目标直指Amazon和Microsoft

Cassandra - A Decentralized Structured Storage System

http://www.cs.cornell.edu/projects/ladis2009/papers/lakshman-ladis2009.pdf, 英文 http://www.dbthink.com/?p=372, 中文 对Cassandra并没有深入研究, 在data server上copy了bigtable, 而在分布式nodes管理上copy了Dynamo的去中心化的架构, 可以认为是去中心化设计的Bigtable. 当然他在copy bigtable的数据模型和SSTable机制的同

(转)Awesome Courses

  Awesome Courses  Introduction There is a lot of hidden treasure lying within university pages scattered across the internet. This list is an attempt to bring to light those awesome courses which make their high-quality material i.e. assignments, le

那么问题来了:我们为什么要选择 Hbase?

Apache HBase是一个高性能.面向列.可伸缩的开源分布式NoSQL数据库,基于google三大论文中的<Bigtable:一个分布式的结构化数据存储系统>,它是Google Bigtable的开源实现.Google Bigtable中文版下载链接 用户使用它能够在廉价的PC server上搭建大规模的结构化存储集群:因为Hbase是构建在hadoop之上,具有很好的横向扩展能力.                                                      

使用网络地址转换实现多服务器负载均衡

服务器|网络|转换 摘要:本文探讨了分布式网络服务器使用的负载均衡技术及负载分配的策略,并基于网络地址转换在FreeBSD上实现了负载均衡网关,应用于我们的Internet网络服务器上,将负载分给多个服务器分担,以解决Internet服务器面临的大量并发访问造成的CPU或I/O的高负载问题.为了达到最佳的负载均衡效果,负载控制器需要根据各个服务器的当前CPU和I/O状态来分配负载,这就需要动态监视服务器的负载,并应用优化的负载分配策略,达到平均分配负载的目的. 关键字: 负载均衡,网络地址转换,

instagram use solr instead postgresql gis

instagram的技术点可参考 :  http://instagram-engineering.tumblr.com/post/13649370142/what-powers-instagram-hundreds-of-instances-dozens-of 从文章来看, 在地理位置搜索方面, 他们使用了solr. 也算专车专用吧.  For our geo-search API, we used PostgreSQL for many months, but once our Media e

除Hadoop大数据技术外,还需了解的九大技术

除Hadoop外的9个大数据技术: 1.Apache Flink 2.Apache Samza 3.Google Cloud Data Flow 4.StreamSets 5.Tensor Flow 6.Apache NiFi 7.Druid 8.LinkedIn WhereHows 9.Microsoft Cognitive Services Hadoop是大数据领域最流行的技术,但并非唯一.还有很多其他技术可用于解决大数据问题.除了Apache Hadoop外,另外9个大数据技术也是必须要了