摘要: 据WSJ消息,Tachyon日前获得了硅谷风投A16Z 750万美元A轮投资。A16Z的普通合伙人Peter Levine加入Tachyon董事会。 根据该项目官网的介绍,Tachyon是一个以内存为中心的分布式文件系统,能够为
据WSJ消息,Tachyon日前获得了硅谷风投A16Z 750万美元A轮投资。A16Z的普通合伙人Peter Levine加入Tachyon董事会。
根据该项目官网的介绍,Tachyon是一个以内存为中心的分布式文件系统,能够为集群框架(如Spark、MapReduce)提供可靠的内存级速度的文件共享服务,具有类Java的文件API、兼容Hadoop MapReduce和Spark、底层文件系统可插拔等特性。
Tachyon最初出现是为了解决如下问题:
大数据分析流水线中数据共享通过基于磁盘文件系统(HDFS等)性能比较缓慢; 大数据计算引擎的处理进程(Spark的Executor,MapReduce的Child JVM等)崩溃出错后,缓存的数据也会全部丢失; 基于内存的系统存储数据冗余,对象太多会导致Java GC时间过长。
Tachyon整体架构如下图所示(移步了解Tachyon),
据悉,Tachyon项目在2012年底对外发布,孵化自UCLA Berkeley的AMP实验室,由计算机在读博士李浩源创立,Tachyon同样是李浩源的博士攻读方向。在接受InfoQ采访时李浩源表示,
长期来讲,我们会像Apache Mesos以及Apache Spark一样,进入Apache Software Foundation。这里欢迎更多的开发者加入。
目前,这个开源项目已经吸引了超过30家公司的70多名贡献者。包括雅虎、红帽、Intel还有EMC,而EMC已经在其闪存产品DSSD、Isilon中尝试集成Tachyon。创始人李浩源表示,Tachyon的商业软件正在开发中,没有确切发布的时间。
值得注意的是,A16Z还投资了大数据初创公司Adatao、Mesosphere、Databricks等,对新兴的大数据领域、数据分析软件看好。这几家公司和Tachyon一样,均与AMP实验室有联系。