链家网8000+万个文件何处安家?

房产中介来由已久,“牙人”便是唐代时对中介人的称呼。无论买房、卖房还是租房,绝大多数房产相关的商业行为都离不开中介。从实体店到线上,从网站到移动App,从内部系统到2C业务,与蓬勃发展的中国房地产行业一道,链家网也不断与时俱进,更新系统架构,满足不断变化的市场和业务需求。

十年链家网,S3终回归

“现在,链家网存储服务承载的总文件数量已达8270万+,房屋实堪图占66%,其他图片占15%,音视频占13%,文件备份占4%,其他类型数据占2%,总存储容量43TB。”2016 AWS北京峰会上,链家网平台服务架构师吕毅分享了最新的存储服务相关数据。不过时至今日,这些数据或许又会有变化了。

事实上,早在2007年,链家在线(链家网前身)、HERP系统就已上线运营,到2008年“楼盘字典”项目启动,2012年提出“真房源”,SE(Sales Effectiveness)、TE(Transaction Effectiveness)系统上线,“掌上链家”App发布,近六年时间,链家网存储架构采用的一直是传统文件系统。

随着业务线不断扩展,数据量不断增长,传统架构中存储服务的瓶颈日益凸显。2014年,更名的链家网明确了大力发展2C业务、着手自研究SE、TE系统的业务思路。其间,存储架构经历了从传统文件系统到轻量级开源分布式文件系统FastDFS的变迁。再后来,链家网又选用了开源分布式文件系统Ceph,直到2016年,SE、TE合并为Link系统,“楼盘字典”积累了7000万房产信息,更多的UGC、PGC内容产生,AWS S3终担重任。

链家网存储架构变迁

十年链家网,S3终回归。巧合的是,2015年,链家网开始启用AWS时,S3也已十岁了。吕毅表示,在大家熟悉的AWS S3能力之外,链家网对S3服务进行包装后实现了更多的能力:采用Huge Bucket统一管理公司内部Bucket、使用数据库存储文件Meta信息供检索、非常划算的冷数据存储、代理S3服务让用户可在S3能力上封装公司通用逻辑……AWS S3为用户提供了足够抽象的能力,方便企业、个人基于S3通用能力之上进行改造与包装,这些方面也都是链家网选择AWS的重要原因。

选择S3的N个理由

开源商用领域,Ceph一直是分布式文件系统的热门选项。然而,并不是所有人都有时间和精力玩儿转Ceph,尤其是在竞争激烈,业务瞬息变化的房地产市场,时间窗口是横亘在所有市场行为主体面前的一座大山。

时不我待,千言万语一个字:“快”!吕毅坦言,链家网在使用Ceph的过程中遇到了容量、运维、数据备份等方面的问题,各种因素叠加,反而推高了综合成本,因此下定决心改造系统。

容量不够、运维成本高、数据备份堪忧……使用Ceph过程中遇到的问题恰恰是S3用户不需操心的事,容量规划、存储管理、数据备份,S3统统能轻松搞定,更无需硬件维护。此外,S3具备高达11个9的持久性,可让长期数据留存“高枕无忧”。

链家网基于AWS S3的存储架构

存储架构改造过程中,不可避免地会遇到这样那样的问题。吕毅表示,以链家网自身的实践经验看,数据存量与增量问题、业务方迁移成本是两个主要问题,相信这也是很多用户面临的共性问题。恰好在这些方面,AWS都能提供高均衡度的解决方案。“2015年底,链家网刚开始采用AWS服务时,EC2和ELB只承担了外网20%的负载,本地数据中心和云通过AWS Direct Connect连接。现在,主备中心已经对调了位置,云端已承载了近80%的外网负载,并引入S3和数据仓库服务Redshift,高效、可靠、安全地整理数据资料。”吕毅表示。

下一个十年,链家网又将经历怎样的变革之旅?搭上了云快车,未来充满想象和期待。

本文转自d1net(转载)

时间: 2024-11-01 05:04:20

链家网8000+万个文件何处安家?的相关文章

顺网8000万收购盛大旗下吉胜 午后2分钟涨停

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 顺网8000万收购盛大旗下吉胜 午后2分钟涨停 新浪科技讯 5月3日下午消息,顺网科技今日午间公告称,<关于受让成都吉胜科技有限责任公司全部股权的议案>已获董事会审议通过,同意以8000万元收购盛大网络所持有的成都吉胜科技100%股权.今日午后,顺网科技2分钟即涨停,10分钟后打开,截至发稿较开盘上涨6.2%. 顺网科技曾于4月1

近日人人公司以8000万美元全资收购56网一事

9月30日消息,针对近日"人人公司以8000万美元全资收购56网"一事,在腾讯科技进行的题为"56网8000万出售是否值得"的调查中显示,近65%网友认为56出售的价格值得. 腾讯科技一份网络调查显示,4846名网友认为,此次56出售的价格是物有所值,占调查总人数64.7%,而对此持否定态度的有2641,占比35.2%. 9月27日,长期寻求破冰之举的视频网站56宣布将在今年第四季度前被人人公司以8000万美元收购. 人人董事长兼CEO陈一舟对腾讯科技等媒体表示,收

链家跨界合作今日头条,大数据将重塑房产交易服务

数据的时代,商业机会可以说无处不在.2016年9月1日,链家与今日头条在北京召开"链上你的家事头条"发布会,宣布达成战略合作,并联手发布<城市新主人数据报告>,双方就此展开了内容和平台的合作. 内容和平台互补,跨界合作的新商业典范 据了解,链家与今日头条本次合作是为了实现"内容+平台"互补,链家网首席营销官宋琦在发布会上称,链家与今日头条将在三个方面进行合作. 第一是品牌的合作,第二是用户的打通,第三是数据和内容的整合与共建.在品牌和用户打通上,今日头条

转型中的链家,是否拥有互联网思维?

3月1日,国内最大的房产O2O平台链家宣布与上海德佑地产达成战略合作,将其以上海为中心的华东地区划入链家的万亿级O2O平台.这是链家--作为一个老牌线下地产经纪公司,继今年2月并购成都最大的二手房中介伊诚地产之后,向线上渗透之后的又一次逆袭. 如果说以往都是互联网公司在垂直领域向线下渗透,那么链家正试图以逆向的方式重新构建交易的所有流程,以期在线上房地产交易市场迅速崛起的大潮中寻找自己的新位置.或许,旧有的房地产中介模式在移动互联网时代能够持续多久,都要看链家自己的计划是否能够实现,以及倒逼链家

链家宣布与中联地产全面战略合作,施展合纵连横

今日,链家宣布与深圳第二大房产经纪中联地产全面战略合作.这是链家继今年 2 月初收购四川最大的二手房中介伊诚地产.收购上海第二大的二手房中介德佑地产后,再度南下布局.作为北京最大二手房中介,链家现在的目标是成为全国性的房产O2O大平台. 中联地产是深圳第二大的房产经纪公司,成立于 1993 年,目前已覆盖深圳.武汉.广州.长沙.惠州 5 个城市,拥有近 300 家门店. 链家地产控股董事长左晖表示:"链家和中联的合并是顺势而为.未来双方将打通线上,探底线下,最大化发挥资源整合优势,合力构建房产

今日,链家宣布与深圳第二大房产经纪中联地产全面战略合作

摘要: 今日,链家宣布与深圳第二大房产经纪中联地产全面战略合作.这是链家继今年2月初收购四川最大的二手房中介伊诚地产.收购上海第二大的二手房中介德佑地产后,再度南下布局.作 今日,链家宣布与深圳第二大房产经纪中联地产全面战略合作.这是链家继今年2月初收购四川最大的二手房中介伊诚地产.收购上海第二大的二手房中介德佑地产后,再度南下布局.作为北京最大二手房中介,链家现在的目标是成为全国性的房产O2O大平台. 中联地产是深圳第二大的房产经纪公司,成立于1993年,目前已覆盖深圳.武汉.广州.长沙.惠州

链家宣布与深圳第二大房产经纪中联地产全面战略合作

摘要: 今日,链家宣布与深圳第二大房产经纪中联地产全面战略合作.这是链家继今年2月初收购四川最大的二手房中介伊诚地产.收购上海第二大的二手房中介德佑地产后,再度南下布局.作 今日,链家宣布与深圳第二大房产经纪中联地产全面战略合作.这是链家继今年2月初收购四川最大的二手房中介伊诚地产.收购上海第二大的二手房中介德佑地产后,再度南下布局.作为北京最大二手房中介,链家现在的目标是成为全国性的房产O2O大平台. 中联地产是深圳第二大的房产经纪公司,成立于1993年,目前已覆盖深圳.武汉.广州.长沙.惠州

链家并了深圳中介中联地产,合纵连横之术再施展

摘要: 今日,链家宣布与深圳第二大房产经纪中联地产全面战略合作.这是链家继今年2月初收购四川最大的二手房中介伊诚地产.收购上海第二大的二手房中介德佑地产后,再度南下布局.作 今日,链家宣布与深圳第二大房产经纪中联地产全面战略合作.这是链家继今年2月初收购四川最大的二手房中介伊诚地产.收购上海第二大的二手房中介德佑地产后,再度南下布局.作为北京最大二手房中介,链家现在的目标是成为全国性的房产O2O大平台. 中联地产是深圳第二大的房产经纪公司,成立于1993年,目前已覆盖深圳.武汉.广州.长沙.惠州

链家搜房“诀别”: 暗战O2O布局

10月23日晚,北京最大二手房中介链家地产的员工收到一封内部邮件.邮件宣布了一项重要决定:从3721.html">2014年11月1日起,北京链家全面终止和搜房的合作. 很快,搜房网(SFUN)董事长莫天全隔空做出回应.他也在内部撰写了一封邮件,主题是"感谢链家,学习链家".时间已是凌晨. 珠玑暗藏在邮件中.透过链家地产董事长左晖10月24日早晨9点19分左右在朋友圈发布的一段文字,更能知晓发生了什么."1.应该说欢迎搜房加入房地产经纪行业,这的确是一个更大的