大数据-微信朋友圈技术实现讨论

问题描述

微信朋友圈技术实现讨论

请教大家一个问题,微博关注好友动态主页,和微信朋友圈动态列表,后端架构设计都是如何实现的?
自己想到的是:
方案一:
1:首选是取我的好友列表,这个有自己的好友列表cache维护,不能直接查询db,考虑到数据量很大情况下的伸缩性必须满足。
2:再根据我的好友ids再去取他们发表的微博或者动态,按照时间排序,这个无疑是拿着user_ids in 动态数据表,这点感觉性能很致命。

方案二:
对比方案一,关系性数据库在面临大数据的时候系能会显得比较疲惫,考虑采用NoSQL,如:Mongodb,HBase ,Redis等产品。
综合对比,倾向选用HBase。Mongodb莫名丢数据时而常有的事情;Redis Master-Slave结构面临单机内存垂直增长受限,Redis 3.0目前支持Cluster,配合Sentinel,貌似能保证sharding nothing又能保证高可用,但是Redis Cluster生产环境没有实用经验。得补充一点就是代码上线前,需要处理已有好友关系的动态数据存储,从mysql考虑用job一次性跑到NoSQL中,这样保证我关注的人,先前发的动态我也能看到。

大家有什么好的建议呢?

解决方案

没有做过类似业务,但可以分析一下
1)有一点可以肯定微博、朋友圈发表内容是按时间分库分表存储的,而且考虑到数据量和查询效率不会使用纯关系型数据库存储,一般Mongodb、Redis或者自研的类似db。
2)考虑到数据的时间越久越冷,越新越热,会有cache的策略来提速“热”数据的检索和支持更大的并发;
3)数据至少有一个热备份,数据和备份是一种弱一致性关系;
4)使用消息队列异步化数据写入,提高前端响应。
先想这么多,欢迎大家来补充!

时间: 2024-12-31 06:58:15

大数据-微信朋友圈技术实现讨论的相关文章

做大贵州大数据 的“朋友圈”

为进一步推动国家大数据(贵州)综合试验区建设,加强贵州与美洲国家在文化.旅游.经贸等领域的交流合作,近日,省委常委.贵阳市委书记.国家大数据(贵州)综合试验区建设领导小组副组长陈刚率队赴美国.墨西哥.古巴开展考察访问及招商推介活动,取得了圆满成功. 8天时间里,代表团与官产学媒民各界人士广泛接触交流,出席了近20场公务活动,在大数据.文化.旅游等各领域达成了多项合作意向.签署了多个合作协议. 考察方面,代表团先后前往西雅图.旧金山两地,密集考察微软.特斯拉.脸书.苹果.博科.高通.戴尔.甲骨文等

listview-ListView下拉刷新得到新的几条数据,保持原来的查看全文和收起状态类似微信朋友圈。

问题描述 ListView下拉刷新得到新的几条数据,保持原来的查看全文和收起状态类似微信朋友圈. 如题.比如我的ListView上有20条新闻,我下拉刷新了,获得到新的2条新闻,这时我把新闻插到ListView的最前面.那么问题来了..我原来的20条新闻有的项的内容处于"查看全文"状态,有的处于"收起"状态.那么我怎么保持那20条新闻的展开或收起状态不变呢? 解决方案 在adapter绑定List中的实体类加一个属性,来判断新闻是处于查看全文或收起状态,在getVi

百度魔图火热背后 “PK大咖”借力微信朋友圈

硅谷网讯 湖南卫视<快乐大本营>主持人吴昕最近与另一主持人杜海涛开起玩笑.吴昕拿到一张杜海涛的照片,通过百度魔图,将杜海涛的脸"PK"出一张猩猩的脸,并通过微博将照片发出来.有趣的是,杜海涛并没有生气,还机智的说:"有没有顾忌过星星的感受!!" 短短几天时间,吴昕和杜海涛的这段微博互动带来5462次转发.3032个评论.4567个称赞,也让百度魔图"PK大咖"功能顺带火了一把.当然,"PK大咖"最火的不是微博,而是

Android 如何获取微信朋友圈数据

问题描述 Android 如何获取微信朋友圈数据 最近有个项目,要实现获取微信朋友圈的数据!看了微信开放平台,目前还想没有需提供相应的接口! 有没有什么好的实现方式? 望提供一下解决思路,谢谢大家! 解决方案 微信开放平台目前未开放朋友圈数据,目前无法取到数据,或者你可以试试抓包和解包

现在要做一个仿微信朋友圈的评论功能的需求,不知道该怎么去实现,求个大神知道一下

问题描述 现在在做一个android应用,要实现成类似于微信朋友圈的评论功能,功能需求是这样的:1:点击评论弹出输入框和软键盘,并把当前点击的item定位到输入框的上面,使输入框的顶部和当前item的底部挨着,但不能盖住这个item的内容2:点击发送之后把输入框中的信息动态的添加到当前item的最下端来个大神知道一下 解决方案

腾讯微信朋友圈开测信息流广告,广告低价大曝光

1月21日消息,部分微信用户今日反馈,腾讯微信在朋友圈内开始测试信息流广告.TechWeb获得的一份腾讯公司微信开放平台创新部的资料对微信广告系统进行了详细介绍. 资料显示,微信CPC广告底价为0.5元/一次点击,自由竞价,曝光免费:CPM广告底价为15元/千次曝光,自由竞价,每千次可视曝光按出价扣费一次,优先展示出价高的广告. 可视曝光即指广告完全加载并出现在用户屏幕中.一天内,同一广告对同一用户,最多收费6次.一周内,同一广告对同一用户,最多收费10次. 微信公众号广告拥有图文.图片.文字链

Android 高仿微信朋友圈动态支持双击手势放大并滑动查看图片效果

最近参与了开发一款旅行APP,其中包含实时聊天和动态评论功能,终于耗时几个月几个伙伴完成了,今天就小结一下至于实时聊天功能如果用户不多的情况可以scoket实现,如果用户万级就可以采用开源的smack + opnefile实现,也可以用mina开源+XMMP,至于怎么搭建和实现,估计目前github上一搜一大把,至于即时通讯怕误人子弟,暂且不做介绍,现就把实现的一个微信朋友圈的小功能介绍一下. 先上效果图: 一拿到主流的UI需求,大致分析下,需要我ListView嵌套Gridview,而grid

【纯干货】微信朋友圈营销无广告推广技巧之“无声胜有声”

中介交易 SEO诊断 淘宝客 云主机 技术大厅 自上次发布的"微信公众平台营销推广精选技巧"后效果非常好,认识了很多志同道合的朋友,这次针对个人微信朋友圈营销推广再写一篇,希望大家持续关注. 我的朋友圈现在都很少打开,因为没有实质性的内容,全是广告,或者说广告将有用的信息都刷掉了,这种情况下我真的很难再去和大家互动,这也是我写此文的一个原因,希望大家不要刷屏了.你累,我累,大家累,效果还不好,可能一半以上的好友都把你拉黑了你还傻乎乎的刷刷刷.我是个宅男,对于营销一直以来都是比较被动,用

微信朋友圈卖货的三种模式和收益层级

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 微信的用户越来越多,而"微信营销""微商"这种概念也开始此起彼伏.快老虎认为微信对于创业者来说确实是一个机会,并且微信领域也有好几个创业的方向. 但今天我只说微信朋友圈卖货那点事情. 首先,到底在朋友圈卖货能赚钱吗?快老虎认为,至少百分之99的人是赚不到钱的.还有百分之一的人中,又有至少百分之99的都是