问题描述
- 实时大数据存储及查询分析解决方案
-
上千辆设备每隔10秒上传一次数据,我要把数据存储起来,然后在基于这些数据进行查询分析,
担心传统的做法后期会有很大的性能问题,请教有做过这方面的经验的高手共享一下思路。
解决方案
你这种情况就非常适合使用基于Hadoop的HBase来存储数据,HBase不仅仅适合于做大数据的存储和处理,它的一个突出的性能优势就是写数据,
你的系统每隔10s就要写一次数据,Hbase就比较适合,最好不要使用传统的关系型数据库(例如MySql),这会让你的系统在后期出现许多性能瓶颈,
另外,HBase在数据查询上面也有提供了一些快速的优化方法,使用Hbase对数据进行读写,使用map/reduce对数据进行处理,你可以查阅相关资料看看。
解决方案二:
这里不适合什么Hadoop,工业采集数据要求的是可靠、简单、直接,应该用工业实时数据库存储数据,再导入关系数据库分析。
http://blog.csdn.net/liqfyiyi/article/details/6862886
解决方案三:
如果 一次的数据量不是很大,就将数据分析写入数据库吧,这样以后查询才能方便一些。
服务器端,最后能分成通讯服务器,数据存贮服务器等等。这个做后台的人都知道,偶是做终端的,只了解到这些。
解决方案四:
写入数据库,然后查询。现在数据库处理能力还是可以应付你那点数量的
时间: 2024-10-26 14:30:02