问题描述

金融行业hadoop硬件方案咨询

我们有这样一个需求金融行业某项目，需要保存大量图片与视频及文件。
目标数据量是20T，200并发要求1分钟下载完100M的文件（带宽10M）。
有以下问题：

1.首先问hdfs是否适合保存图片、视频，其稳定性怎样？
2.服务器配置应该如何权衡，nameNode是不是得高CPU、高内存，dataNode是不是得高内存1万转的硬盘是否够用。
3.20T的需求需要陪物理硬盘多大容量，nameNode是否需要做热备？
4.nameNode与dataNode需要不需要做Raid，如果做的话做几？
5.我们团队没hadoop经验，只做图片视频文件保存读取，不知道上手快不快。有什么坑？
6.hadoop集群环境下，怎么监控。比如说硬盘坏了，怎么发现处理？

解决方案

最好使用云服务器，根据需要逐步增加，而避免空洞地估算造成实际使用的不足和浪费。云服务器的资源你可以想象是按需提供，无限量的。而且硬件软件故障维护也是自动化的。

解决方案二：

带宽10M1分钟内最大只能下载75M，带宽至少需要20M。

解决方案三：

每个Datanode节点周期性地向Namenode发送心跳信号。网络割裂可能导致一部分Datanode跟Namenode失去联系。Namenode通过心跳信号的缺失来检测这一情况，并将这些近期不再发送心跳信号Datanode标记为宕机，不会再将新的IO请求发给它们。任何存储在宕机Datanode上的数据将不再有效。Datanode的宕机可能会引起一些数据块的副本系数低于指定值，Namenode不断地检测这些需要复制的数据块，一旦发现就启动复制操作。