如何为物联网和大数据项目分配IT资源

从事新的物联网和大数据项目,将要严格审查其所需的处理能力、内存、存储和联网所涉及的资源,以及如何最好地利用所需要的能力。

大数据和物联网的项目对企业的IT基础设施带来了新的压力,而不是他们的工作负载。

物联网(IOT)和大数据应用程序将会为互联网网络和存储基础设施带来压力,更不用说必须使用不同的技能和工具来管理这些部署的IT专家。

他们对于执行来说是一个挑战,但对采取对物联网和大数据托管IT团队也有一些指导原则,首先要审议大规模的数据密集型项目的基础设施需求。

更多的处理能力

一旦项目的范围成为焦点,对于一个IT组织来说,将需要对硬件、软件和服务供应商时行结合,以确定适当的系统架构和操作系统,每个系统的处理器的数量,以及系统的数量,其中包括物理,虚拟和基于云计算的,这些举措都是必要的。

大数据项目往往是基于Windows或Linux操作系统,在基于x86的服务器行业标准上执行。在其他情况下,也有基于大型机或单一供应商系统体系结构和操作系统的有用工具。在大多数情况下,IT团队将使用一个扩展架构的工业标准服务器集群,通过大量使用处理器、内存、网络和存储来支持工作负载的运行。

物联网项目往往还包括基于单一厂商的中端系统以及大型机的后端系统。

为了最大限度地提高可用的处理能力,同时最大限度地减少对硬件的整体投资,正确配置系统,集群和其他组件。这就需要对组织为项目选择的大数据工具和NoSQL数据库有一个深入的了解。类似的理解也可用在通知的工具,如智能电话,平板电脑,汽车等其它智能设备。

配置不当的服务器集群或其他基础设施的失误,可能会阻碍这些项目的运作,并导致失败,即使选择了适当的工具。

一些后端数据分析和报表工具在一个大的集群系统上运行。其他支持一些较小的集群:一种支持包含用于分析原始数据的数据存储,另一个支持来处理原始数据转换成有用的信息的工具。另一个集群可能需要支持的报告工具,可以将有用的信息到适当的形式(如表格、图形或其他格式)提供给分析师和数据科学家。

物联网项目还添加到客户端设备的元素,以提供所需的信息、指导或支持。一个组织将需要使用这些工具的专业知识,以及一个完整了解其如何计划使用的工具。

在此过程中,经常询问值得信赖的顾问和供应商,以了解所需的工具和方法,选择适当的支持。

内存,存储和网络的关注

只是添加更多的系统的内存和存储并不总是确保物联网和大数据部署获得更好的整体性能。这是因为他们的处理能力、不同的方法以及工具需要不同数量的系统内存。

每一种方法及其相关的工具集,都有一定的局限性。IT规划者把物联网和大数据平台放在一起,必须研究每一个工具的资源,并考虑他们将如何使用这些资源,如果资源是可用的话。

如果一个公司安装的内存比选择工具所需要使用的内存更多,那么可能只会增加功耗和发热量,对整体性能没有任何的改善,并对数据中心的电力和冷却系统增加不必要的压力。

在物联网和大数据方案的另一个要素是存储性能和容量。像处理能力和内存容量,存储设备的选择,专用的容量,以及如何存储联网有助于大数据产品的最佳性能。并在物联网案例中快速响应。

而内存和计算组件,存储配置必须匹配选择方法和工具集的要求。不要指望简单的收益增加更多的存储,选择更快的设备或升级存储区域网络。即使存储性能的增加,其升级可能会抵消造成网络瓶颈的增益。

一些大数据工具使用多余的存储容量作为数据存储区的一部分,在内存数据库中创建一个内存数据库。这种方法可以加快分析和报告的处理。这里有一个问题:如果系统没有可靠的电源保护,如果电源失败,这个数据可以被丢失。

不要陷入任何单一类型的存储或存储区域网络的炒作。分析人士指出,内存驻留数据库或闪存存储不会解决每个问题。

一些存储虚拟化软件供应商,如DataCore软件,要注意的是,底层的操作系统一次可能只处理一个I/O请求。这个供应商的方法是添加软件,使该系统能够执行多个并行请求。

网络基础设施是任何分布式或集群计算工具的关键。其容量、延迟和性能可以促进或阻碍这种类型的技术的发展。同样,对于处理器,存储器和存储子系统,网络基础设施必须小心地选择。

如果网络不具备足够的能力,响应缓慢或当大数据工具需要别的东西或I/O请求被偏置时,业绩将受到影响。网络设置不会处理大小流量,同样,物联网系统的智能设备对突发的数据请求同样不分大小。平衡这两种类型的请求可能是具有挑战性的。

一个没有提供的或设计不当的存储子系统会降低大数据或物联网系统的有效性。

至于其他组成部分,要调查网络媒体的特点,如千兆以太网或光纤通道,在购买网络服务之前,要进行成本/效益分析。

专家曾经遇到过一个项目,试图捕捉然后分析数以百万计小型移动设备的信息,这是早期的物联网项目。这家公司了解到处理负载其网络速度不够快,因为它已被设置为管理批量数据传输,而不是响应数以百万计的微小数据的请求。

本文转自d1net(转载)

时间: 2024-07-29 07:01:20

如何为物联网和大数据项目分配IT资源的相关文章

为IoT和大数据项目分配IT资源

大数据和物联网项目给IT基础架构带来了前所未有的压力. Internet of Things(IoT) 和大数据应用已经给网络和存储架构带来了压力,更不用说这还需要IT专家使用不同的技能和工具来管理这些新的部署了. 虽然执行起来很有挑战性,但是也有一些为IT团队而设的指导方针来帮助他们托管IoT和大数据.这得从审查基础架构中大规模.数据密集型的项目需求开始. 更多的处理能力 一旦项目进入到具体的实施阶段,IT组织连同它的硬件.软件和服务供应商很可能需要去定义合适的系统架构和操作系统,每个系统处理

勾勒物联网与大数据的数据中心路线图

从数据中心的角度看,物联网和大数据项目几乎总是强调网络和存储基础设施.规划人员在组织内开始实施这种大规模数据密集的项目之前,需要仔细地评估基础设施的需求. 传统的商业智能项目建立在不同于大数据项目的需求和理解的基础上.典型商业智能从清晰的想法开始尝试,必须经得起推敲,什么数据可用或必须收集来回答这些问题,需要上报何种结果,组织内谁需要这些结果.此类项目几十年来一直是企业级IT的基础. 物联网(IoT)和大数据聚焦在不同的侧重点.他们会提问:如何提出正确的问题;问题是哪些,如何解决以更好地为客户服

大数据项目如何落地之路线图探讨

今天,继续来谈一谈"大数据项目如何落地?"这个话题.从事过多个大数据项目的规划方案及项目落地工作,在这里与大家分享一些心得,主要是关于大数据项目如何成功落地并取得预期目标,也可以说这些是实践出来的观点. 对于一个大数据应用项目/产品的落地,可以大致总结为五大步骤阶段: 数据规划.数据治理.数据应用.迭代实施.商业价值.如下图: 大数据项目落地路线图 第一阶段:数据规划 一个成功的大数据项目,需要有一个良好的开端,即做好数据规划阶段的各项工作,具体包括: 战略意图:在这个阶段,要明确战略

Hadoop生态系统在壮大:十大炫酷大数据项目

在开发人员开发Hadoop以克服大数据带来的挑战之后的10年间,这些技术的生态系统在不断发展壮大.Apache软件基金会下面有众多的开源大数据技术项目.本文介绍一些重要项目,并顺便了解几个新兴项目. 管理和分析大数据已经变成了重大挑战,数量急剧增加的信息从社交媒体.连接到物联网中"物件"的传感器.结构化数据.非结构化数据以及可以收集的其他一切数据收集而来.为了应对这项任务,开发人员已开发了一系列新的开源技术. 旗舰软件Apache Hadoop是Apache软件基金会的一个项目,它在上

D-News | 中国移动打造华北最大数据中心,OPEC与阿联酋将推出“油气大数据项目”

政府动态中移动15亿元打造(保定)数据中心 助力雄安新区快速崛起 作为通信行业的主导运营商,中国移动不断完善通信信息基础设施建设,在移动互联网.云计算.大数据.物联网领域积极布局,培育创新发展能力.其中,落户河北保定的数据中心,是中国移动在京津冀一体化大背景下全国IDC战略布局的重要组成部分,也是目前华北地区规模最大的数据中心. "这下雄安新区房价又该涨了!" 平遥.锦州与华为合作共建大数据中心 本周,华为企业云先后宣布了与晋中平遥县及锦州市政府合作的消息.华为公司与晋中平遥县就&qu

大数据项目为什么失败,2017年将有何不同

  随着企业努力在数字时代完全采用数据驱动,生态系统正在发生重大转变.由于企业应用程序生成数据成为一种趋势和潮流,收集数据的洞察力变得越来越复杂. 此外,数十亿用户和数万亿连接的物联网设备在企业外部产生指数级更多的数据.企业部署云计算,移动和分析技术,希望将这些数据转化为洞察力.然而根据调配机构Gartner预测,2017年将有60%的大数据项目失败.他们不会超越试验阶段,最终将会放弃. 企业在将数据资产链接到战略价值之间发生了什么脱节?根据专家的经验,主要是有工作人员缺乏技能或专业知识,以及技

IBM与中国电子签约 推进大数据项目落地

IBM的大数据项目将在陕西咸阳和湖南长沙落地,这次借助的是中国电子信息产业集团(下称"中国电子")的合作.3月23日,中国电子宣布,与IBM在北京签署了合作协议,将在咸阳市开展环保大数据合作,在长沙市发展智能制造产业.中国电子董事长芮晓武.总经理刘烈宏.IBM董事长罗睿兰等在现场见证签约. IBM与中国电子的合作源于2015年9月的中美互联网论坛.双方在美国西雅图宣布,将成立"中国电子-IBM联合创新实验室",在"中国制造2025"."

启动大数据项目之前需要问的5个问题

在关于设备性能,供应商关键绩效指标(KPI)和库存水平的每周报告之间,更多的数据可能是供应链管理者最不愿意处理的事情. 然而,每天有更多的数据不断涌现:根据IBM公司的调查报告,全球每天创造2.5EB字节的数据(即10亿千兆字节).但它并不总是这样.根据IBM公司的计算,世界上90%的数据只是在过去两年创建的,而且报告中显示,企业使用数据可以节省数百万美元,并以前所未有的方式提高工作效率. 当企业预算收紧时,管理人员采用大数据以提高效率,这并不奇怪.毕竟,许多公司花费十多年时间来引进或升级数据处

你的大数据项目离失败有多远?

导读大数据项目的成功或许不可复制,但从失败中汲取教训同样很有意义.作者从本人实践项目入手,从商业目标.商业案例.项目管控.沟通.技能等角度分析其失败的原因. 过去六个月里,我发现大数据项目的总量正在以惊人的速度增长着,大多数与我合作过的公司都计划在接下来一年内,进一步拓展大数据项目的领域.其中,许多项目都被报以很高的期望,但大数据项目,远没有想象中那么简单.我认为,其中半数的大数据项目最终都无法达到他们的预期. 失败的原因是多方面的,许多显而易见的问题或者影响因素都会对大数据项目造成致命的打击,