Industry Outlook是一个介绍有关数据中心和IT的市场趋势，技术和其他问题的专家观点的数据中心行业媒体。
Industry Outlook日前与Peter Godman探讨了数据的爆炸式增长以及企业如何管理数据等令人关注的问题。Peter
Godman是通用级文件存储供应商Qumulo公司的共同创始人和首席技术官，主要工作是指导产品开发和管理，在分布式文件系统和高性能分布式系统方面具有丰富的专业知识。
IO：目前企业在数据方面面临的最大挑战是什么？
PG：数据正在爆炸式增长，每两年翻一番。其中的大部分数据中心都是在传统存储系统进行存储的。要部署具有突破性创新的关键任务工作流，数据密集型组织必须随时随地利用和挖掘其数据的价值。他们需要在任何操作环境（PB级和全球范围内）自由存储，管理和访问基于文件的数据。
IO：过去10年来出现了哪些重大变化和进步，促成了这种情况？
PG：企业的全球运营模式已经形成了新的规模需求，包括存储的文件数量，实时管理大量数据足迹的能力，全球数据分布以及利用云计算的需求。因此，企业正在寻找能够帮助他们在数据中心和云计算之间移动和共享基于文件的工作负载的技术。智能的文件存储系统是为了满足现代企业的需求而设计的，它既能在本地部署的数据中和云端中扩展性能和容量，又无硬件限制。
IO：数据危机对哪些行业影响最大，为什么？
PG：数据密集型行业离不开技术创新。而媒体、娱乐、科学计算、电信、生命科学和医学研究，以及汽车等行业受到的影响最大，因为它们的分布式数据集存储应用在在全球分布的各个地点，并具有数以亿计的文档的庞大规模。
例如，在媒体和娱乐行业中，数字动画电影的渲染能够生成数百TB到数PB的数据。一部电影可能包含超过5亿个文件和2500亿像素，数据密集的模拟可以从视频游戏的小规模序列发展到数十亿个数据点和每秒数千兆位的吞吐量需求。
同样，科学计算和图像生成大量的文件数据。无论是研究人员涉及三维医学成像，电子显微镜还是自然现象模型，他们都在使用越来越复杂的模拟和分辨率越来越高的图像来实现其突破，但这需要处理数十亿个文件，同时保持高性能，并深入了解比以往任何时候都更重要的数据。
IO：数据呈指数级的增长速度是不可持续的，最终会阻碍数据存储的增长。有没有看到任何可以满足这样的成本，技术限制，物理空间需求的技术或产品？预计这个巨大的增长会持续多久？
PG：至少在未来的10到15年间，存储容量将会每两年翻一番。华盛顿大学的专家LuisCeze及其同事一直致力于密度和寿命都很高的DNA数据编码。人们将要开始面临的一个重大挑战是，相对于容量而言，交付的可用性数量正在迅速减少。十五年前，HDD提供了1,000IOPS/TB的存储吞吐速度。如今数字更像是1012IOPS/TB。十年后，人们将面临大量的数据，但能够积极处理的数据越来越少。
存储级存储器的密度必须至少每四年翻一番，以弥补摩尔定律，这就是说，晶圆厂的成本每四年增加一倍！这样做似乎很容易。随着切换到3D堆叠技术，有机会在芯片上堆叠得更高，并减少恢复过程。也就是说，按照人们正在进行的速度，半导体晶圆厂在10年内的市值将高达1000亿美元，其数量将来越来越少。
决定删除哪些数据是一个谨慎的过程，而错误删除是令人痛苦的。密度的增加使得保存所有东西变得容易，只要存储变得更密集，人们就会不断填充。
IO：存储行业在帮助企业提供存储技术和应用的过程中扮演什么角色？正在进行哪些创新？
PG：要以PB级扩展本地和公共云存储，人们需要一个全新的企业级存储级别，允许企业创建单一的全局数据足迹。这种新型的企业存储将被传统的数据存储到安全的地方。
IO：云计算将扮演什么角色？
PG：云计算为现代数据驱动型企业提供了几个核心优势。它提供了敏捷性：配置和释放资源，并且用时越来越短。它可以根据需要访问TPU，GPU和其他计算资源。最后，它提供了弹性，允许数据驱动的企业在短时间内使用大量的计算。
IO：你能描述一下云端的数据量与内部部署的数据量吗？有没有预见会遇到某种限制？
PG：这很大程度上取决于如何定义云计算。如果企业采用的是IaaS+PaaS+SaaS，则大部分数据可能已经存在于云中。尽管如此，数据的增长仍然是在边缘，云计算数据生存的自然限制是光速。专家PeterLevine最近做了一个名为“回到边缘和云端计算的终结”的演讲，探讨了这个问题。世界上的大部分数据需要与纳秒或微秒的决定区分。云计算离大多数决策还很遥远。在一段时间内，人们将处于一个主权，成本，延迟和安全紧张的地方。除此之外，人们可以在云中存储多少数据没有实际的限制。
IO：随着企业越来越依赖云端进行数据存储，数据所有权和隐私权将会得到多大的关注？这样的问题对转型的影响很大？还是只是一个转折的过程？
PG：数据主权法对公共云用户来说是一个巨大的挑战，也是公共云的一个很好的机会。能够通过标准API轻松移动数据以符合法律或审计访问，其权限是强大的。例如，虽然数以万计的IT专业人员可能仍需要学习数据主权法律，尽管云计算可能会无意中违反这些法律，但云计算也会遵从一个API。总之，云计算应该通过对许多IT团队的努力进行重复删除而使数据主权和所有权更加容易。
IO：您是否有数据或如何估计数据存储成本，特别是长期和短期趋势是什么？
PG：如今的一个10TB机械硬盘售价大概是360美元，也就是36美元/TB。如果购买1.6TBSSD硬盘，则是850美元左右，或850美元/TB。现在同等容量的情况下，闪存仍然比硬盘贵10倍（假设人们可以在闪存上进行压缩和重复数据删除，但是出于某种未说明的原因而不是在硬盘上）。15TB的LTO7磁带的价格可能不到100美元，或者说6美元/TB。所以磁带是HDD硬盘成本的六分之一，是NAND闪存成本的十分之一。HDD硬盘和NAND闪存容量之间的差距目前有所增加。
几年前，处在闪存和磁带之间的HDD硬盘压似乎很快将要消亡。最近，HGST公司宣布已经使微波辅助磁记录成为可能，并预测这项技术将使它在未来每年地提高50％的存储密度。如果这个预测结果是正确的，十年来，相同容量的HDD硬盘的成本可能只是闪存的十分之一。这种情况给存储系统带来了巨大的压力，将会继续提供混合解决方案，以便利用闪存性能和HDD硬盘的容量。
IO：如何看待未来五年企业存储和数据中心行业的变化？
PG：在接下来的五年里，人们将看到云计算和本地数据中心的合理化。企业会将许多应用程序迁移到公共云。移动应用程序的难点在于移动他们的数据。促进移动的存储产品将会蓬勃发展，存储产品如果在应用程序迁移过程中在技术方面落后，将会失去存在的意义。最后，存储将被分为广泛使用，相关的便携式数据管理，以及不太相关的存储点解决方案几种类型。
本文转自d1net（转载）