大数据是当下IT领域最活跃的话题之一。没有比近日在圣何塞举行的Hadoop Summit 2013更好的地方去了解关于大数据的最新动态了。
有超过60家大数据公司参与其中，既包括像英特尔和Salesforce.com这样的知名厂商，也有像Sqrrl和Platfora这样成立没有多久的初创公司。以下是这次峰会上展示的13款全新的或者增强的大数据产品。
1. Continuuity开发公司现在支持批量处理
Continuuity发布了支持批量处理的Continuuity Developer Suite 1.7，将MapReduce集成到平台中为开发者提供更广泛的工作负载能力。
Continuuity帮助Java开发者构建能运行Hadoop和HBase数据库的应用。这些应用支持像运作分析这样的实时应用。但是Continuuity的首席执行官Jon Gray表示，一些应用仍然要求MapReduce的批量处理架构。
Continuuity Developer Suite 1.7还提供了一些用于流式实时分析、定位和个性化以及异常检测的应用模板。
2. Datameer首次展示大数据分析软件
Datameer发布了面向企业用户的Datameer 3.0数据集成和分析软件。该版本增加了“智能分析”功能，可以从Hadoop中保存的大量复杂数据中自动找出模型和关联性。
Datameer 3.0采用四种机器学习的技术：聚类、决策树、列依赖性和建议。虽然这些通常是数据科学家涉足的领域，但是被集成到了Datameer软件中，这样企业用户就可以将其作为一项自助服务使用。
Datameer 3.0将在未来几个月内提供给用户进行beta测试。
3. Hortonwork社区预览支持Yarn的HDP 2.0平台
Hortonworks将在社区中预览下一代支持Yarn（下一代Hadoop数据处理框架）的Hortonworks Data Platform。
作为ASF Hadoop项目的一部分，Yarm旨在实现多个用户实例，而不是单一的数据集。HDP 2.0社区预览版本中支持Yarn，将让Hortonworks的合作伙伴和客户能够使用这项新技术，参与到最终规范的制定中，Hortonworks营销副总裁Dave McJannet这样表示。
4. Kognitio推出第八代分析平台
Kognitio推出了新一代的Kognitio Analytic Platform，加强了多种编程语言之间的连接性，并提高了性能。新版本提供了NoSQL处理能力，以及大规模并行处理任何脚本或者像R、Python或者Java这样的二进制代码。
使用该版本进行基准测试表明，它将答案返回给复杂查询请求的速度是上一版本的两倍。
新版本还提供了高速数据输出，针对高速数据备份以及内存压缩，作为一个可选功能。
5. MapR和Fusion-io联手提高HBase性能
MapR和Fusion-io合作，在运行读取密集型HBase应用的时候，将基于Hadoop的MapR M7大数据平台与Fusion-io ioMemory系统结合起来，实现重要的性能提升。
据MapR称，HBase应用性能通常受到磁盘存储瓶颈的限制。使用Fusion-io ioMemory，MapR系统的性能提高25倍。
I/O性能的局限性，会使采用HBase开源数据库用于高性能计算任务的速度变慢。
6.Pentaho添加大数据平台集成能力
业务分析应用开发公司Pentaho，推出了所谓其软件中的“自适应大数据层”，提供与大数据平台集成的能力。
这项新技术将Pentaho与Hadoop发行版连接起来，如Cloudera、Hortonwork、MapR Technologies、Intel、NoSQL数据库Cassandra以及MongoDB。
7.RainStor升级数据库安全性及搜索能力
RainStor推出了对其数据库软件的重要更新，增强了安全特性，并称这样可以提高Hadoop在安全敏感的客户中的采用，例如政府机构、银行和电信公司。
RainStor数据库中的新安全功能，它本身运行在Hadoo中，包括数据加密、数据掩蔽以及查看、审查跟踪、防篡改、可配置的数据弃置，支持Kerberos、LDAP、Active Directory以及PAM（Linux的可插拔认证模块）。
据RainStor称，新搜索功能提高数据库的查询性能达到10倍~100倍，能实现更高速的文本搜索。现在数据库可以搜索数十亿条记录，数PB的数据。
8.Splunk发布针对Hadoop的数据分析工具
以其实时运作智能软件而为大家熟知的Splunk，推出了Hunk的新测试版本：Splunk Analytics for Hadoop。
Hunk集成了对Hadoop数据进行挖掘、分析和虚拟化的工具。它采用Splunk针对数据分析的虚拟索引技术，提供了用于提供表格、图形、自定义仪表板和报告的工具。
该软件支持来自Cloudera、Hortonworks以及MapR的主流Hadoop发行版。
9.Sqrrl发布安全大数据平台
初创公司Sqrrl即将推出Sqrrl Enterprise 1.1，一个用于开发实时分析应用的安全、可扩展平台。随着该版本的发布，Sqrrl将从有限的发布阶段接入全面供货阶段。
1.1版本还提供了更多基于Apache Accumulo的高级安全工具、增强的分析功能、以及像JSON这样的特性。新的分析功能包括全文搜索，使用Apache Lucene、SQL、统计以及图形搜索。
Accumulo技术最初是由美国国家安全局开发的，在2011年被分拆出来作为一个开源项目。
10.Teradata发布针对Hadoop的产品组合
Teradata推出了Teradata Portfolio for Hadoop，一个集硬件平台、软件、咨询服务、培训以及客户支持的产品组合，用于开发和管理Apache Hadoop。
这其中包括Teradata Appliance for Hadoop以及Teradata Aster Big Analytics Appliance这样的“优质平台”可供选择。前者加载了Hortonworks的Hadoop发行版、Mellanox Infiniband硬件以及Teradata的BYNET V5软件。后者包括Aster数据库、SQL-MapReduce和Apache Hadoop。
Teradata还提供了针对那些希望在戴尔标准服务器上部署Hadoop的Teradata Commodity Configuration for Hadoop产品。Teradata Software Only for Hadoop是一个软件捆绑产品，针对那些希望使用和配置自己的硬件的企业。
11.VMware支持Hadpp和大数据工作负载
VMware推出了公共测试版本的VMware vSphere Big Data Extensions，一项将VMware虚拟化平台扩展支持Apache Hadoop和大数据处理的新特性。
企业客户可以使用新软件开发、运行和管理Apache Hadoop集群，以及其他通用虚拟基础设施上的应用。这为Hadoop系统带来了虚拟化的好处，包括可扩展性、性能以及弹性，VMware产品管理高级总监Fausto Ibarra这样表示。
VMware vSphere Big Data Extensions源自于VMware的Serengeti开源项目，预计在今年年底全面提供给客户。
12.WANdisco发布Hadoop新发行版以及HA软件
WANdisco将推出Non-Stop NameNode – WAN Edition，一项新的复制技术，可以让基于Hadoop平台的全局分布式大数据系统实现100%正常运行时间。该公司已经提供了一个LAN版本的软件。
WANdisco还展示了新版本的WANdisco Distro (WDD 3.6)，基于Apache Hadoop 2.0，据称支持从Amazon Web Services到私有云的迁移。WANdisco还开源了S3 API on Hadoop，让企业能够使用他们的定制应用，而不是Hadoop with S3HDFS。WANdisco还将在未来提供对Shark实时分析和Spark内存数据处理技术的支持，作为WANdisco Distro 3.6的附加选择。
13.Zettaset展示对最新Cloudera及Hortonworks平台的支持
Zettaset的Orchestrator Hadoop集群管理软件现在支持来自Cloudera和Hortonworks的Hadoop发行版。Cloudera CDH和Hortonworks HDP用户现在可以使用Orchestrator软件自动安全和管理他们的Hadoop基础设施。
Zettaset共同创始人、首席技术官Brian Christian认为，安全和管理Hadoop集群的复杂性阻碍着Hadoop的采用。Orchestrator软件避免了手动配置的流程，降低Hadoop复杂性，给Hadoop带来企业级可管理性、安全性和可用性。