Splunk Hunk 6.1可存取Hadoop与NoSQL的大资料

  新增对于多种NoSQL资料库的存取能力,并提供报表加速与互动式的仪表板介面:

  针对蓬勃发展的大资料应用环境,Splunk推出了专属的整合式资料分析产品Hunk,别名Splunk Analytics for Hadoop and NoSQL Data Stores,顾名思义,它能够将Hadoop及NoSQL资料库内的非结构、塬始资料,快速、简易地转化为可辅助商业决策的资讯,提供搜寻、分析的机制与视觉化的处理能力,如此一来,能提升相关资讯回报速度,大幅缩短通报时间,此外,系统也提供互动式仪表板的操作介面,使用者可从中自行执行分析功能,而不需为此搬动资料或将资料纲要(schema)固定之后,才能开始作业。

  Hunk目前支援的Hadoop环境,主要是Apache Hadoop与主要的Hadoop版本,包括第一代MapReduce和YARN,而对于NoSQL与其他资料来源,目前支援了Apache Accumulo、Apache Cassandra、Couchbase、MongoDB与Neo4j。

  在今年5月所推出的Hunk 6.1最新版,裡面也针对Hadoop与NoSQL应用而新增了多种功能。例如加入了新的虚拟索引技术Splunk Virtual Index,所以,Hunk能够藉此拆开资料存取及分析层与储存层之间的相依性,方便Hunk将资料存取需求导引至各个资料库;另一个重点是可加速统计分析报表产生,当中将Hadoop的搜寻结果以透明化方式做成快取,因此改善了报表回应时间与效能,而且不用事先搬移资料就能做到,而有了这项机制,也可提升运用Hadoop资源的效率,无惧于资料成长与查询次数增加的应用趋势。

  新版Hunk提供的互动式操作仪表板与图表,也值得一提。这个仪表板提供了新的介面编辑器,使用者可以根据自己想要的项目,快速建立仪表板,而图表也提供层叠式呈现风格、平移-缩放的控制项与仪表板内的下钻式操作(drill down),互动性大幅提升。而且,这些统计分析的图表与仪表板,还可嵌入到第叁方商用软体裡面。

  对于非结构资料的处理,Hunk除了增强对于Hadoop与NoSQL资料的支援,也跨足到多种格式的档案内容存取,6.1版支援自动存取纯文字档、连续档、RCFile(Record Columnar Files,Apache Hive储存资料所採用的格式)、ORC(Optimized Row Columnar,Apache Hive储存资料所採用的格式)档案,以及Parquet档(Hadoop环境採用的栏式资料储存格式)

  6.1版Hunk在安全性也有所强化。它加入了直通式(Pass-through)的身分认证机制,当系统要提交MapReduce的工作与存取Hadoop丛集时,使用者可直接用IT部门所认可的帐号身分与角色来登入,以提升整体资料存取的安全防护。

  在程式开发环境的辅助上,Hunk也提供许多丰富的机制,让开发人员能够运用他们所熟悉的程式语言及框架,在採用Hadoop分散式档案系统(HDFS)的储存环境,以及NoSQL资料库当中,将资料与相关存取功能整合到企业级的大资料应用系统。

  Hunk的这些机制,包括了标準化的网页框架、整合相关文件的REST API、Eclipse外挂程式,以及适用C#、Java、JavaScript、Python、PHP、Ruby的软体开发套件。透过透过JavaScript、Django、Python等通用的程式语言,开发者也可以在Hunk上结合自定仪表板、使用介面元件与资料视觉化机制,建立专属的应用系统。

  Hunk提供互动式仪表板与图表,使用者可运用编辑工具建立自己想要仪表板,提升分析体验。

  Splunk在新版Hunk上加入报表加速器的功能,可将搜寻结果储存起来作为快取,这裡可以预先设定内容摘要涵盖的时间範围,这可以有效改善报表查询速度,以因应资料量与查询量的成长。

时间: 2024-09-15 17:49:04

Splunk Hunk 6.1可存取Hadoop与NoSQL的大资料的相关文章

Splunk Hunk 6.1:面向Hadoop和NoSQL

文章讲的是Splunk Hunk 6.1:面向Hadoop和NoSQL,日前,领先的实时运维智能软件供应商Splunk Inc.(NASDAQ:SPLK)宣布推出面向Hadoop与NoSQL Data Stores的6.1版Hunk: Splunk Analytics for Hadoop and NoSQL Data Stores.Hunk 6.1可以更快速.更便捷地将Hadoop与NoSQL 数据存储中的原始非结构化数据转化为商业洞察.Hunk的升级报告显著缩短了报告时间,同时交互式仪表板可

Splunk高管:中国才有真正意义的大数据

文章讲的是Splunk高管:中国才有真正意义的大数据,在新兴大数据市场中,Splunk是典型的代表.它是第一家上市的大数据公司,也是第一家以机器数据分析为使命的公司.所谓机器数据,是由网站.应用程序.服务器.网络.移动设备以及所有传感器和RFID设备时时刻刻不断产生的数据,是大数据中增长最快.范围最广的部分. 相比世界上其他国家而言,Splunk亚太及日本地区副总裁刘文熙认为中国的大数据是真正意义上的大数据.对于Splunk来说,中国是年轻的市场,未来会有越来越多的国内客户分享案例.今年即将在广

壮大的Hadoop生态系统:十大炫酷项目简介

在开发人员开发Hadoop以克服大数据带来的挑战之后的10年间,这些技术的生态系统在不断发展壮大.Apache软件基金会下面有众多的开源大数据技术项目.本文介绍一些重要项目,并顺便了解几个新兴项目. 管理和分析大数据已经变成了重大挑战,数量急剧增加的信息从社交媒体.连接到物联网中"物件"的传感器.结构化数据.非结构化数据以及可以收集的其他一切数据收集而来.为了应对这项任务,开发人员已开发了一系列新的开源技术. 旗舰软件Apache Hadoop是Apache软件基金会的一个项目,它在上

IBM面向Hadoop的PureData推大数据机

随着企业大数据项目的进展,数据分析速度的重要性正日渐凸显.为了进一步提升大数据分析速度,IBM本周三在加州发布了一款Hadoop大数据机,旨在帮助企业用户实现对更多种类和更大规模数据进行(更低成本地)实时分析的需求. IBM软件信息管理部门总经理Bob Picciano表示: 企业正被大数据洪水围困,作为厂商IBM必须向客户提供更好的工具掘金大数据,这些工具必须够快,能够处理海量数据同时还要更容易使用. 在Gartner三月份发布的BI魔力四象限图中,IBM是所有厂商中最有远见和创新力"visi

卢东明:Hadoop不能适用所有大数据场

文章讲的是卢东明:Hadoop不能适用所有大数据场,"大数据"自诞生之日起,业界对它的概念.技术和应用就存在一定争议.究竟什么是大数据?有哪些大数据技术?大数据的未来是怎样的?每个人都有自己的理解.在2013大数据产品评选活动举办之际,笔者采访了此次担任评委的几位专家学者,看看专家眼中的"大数据"是什么样的? 近日,在一次微访谈活动中,SAP亚太区数据库解决方案技术总监卢东明回答了笔者的提问,分享了对大数据的几点看法,笔者整理如下: ▲SAP亚太区数据库解决方案技术

Hadoop环境中管理大数据存储八大技巧

在现如今,随着IT互联网信息技术的飞速发展和进步.目前大数据行业也越来越火爆,从而导致国内大数据人才也极度缺乏,大讲台了解这一情况后专门在网上开通了这一门大数据培训课程,下面来介绍一下关于Hadoop环境中管理大数据存储技巧吧. 1.分布式存储 传统化集中式存储存在已有一段时间.但大数据并非真的适合集中式存储架构.Hadoop设计用于将计算更接近数据节点,同时采用了HDFS文件系统的大规模横向扩展功能. 虽然,通常解决Hadoop管理自身数据低效性的方案是将Hadoop数据存储在SAN上.但这也

Excel联通Hadoop:NoSQL连接SQL不是梦

大数据的泡沫在毫无止境的膨胀,它给IT企业带来了颠覆性的改革. Hortonworks的CEO Eric Baldeschwieler表示,目前企业中80%的数据是非结构化数据.更为雷人的是这些数据在以60%的速度呈现指数级增长,到2020年,全球数据使用量预计将暴增44倍,达到35.2ZB(1ZB=10亿TB).大数据的急剧蔓延使得企业在存储架构方面逐渐面临着史无前例的考验,由此引发了数据仓库.数据挖掘.商业智能.云计算等应用的一连串连锁反应. 据最新消息,微软正在研发一种连接器,即Excel

新技术架起 Oracle、Hadoop、NoSQL数据存储之间的桥梁

一直以来,大数据的使用远远不及大数据收集能力,就起原因主要是目前企业的数据主要分散在不同的系统或组织,大数据战略的杀手锏就是能够更深度的,更丰富的挖掘所有数据系统中的有价值的信息,从而更准确的预测客户行为,发现商业价值,但是目前很难将这些数据移到一个单独的数据存储中,另外,安全和监管问题也得不到保障,Oracle Big Data SQL的推出解决了现在面临的难题. 以下为译文: 发现企业或组织对数据管理架构的需求,Oracle推出Big Data SQL软件来整合包括Hadoop.NoSQL和

国内首个Hadoop一站式产品 直面大数据

本文讲的是国内首个Hadoop一站式产品 直面大数据,2012年5月31日消息,精诚集团今天正式发布Big Data解决方案品牌Etu.作为国内首个基于Hadoop的Appliance产品,Etu能够为用户提供软硬结合的端到端的大数据一体化解决方案,协助企业从每天大量涌现的数据中发掘商业智能,找出更多潜在的商机.精诚云中心暨Etu负责人蒋居裕.中科院计算所.Hadoop China的发起人查礼博士.Etu首席顾问陈昭宇出席了发布会,并发表主题演讲,介绍了Etu产品特点.大数据发展对企业的影响,以