思科公司在2016年6月15日正式推出了思科Tetration AnalyticsTM平台,该平台在业界率先实现了对现有大规模数据中心和云平台上的网络流量进行实时采集、存储和分析,为思科帮助用户在云时代实现网络运维的升级和自动化提供了全新视角和无限可能。
思科Tetration AnalyticsTM平台配合思科新一代基于Cloud Scale技术的硬件设备,流动在数据中心的任何一个数据包的元信息都可以被实时地记录和存储下来;同时,在基于Apache Spark、Kafka和Druid等开源技术的帮助下,配合相应的无监督机器学习算法,该平台可以辅助用户在应用关系梳理、应用访问策略制订、模拟和实时验证、应用云端迁移访问策略制订、白名单安全模型等方面脱离传统的手工和被动的工作方式。
网络数据分析的需求由来已久,早期的用户通过SNMP平台采集网络设备端口的流量MIB 并通过图形化工具来显示流经网络设备的流量情况。随着硬件技术的发展,xFLOW技术被集成在网络设备中,网络设备可以基于2到4层的信息把网络数据包形成flow分类,继而进行统计和输出,用户可以基于网络设备输出的flow信息进行数据分析。随着网络速度的飞速提高,网络规模的快速增大,数据中心、云计算、虚拟化、容器技术的普及和应用,一些用户对网络数据分析的要求进一步提高,基于xFLow技术的网络数据采集方式在实时性、颗粒度和规模上很难满足要求,这些用户转而采用网络设备 SPAN或者是外部TAP的方式来进行网络数据的采集,这些方式在采集能力和代价上作出了较大的折衷。
挑战是创新的源泉,思科公司Nexus 9000 交换机的研发团队与科研机构共同努力,在业界首先实现了大规模高速网络的数据采集、存储和分析平台-Tetration AnalyticsTM。该平台由数据采集部分、存储和分析部分组成:数据采集部分包括安装在实体服务器或者是虚拟机中的软件数据采集器、以太网交换机转发芯片的硬件数据采集逻辑和第三方数据接口组成;存储和分析部分由基于思科UCS计算平台的服务器集群组成。
软件数据采集器支持业界主流的操作系统平台,可以通过用户自己的自动化服务器部署工具自动地部署到服务器中。软件数据采集器只针对操作系统协议栈发出和接受的数据包头部信息进行数据采集,并且收集相应的发送和接受进程的信息,这些收集到的数据经过严格加密后,发送到存储和分析部分。软件数据采集器看似简单,但是,为了减少对主机CPU、内存和网络资源的占用,加强对用户隐私的保护,对成千上万个分布部署的软件采集器进行统一管理和维护,支持多种操作系统,思科公司的开发人员为此做了大量的工作。
“硬件数据采集器”实际上是思科公司Cloud Scale芯片技术的内置硬件数据采集逻辑,数据中心交换机可以在1RU的设备中做到Tbps级别的转发能力,每秒中流过一台接入设备的数据包可以达到几十亿个,思科在芯片技术上的创新可以将每个数据包的元信息和其它网络相关信息都记录下来,并且及时地发送到Tetration AnalyticsTM存储和分析部分。软件数据采集器和“硬件数据采集器”可以根据需求同时部署,或者单独部署。软件数据采集器与用户采用何种网络设备、何种网络拓扑等完全无关,为用户提供了网络数据采集的灵活性和覆盖的广泛性。
Tetration AnalyticsTM存储和分析部分是该平台的精彩所在,亿万个网络数据流的秒级快速检索能力、多维度(在第一版软件中可以同时通过20个维度)网络数据流可视化展示只是基本能力。针对万亿个数据的无监督机器学习算法的采用,为网络访问行为基线设立、网络访问异常检测、应用访问关系的动态甄别、聚类动态划分等提供了方便的工具。这些内置的应用也仅仅是网络数据分析新篇章的序曲,这个紧凑高效的平台为用户的数据分析专家提供了网络数据完善的、全面的大数据来源,基于Tetration AnalyticsTM存储和分析部分的外部接口,用户可以在网络数据分析领域无限地发挥自己的创造力。
这个世界上没有无人区,只有无畏的探索者——作为专注网络领域的厂商,思科不仅将技术创新视为公司持续发展的根本,更将其视作行业领导者对业界的责任。新想法、新技术接连不断地孕育和诞生,为业界源源不断地注入发展动力,这就是思科公司作为科技乐观主义者对创新的绝佳践行。
====================================分割线================================
本文转自d1net(原创)