SDN的跨界融合

与机器学习的融合——利用机器学习推进SDN的发展

在如今信息爆炸的时代,有很多企业,团体利用机器学习技术在各个领域都取得了一定的成就。比如Amazon,淘宝这类电商网站使用的基于推荐算法的推荐系统;Google翻译等机器翻译系统所用的深度学习,NLP技术等。
SDN出现的一个原因之一,是对灵活性的需求,那么,机器学习又能为SDN带来什么?

机器学习要解决什么?

机器学习,是人工智能中与算法紧密相关的一个领域,目的是让机器不断地像人类一般学习,对输入的数据进行判断,认知乃至预测未来的数据。

机器学习,对于诸如金融领域的欺诈侦测,监控领域的机器视觉,经济领域的市场优化,股票分析中都有重要意义。

简单地举一个例子:邮政系统中的手写识别。不同的人,写同样的字有无数种写法。但是邮政系统是不可能100%依靠人力去处理信件,这样很蠢,效率很低。因此,邮政系统有必要引入基于机器的处理手段,目前的手段就是基于机器学习的手写识别系统。

现在是一个到处都充斥着海量数据的时代,随着IoT的进一步发展和大量传感器的使用,必定会产生大量数据,机器学习的首要任务就是从这些海量数据中发掘出有利的部分。

机器学习算法有哪些?

如果从学习方式来说,机器学习算法可以分为无监督学习、监督学习,半监督学习和强化学习。

一般的监督学习算法都必须通过输入数据进行训练,训练是这类算法的使用中的比较重要的过程。使用时,监督学习算法需要构建一个学习过程,将预测结果和训练数据的结果进行比较,并不断调整模型,去达到一个预期的准确率。

监督学习算法具体代表有刚才说到的k邻近算法,还有决策树、神经网络等。

无监督学习更具有挑战性。无监督学习中,输入的数据并不像之前的kNN算法中一般已经被标识,无监督学习算法就是要从无标识的数据中推断出数据中的一些内在结构,简单地说就是找规律。 无监督学习算法主要用在聚类等方面。具体代表有k-means算法,PCA等算法。

半监督学习是前两种的结合,它利用少量已经标识的样本和大量未标识的样本进行训练和分类。它会先对未标识的数据进行建模,再在此基础上对已经标识的数据进行预测。具体代表有图论算法,半监督支持向量机SVMs等。

强化学习主要运用在机器人控制之类的控制系统上。输入的数据会刺激模型并使模型做出反应,不像监督学习,输入的数据只用来检查模型对错,输入的数据直接反馈到模型,要求模型必须对此立即做出调整。
具体的代表有Q-Learning和 Temporal difference learning

与机器学习相关的还有个相当有趣的遗传算法,又称进化算法。通过借鉴进化论的一种启发式搜索算法。这个算法就是把要解决的问题模拟成生物进化的过程,通过交叉、变异、复制等产生下一代的解,淘汰适应度底的个体,留下适应度高的个体。遗传算法可以用在游戏中的AI,比如被玩家射击时会自动闪避,会根据玩家的行为做出反应,与玩家对抗。

机器学习能为SDN带来什么?

机器学习作为一种手段,可以被广泛地运用到不同的领域中。对于SDN也一样,如果我们能巧妙地运用机器学习技术,必定推动SDN的发展。

在某些需要为用户提供更好的服务质量的场合中,需要及时识别出一些关键应用(比如各种各样的物联网设备、VoIP等)的数据包。由于这些应用可能采用了随机的端口、数据被加密等各种原因,服务提供者可以采用机器学习的方式及时识别那些关键数据包,并根据实时的网络状况设置合适的QoS以满足应用程序对带宽的需要。利用机器学习技术,可以对流量进行特征分类,从而识别出某些不合法的行为,比如DDOS攻击。

如果采取了合适的测量方式再配合合适的机器学习算法,网络流量分类的性能可以有比较高的提升,比如通过端口识别应用程序,但如果应用程序采用了随机端口或端口公用,这种分类方式就会无能为力。这时就可以通过机器学习对包的长度、连接特征、数据包的方向甚至是数据包上下文信息进行有效的分类。

DPI(即深度报文检测)算是安全领域中的一个关键技术点。一方面,针对日益变化的攻击手段,传统的防火墙无法满足如今针对Web应用层的攻击的防护需求,这时就需要通过深度报文检测进行防护。另一方面,像前面所述的有关根据应用流量特征识别去改善服务质量一样,DPI也可以起到同样的作用:通过对业务应用的协议交互过程进行跟踪,并对报文中有意义的部分进行深度识别。

DPI技术并不像传统的防火墙一样基于策略匹配查询来进行入侵检测和流量控制。DPI需要通过建立特征库,依靠协议解析、报文的特征提取等手段进行分析。在这种情况下,可以采取机器学习算法(比如无监督聚类算法)构建一个特征库,为不同应用的数据包建立一个个分类,再通过协议确认、协议切分、协议域切分等各种手段提取特征,最后通过机器学习算法(如半监督学习中的分类方法)最终得出结论,判断应用程序的行为是否合法,是否存在欺诈行为等等。最后还可以采取决策树或遗传算法等进行自动反馈,对外界程序的各种行为进行反馈(比如中间人攻击中的丢掉后续报文、发送双向TCP
Reset中断连接),以达到最大程度的自动化和智能化。

与物联网的融合——SDN助力物联网往更高更远迈进

物联网,作为一股技术潮流,拥有非凡的潜力,尽管如今有很多对物联网的炒作,但仍低估了其经济影响力。物联网,看上去和SDN关系不大,但是,在笔者看来,两者的结合绝对会推动物联网的进一步发展。

物联网现状:

物联网,这个概念越来越多出现在媒体上,占据着新闻头条。但似乎这一概念并没有扩散到市场和公众视野中。

在麦肯锡研究院的一份名为《物联网:超越市场炒作以外的价值》的报告中,他们认为,到2025年物联网对经济的影响力甚至可以达到11.1万亿美元。

物联网,包含一系列可以联网的各种传感器和驱动装置,通过各种网络技术互相连接并互相影响。在物联网中,不仅是机器与机器,人与机器、人与人间都有广泛的通讯和交流,也就是把任何物和人都连接在一起。

IBM很早就提出了“智慧地球”的概念,即把感应器嵌入到电网、铁路、桥梁、公路等各种物体中并组成连接,并与互联网整合。

在可以预见的未来,大量传感器和执行控制的驱动设备将会大量被使用,它们收集外界的信息,转化为数据,在设备和人间互相传输。现有的技术正为降低实现成本而努力,但是如何处理大量要联网的设备将会成为一个无法避免的问题。

有预测估计,到2020年,全球物联网设备的数量将达到250亿台左右。如果只用传统的网络技术,难以适应如此多和各种不同的需求,如果全部设备都接入物联网,那么单单是IP地址的数量就已经不够了。虽然IPv6已经在慢慢地应用,但显然传统网络架构并不满足物联网对灵活性的需求。

物联网技术:

物联网设备有很多种类型,现在已经有很多产品都跨入物联网的范畴,比如数码相机等消费电子产品,咖啡机、洗衣机等家用电器,烟雾探测器、婴儿监视器等安全产品,机器人、血压计、心率探测、智能手环等各种设备。

对于创客来说,可以用于开发物联网的非开源/开源硬件也很多,比如Arduino,树莓派,intel
Edison等等。这些硬件从尺寸上有大有小,层次也各有不同。比如Arduino,其核心为一块Atmel AVR单片机(8-bit
ATmega328)其运行频率仅20MHz,无操作系统,功耗相当低,有着软实时的特性,适合用于数据采集和控制。而树莓派,有着一颗700MHz运行频率的ARM11处理器,支持完整的系统,可以用于复杂的分析、处理工作。

下图分别为Arduino UNO和树莓派:

 


 

单单两款开源硬件已经有如此大的差别,更不要说市场上其他各种类型的硬件了。至于不同硬件接入互联网或与互联网交互的方式就更多变化了。
硬件可以通过以太网线,可以通过WiFi,通过蓝牙,ZigBee,RFID传输数据,又可以使用MQTT,HTTP,CoAP等各种协议,而且随着携带物联网芯片的物品的不断产生和消失,几乎不可能仅靠静态的设置来配置网络,物联网需要一个敏捷,灵活的网络。

SDN与物联网该如何融合?

对于物联网来说,如果能充分利用SDN中的某些特殊功能,将会有利于物联网的发展。

把特定的网络应用功能有序地组合起来,让流量通过这些服务功能就构成了服务链,让数据能经过各种各样的服务组件,保证安全、快速和稳定的网络服务(就好像穿过一个治安不好的城市时,不用去了解这座城市哪里安全哪里危险,只要让坐在警车里,让警察护航就可以去到目的地)。

物联网设备各种各样,可能会有各种不同的需求,比如VPN,负载均衡等,通过SDN技术,灵活、敏捷、安全地把流量转到服务链上处理,相比传统的网络服务链,基于SDN的服务链与网络拓扑的耦合度更低,配置更改更加具有灵活性,因此,当物联网设备越来越多时,使用SDN服务链将有效地缓解配置变更、服务链扩容和服务管理所带来的压力。

借助服务链,对于运营商来说,更加容易根据不同客户的需求或根据不同设备的特性设定不同的配置或策略。

前面举的Arduino和树莓派的两个例子,可以看到物联网设备的差别之大,对于物联网设备的外接传感器或数据收集器,一个温度传感器和一个监控摄像头,它们产生的数据规模和数据上传的频率也有所不同,一个控制温度传感器的Arduino主板,可能每1分钟就会发送一次监控数据,而对于一个自带储存卡的树莓派,它从摄像头收集回来的数据可能会被暂时存在本地文件系统中,每隔3小时发送一次。从上面两个例子来看,物联网设备发送数据存在着频率和规模的区别,当设备较少时,固定的QoS配置可能还能满足用户的需求,但是物联网设备数量上升速度之快,是任何保守的策略都无法应对的。

如果这时采用SDN技术实现动态负载管理和QoS配置,服务提供商可以监控并协调带宽的变化,不仅能提高带宽的使用效率,也能为用户提供更好的服务。再比如使用基于机器学习的流量分类技术,建立特征库,通过对比实时流量特征和特征库,实现带宽调度的自动化、智能化,对于服务提供商来说也许是一个不错的功能。通过SDN技术,服务提供商有能力在面对呈指数级增长的设备时处理得得心应手。

安全隐患是阻碍物联网发展的一个因素,没人会愿意让自己的健康数据透过智能手环传输数据时的漏洞被泄露出去,也没有人愿意让自己的家庭安保数据被人截获,因此根据不同用户的使用场景,对于物联网通讯会有不同的安全需求。SDN/NFV技术方便了运营商根据不同用户而实施不同的安全策略,而在更改策略时也会轻松得多。

后记:

机器学习,作为人工智能呢一个重要分支,也不过是一个工具,一个手段。它究竟能为SDN的发展起到怎样的作用,还是得靠用户能怎样运用,根据实际情况采用合适的算法以达到事半功倍。

物联网,不一定需要SDN,但是,如果我们让SDN技术与物联网相融合,无论如何,物联网肯定能从SDN的发展中得到好处,SDN对于物联网的未来发展有重要意义,我们也会不留遗力地推动SDN的发展并推动SDN与物联网的融合。

本文转自d1net(转载)

时间: 2024-11-02 02:54:06

SDN的跨界融合的相关文章

分级诊疗完善服务 跨界融合联结关爱 ——我国糖尿病教育管理打响“升级战”

2017年8月12日,南京 --"在国家分级诊疗落地实践的大背景下,糖尿病教育管理作为国家慢病防控战略的'排头兵',亟需进一步完善分级服务的标准化.规范化,并携手整合政府.企业.健康传媒机构等全社会的资源与支持,推动跨界融合.沟通医患.联结关爱,最终使得更多的糖尿病病人和家属从中获益."在由中华医学会.中华医学会糖尿病学分会主办,中华医学会糖尿病学分会糖尿病教育与管理学组.东南大学附属中大医院联合承办的"中华医学会糖尿病病学分会2017年教育管理研讨会"上,中华医学

南京软博会闭幕 多角度看互联网+跨界融合

 贵阳有"数博会",乌镇有"世界互联网大会",大连有"软交会"--不知道从什么时候开始,很多城市在每年都会定期举办一场有关互联网技术.产业融合的大会,希望借助IT技术的力量,促进城市的经济发展. 在上周闭幕的第十二届南京国际软件产品和信息服务交易博览会上,来自国内外互联网行业领袖共同探讨了互联网+跨界融合新模式,以及如何促进产业转型升级. 5G是互联网+的关键支撑 "1G只能打电话,2G可以发短信,3G实现移动互联,4G视频播放速度更快

文化创意企业纷纷跨界融合,软件资产管理奠定安全基础

在"经济决定基础,文化决定未来"的时代,文化创意产业正逐步成为新型经济时代的核心产业,而跨界融合将成为文化创意产业的新风口.不同领域的资源相互碰撞,促使企业在产品和服务上进行更深入的挖掘与创新,从而推动融合产业的转型升级.随着文化与科技.信息.旅游.体育.金融等产业的合作模式不断演进,这种跨界融合呈现出多元.互动.立体的格局. 与其它试水于市场的融合模式不同,文化与科技的跨界融合已步入了深度阶段.如果细数当今时代受互联网冲击最大的行业,文化创意产业必当会名列前茅.文学.影视.游戏.音乐

面对城市安防的严峻考验 跨界融合成大势所趋

自IBM在2008年11月于美国纽约提出"智慧地球"的理念,相关话题迅速延烧,智慧城市的概念,更是引起世界各国的关注,透过云端运算.物联网.巨量资料分析等技术的结合,将传感器嵌入和装备到城市每个角落的供电系统.供水系统.交通系统.建筑物和油气管道等,不仅可以让居住在城市的民众生活更加方便,同时也更加安全. 但近年来,人口压力与日俱增,加之自然灾害频发,智慧城市建设步伐日益加快,同时现代城市维安压力也是日趋提高.此外,许多先进国家在二战后的主要城市建设,历经几十年的时间变迁,配合保存传统

赛伯乐朱磊:城镇化是最大的跨界融合

图为赛伯乐(中国)投赿/a>高级合伙人朱磊〿/span> 投资畿12朿日消恿在今天举行的清科2013股权投资年度会议上,赛伯乐投资高级合伙人朱磊认为:城镇化将是未来最好的跨界融合投资概念〿/p> 具有斯坦福和硅谷基因的赛伯乐投资,朱磊认为机构的使命是帮助高科技公司成长.在具体投资方式上,首先,要看清楚大趋势,借力于这些大的趋势,来实现跨界融合.在跨界融合的投资上,一方面互联网金融实际上是一个工具,是一个乘法,不同的高科技产业需要的是不同的金融支持.尤其以新兴的高科技产业为主,实际上都需要

《新闻联播》报道领军者年会,跨界融合引全国关注

北京时间3月21日-22日,2014领军者年会在天津滨海新区盛大召开,600余位来自服务外包.互联网.金融.大数据.云计算等ICT产业专业领域的海内外知名专家学者齐聚大会现场.领军者年会是由鼎韬产业研究院与中国外包网倾力联合打造的服务外包行业盛会,至今已经成功举办三届,今年大会紧紧围绕"跨界融合,寻找服务外包新边界"的会议主题展开.而22日中央电视台播出的<新闻联播>,也对本届大会进行了报道,并称领军者年会为服务外包产业大会,代表了中国服务外包产业的高度和声音.   央视&

创新正当时 &quot;视频会议与医疗&quot;跨界融合

当前,视频会议系统正在多个行业引发跨界融合创新,而对于与人们的生活密切相关.服务水平存在巨大提升空间的医疗行业而言,视频会议与医疗融合所带来的全新变革尤为值得关注. "群众以前到县城看病要一天,到州府六库看病要两天,到省城看病要三天,现在通过网络视频会议,有病有痛第一时间就可以与专家预约会诊,也使得医疗服务水平大大提高."怒江州贡山县独龙江乡中心卫生院副院长张春华谈到当地的医疗条件时,这样告诉记者. 2015年,中国移动云南公司探索"互联网+"解决方案破解独龙江乡信

洞悉移动互联网跨界融合的下一个风口

在1月20日于北京国家会议中心隆重召开的"全球大数据峰会"上,国内最大的独立第三方移动数据服务平台TalkingData正式发布了题为"行业饱和下精品应用突围,跨界+互联网转型在即"的<2015年移动互联网行业发展报告>. 整个<2015年移动互联网行业发展报告>(以下简称<报告>)分成四个部分,涉及游戏.视频.新闻.社交.电商(含海淘).金融(手机银行.传统券商.P2P.直销银行.银行信用卡).房产(含开发商类).旅游(OTA.

地理信息技术需要与大数据、云计算等跨界融合

"当前,我国经济发展进入新常态,新一轮的科技革命.产业变革形成历史性的交汇,测绘地理信息事业也正处于大有作为的重要时机.信息化正引发各个领域生产模式.商业模式.管理模式的变革和创新,对经济社会发展和百姓生活各个方面都产生了重要影响."日前,国家测绘地理信息局副局长李维森在京召开的2017测绘地理信息高端论坛会上如是说. 国家测绘地理信息局国土测绘司副司长陈军在会上说,当前,大数据.云计算.物联网.移动互联.人工智能等新技术快速发展,迫切需要将地理信息技术和这些新技术跨界融合,取得更多的