阿里云双11访谈之Elasticsearch

摘要:阿里云宣布与Elastic公司建立了合作伙伴关系,并在云栖大会上联合发布阿里云Elasticsearch产品。在阿里云双11访谈Elasticsearch专场中,阿里云大数据Elasticsearch资深产品经理洪阳为大家简单介绍了阿里云Elasticsearch的基本情况,并且分享了阿里云Elasticsearch的优势以及在日志处理分析、搜索以及安全等领域实际应用。

双11第一波,红包领不停,点击看详情:https://promotion.aliyun.com/ntms/act/pre20171111.html

以下内容根据访谈视频整理而成。

阿里云Elasticsearch简介
阿里云Elasticsearch是阿里云投入了大量资源开发的重磅产品。在杭州云栖大会期间,阿里云与Elasticsearch官方进行了联合发布,在云栖大会上,Elasticsearch的创始人、Elastic 公司CEO Shay Banon也不远万里亲临现场与大家分享他与Elasticsearch共同经历的那段历史,他表示非常期待Elasticsearch社区能够在中国与阿里云碰撞出不同的火花。目前阿里云Elasticsearch产品已经正式商业化了,大家可以登录阿里云官方获取关于Elasticsearch的更详细信息。

接下来分享一下阿里云Elasticsearch的功能和特性。目前很多用户都在ECS上自建了Elasticsearch,与这种自建的方案相比,阿里云的Elasticsearch在刚开始定义这款产品的时候都没有打算更换新名字,最主要的原因就是希望能够基于Elasticsearch的一整套开源技术栈去实现云化处理,进而为用户提供服务。所以阿里云Elasticsearch产品的底层是与开源社区实现了完全匹配的,大家可以理解成与开源社区完全兼容。在此基础之上,阿里云Elasticsearch本身还提供了Kibana以及X-Pack这样商业化插件的预置,为了使用户的使用更加顺畅,还提供了像ik等的分词插件。因为在用户长期的使用过程当中,随着业务不断发展的过程往往会涉及到存储的弹性扩容的需求,阿里云Elasticsearch对于这些都基于阿里云的底层平台进行了处理,所以相对于自建而言,阿里云Elasticsearch在这些方面会节约了大量的运维和部署成本。同时,阿里云与Elasticsearch官方进行了战略合作,Elasticsearch官方会提供7*24小时的技术支持,所以相比于自建而言,阿里云Elasticsearch在售后方面也具有非常大的优势。总结而言,阿里云Elasticsearch产品有三个亮点:功能更加丰富、成本更加低廉、能够提供更多服务支持。

阿里云Elasticsearch产品在日志分析领域的应用
目前,无论是在国内还是国外,Elasticsearch的应用场景其实都是非常广的,很多中小型公司甚至一些大型的公司都在使用ELK框架,而ELK框架所解决的核心问题就是日志分析。大家在做日志分析的时候通常都会遇到几个比较棘手的问题,比如在日志收集和存储方面,一般而言像异构数据源太多,对接的数据搬迁任务比较重的时候也会涉及到很多的适配性问题,这也是比较痛苦的。而且ELK框架中的Logstash其实是可以做具有较高适配性的数据同步功能的,对于关系型数据库以及增量数据和离线数据的搬迁都是有非常好的支持的,包括与非常火的Hadoop之间也存在ES-Hadoop插件做双向的数据搬迁的工作,所以在这个方面Elasticsearch还是比较强大的。

此外,在日志处理上面还会涉及到搜索。对于日志搜索而言,Elasticsearch本身提供全文检索的能力是非常强大的。另外Elasticsearch还能够提供元数据或者指标搜索这样的功能。Elasticsearch本身还能够提供基于地理坐标的搜索能力,现在很多基于地图这部分的场景的搜索也是可以应用到的。在日志搜索之后还会有一些分析等的需求,一般而言,无论是使用Hadoop进行分析还是使用关系型数据库进行分析都是可以的,Elasticsearch的框架里面也提供了很多强大的聚合分析能力。在Elasticsearch 5.X版本中,X-Pack插件还提供了更为丰富的数据可视化以及机器学习的功能,在数据分析以及挖掘方面还是可以提供给大家很多能力的。除此之外,在日志分析的结果出来之后,对于查看权限以及安全管控部分,阿里云的Elasticsearch集成了X-Pack,并且还提供了一个RDBC模型的权限管控的能力。最后因为阿里云具有弹性伸缩的优势,用户不需要去关心业务增长过程当中去采购机器、采购节点再进行数据备份等繁琐的问题。总而言之,阿里云Elasticsearch的这些优点就刚好将日志分析场景下的诉求全部解决掉了。

阿里云Elasticsearch的实际落地
在像共享单车、共享汽车等这样的很多用户的业务场景中都会涉及到地理位置信息,比如每个用户消费的时候都会产生一些经纬度、路线以及支付方式等数据。一般情况下,大部分公司都会有一些诉求,希望看到某个区域内在某个时间点的数据是怎样的,那么Elasticsearch本身就可以去支持的。当这些数据归档到Elasticsearch中成为索引之后,无论是基于地理信息进行搜索还是进行全文匹配,还是基于关键字去做搜索最终形成一些聚合的数据报表出来都是非常方便的。

阿里云Elasticsearch在安全领域的应用
在安全领域,阿里云Elasticsearch也是在日志部分表现出非常强大的处理能力。在安全方面,一般分为事前的安全监控和预处理、事中的阻断侵入以及异常检测、事后的对于日志进行安全审计和有效信息的挖掘。我们可以使用Elasticsearch在事前监控一些端口,因为数据是实时的,所以可以进行实时的监控数据展现;在事中,使用Elasticsearch可以非常方便地实现安全事件分析和流量统计,并且能够非常迅速地给出反馈;在事后,还可以通过Elasticsearch对于安全日志进行审计检查以及搜索,还可以进行深度的挖掘和信息探查进而获得更好的结果反馈。所以Elasticsearch在安全领域也能够得到很好的利用。

阿里云Elasticsearch在搜索领域的应用
上面一直在谈论日志分析,其实大家都了解Elasticsearch也是一款搜索产品,其实在搜索场景下,Elasticsearch是一个老牌的服务,其全文检索的能力也是非常强大的。而阿里云的Elasticsearch携带了中文领域最火的ik分词,用户就可以基于这个分词插件做一些简单的中文的索引。接下来,阿里云Elasticsearch也会很快推出基于ik的自定义分词库,用户可以将专业场景的分词库预置到Elasticsearch里面去,获得更好的查询效果。

OpenSearch与Elasticsearch
提到全文检索,大家也都知道阿里云还有一款重磅产品叫做OpenSearch,这款产品是基于阿里巴巴淘系十多年来的搜索业务自己研发的产品。而很多用户都有一些困惑,就是如何在特定的场景下取舍OpenSearch和Elasticsearch。

其实OpenSearch和Elasticsearch这两款产品之间的定位虽然存在一定的重合,但是却不存在任何冲突。OpenSearch是阿里巴巴自研的,走的是阿里巴巴自己的技术栈,本身因为阿里巴巴主栈多年搜索经验的积累沉淀,OpenSearch会有很多比较优化的相关算法提供给用户,基于这些算法就能够使用户获得比较好的搜索结果。在未来的整体规划中,OpenSearch依然会在搜索场景上继续走下去,未来会提供一些个性化的搜索推荐,还会做一些相关行业的分词库提供给大家。而Elasticsearch产品的定位在日志分析和搜索,未来阿里云Elasticsearch会背靠生态在日志分析、挖掘以及可视化展现方面做更多的工作和努力,还会打通阿里云上的存储设备以及数据库产品之间数据的流通,更快地让阿里云上的客户的数据能够被Elasticsearch实现快速索引并提供服务。未来Elasticsearch也会在多可用区、服务稳定性、成本节约以及安全方面投入更多的精力,尽可能地降低用户的使用成本并提高使用体验和安全性。所以OpenSearch和Elasticsearch这两款产品之间并不会有很大的冲突。

阿里云Elasticsearch的“双11”特惠

目前阿里云Elasticsearch已经处于公开售卖阶段了,如果大家想要获得阿里云Elasticsearch这款产品可通过两个途径,一个是通过阿里云官网Elasticsearch服务页面,另外一个就是可以在阿里云大数据产品栏目中找到。在本次“双11”活动中,阿里云Elasticsearch也会为用户提供最大的优惠,请大家把握住本次机会。此外,因为阿里云与Elasticsearch官方达成了战略合作,未来也会邀请Elasticsearch资深专家为大家进行服务支持,并且也会举办技术培训等线下活动,具体情况请关注Elasticsearch产品的相关公告。

双11第一波,红包领不停,点击看详情:https://promotion.aliyun.com/ntms/act/pre20171111.html

时间: 2024-12-30 16:38:57

阿里云双11访谈之Elasticsearch的相关文章

阿里云双11访谈之云安全

双11第一波,红包领不停,点击看详情:https://promotion.aliyun.com/ntms/act/pre20171111.html 摘要:在阿里云双11访谈云安全专场中,阿里云安全资深产品专家建跃.阿里云安全高防产品经理黄犊以及阿里云安全安骑士产品专家文宣为大家介绍了阿里云安全团队的发展过程以及阿里云安全的DDoS高防IP.安骑士以及Web应用防火墙等产品的特点以及近期的发展变化. 以下内容根据访谈视频整理而成. 阿里云安全团队的成长发展史 阿里云安全团队从成立到现在已经经历了十

阿里云双11访谈之云存储

摘要:阿里云对象存储OSS和文件储存NAS可以说是阿里云存储的当家花旦,在阿里云双11访谈云存储专场中,阿里云对象存储OSS产品经理周皓.阿里云文件存储NAS产品经理王登宇共同为大家介绍了以对象存储OSS和文件存储NAS为代表的阿里云存储系列产品的优势以及各个产品的适用场景. 双11第一波,红包领不停,点击看详情:https://promotion.aliyun.com/ntms/act/pre20171111.html 以下内容根据访谈视频整理而成. 阿里云对象存储OSS简介 阿里云对象存储O

阿里云双11访谈之MaxCompute

摘要:在阿里云双11访谈MaxCompute专场中,MaxCompute资深运营专家祎休为大家简单介绍了阿里云的MaxCompute平台的基本情况,并且为大家分享了MaxCompute如何帮助用户快速架构大数据仓库的. 双11第一波,红包领不停,点击看详情:https://promotion.aliyun.com/ntms/act/pre20171111.html MaxCompute全攻略集:https://yq.aliyun.com/articles/78108 以下内容根据访谈视频整理而成

阿里云双11访谈之中间件

以下内容根据访谈视频整理而成 中间件技术一开始是支撑阿里云内部的系统.很多外部客户在从集中式系统向分布式系统转型过程中碰到一些技术上的难题.为了更好的服务客户.把阿里云一些成熟的技术分享给外部的客户,阿里云推出了类似恢复框架.消息队列.实时监控.性能测试等一系列互联网中间件产品. 在制作EDAS产品过程中,一开始我们对外部客户提供应用的基础功能,包括应用管理.应用的发布等一系列功能,之后我们将阿里内部RPC框架提供给外部客户,希望外部客户能够基于EDAS平台进行微服架构的快速构建,并帮助他们开发

阿里云双11访谈之ECS弹性计算

以下内容根据访谈视频整理而成 在2017年,阿里云不仅完成了ECS企业级产品的发布,而且完成了一次软件和硬件的数据迭代,推出了新一代硬件架构和软件架构产品,同时还持续优化和挖掘现有功能和产品形态优势,把弹性发挥到极致,在弹性上做了进一步功能优化和深度挖掘. 今年阿里云ECS升级带来了哪些方面的提升? 在企业线发布之前,很多企业客户也在使用阿里云ECS产品,体验也还良好.作为产品方,我们很清楚企业在某种特定场景下用当时的产品是否能达到最优的性价比.答案肯定是否定的.所以针对企业的复杂场景,如数据库

阿里云双11访谈之数据智能

以下内容根据访谈视频整理而成 在刚刚结束的云栖大会中,阿里云展示了很多的黑科技,其中一项重点就是ET城市大脑.杭州大脑的上线使高架道路出行时间节省了四点六分钟,解决了高峰时段的城市拥堵问题,还让萧山120救护车到达急救现场的时间减少了一半. ET城市大脑背后的数据采集整合以及算法应用的技术 ET城市大脑将散落的数据汇合在一起,例如公交线路数据.高德地图数据.车辆的GPS数据等,同时跟企业.公安.政府.运营商等多方收集的数据汇集,借助记忆学习和人工智能算法,通过视频识别交通事故和交通拥堵状态,再融

阿里云双11访谈之CDN

以下内容根据访谈视频整理而成 阿里云CDN简介 阿里云从零八年开始自建CDN并服务于整个阿里巴巴集团,从12年开始服务于双十一,目前阿里云是中国最大的公有云CDN的厂商,也是全国第一批取得专业CDN全国范围服务运营商执照的一个团队.CDN是非常普适性的云计算服务产品,主要解决网络带宽小,用户分布范围广,访问稳定性和服务体验.传统解决方案通常需要花很大的成本来自建优质的多线机房和软硬件基础设施建设.软件硬件设施建设.在这种情况下,接入CND是简单有效的方式.接入CDN能大量的简化网站系统运维的工作

阿里云双11访谈之云数据库

以下内容根据访谈视频整理而成. 阿里云数据库产品特性介绍 云数据库产品在阿里云集团里做了很多额外的工作和专研.在安全线上云数据库达到了很高的安全要求,引入了更多的硬件,在架构上.在代码层都做了很多的优化.相对于传统数据出来说,云数据库在稳定性和高可用上面达到了较高的技术上的提升.阿里云产品都有一个通用特性就是应用可以快速实现自动化,实现对实例级别的管理.监控,对程序的迁移.阿里云云数据库团队不仅在业界上是顶级的专家团队,在专业上也是属于国内顶级的水平,阿里云数据库为用户在云上的业务做保驾护航的工

阿里云双11访谈之视频云

以下内容根据访谈视频整理而成 今天视频已经成为最具互动性的网络内容.相比文字和图片,视频可以承载的内容更加丰富也更加生动,人们也已经习惯通过视频这种内容形态来表达自己的想法,传递自己的思想,进行社交以及了解我们的世界.视频成为一种主流的内容表达方式,站在视频服务和开发者角度,我们更多关注如何支撑业务的需求,以及需求背后的技术的形成. 在视频的生产环节有哪些重要的指标和信息是需要开发者去特别关注的? 第一个开发者关注的点是用户体验视频清晰度的高低.流畅度的好坏给用户带来的观感和体验是完全不一样的: