1. 简介
本文提出的智能容量规划管理解决方案旨在帮助企业更精准有效地匹配测试和生产环境,寻找各种性能指标的潜在关联关系,分析业务负载对容量的影响,建立预测模型进行实时验证。使企业科学地实施容量改革,合理地规划与配置资源,大量地节约企业成本,提高资源的可用性与">可持续性。
2. 应用背景
解决的问题
1)大型企业的 IT 系统对每一次应用程序的升级都会预先在其测试环境上进行测试。如何保证测试的有效性?如何通过测试的结果推测其在生产环境上的表现?
2)随着资源使用的增长,CPU,内存,硬盘,I/O 等资源互相影响并存在潜在关联。如何洞察其关联来指导企业做出合理的容量规划?
3)伴随业务扩展,企业生产环境的负载日益增加。 如何帮助企业通过对未来业务量和用户量的增长预测而做出相应的容量预估?
4)如何提供自动化、自适应的建模过程与预测分析,为企业用户打造针对个性化场景自动建立、自动调整的预测模型来降低使用复杂度? 如何保证预测分析的有效性和准确性?
商业价值
1)避免过多地投入测试资源,最大化测试资源价值,实现测试与生产的资源整合。
2)优化企业数据中心资源利用率,各项资源合理配比,提供更精准的性能分析和容量规划方案以节约成本。
3)合理预测业务增长,提高企业对未来业务的洞察力,帮助企业制定更完备的容量预估和应急方案。
4)提升业务可持续性与用户体验,为企业提供基于源数据的自动化选型、建模、调整、验证的全生命周期解决方案。
数据准备
2.1 数据描述
应用某网站在新业务上线前,通过测试环境的测试结果预测其生产环境上线后的资源利用率场景。
从小范围入手,首先针对一台服务器,选取相关指标数据进行关联分析与预测建模的研究。例如在众多的服务器中,选取其中的一台 web 服务器(192.168.119.9),对该台服务器在 9 月 22 日 21:00~22:00 的 Access log 文件与 nmon 文件进行量化分析。
Access log文件被保存成 IBM SPSS Statistics 的 SAV 格式的存储文件,如图 1 所示,其中包含以下字段:日期 date,时间 time(采集单位:分钟),访问 Server 的 IP 地址 server_ip,存储资源 Source 的 IP 地址 source_ip。
图 1.nmon 文件变量视图
nmon 文件被保存成 IBM SPSS Statistics 的 SAV 格式的存储文件,如图 2 所示,其中包含以下字段:日期 date,时间 time(采集单位:分钟),用户 cpu 利用率 cpu_User ( 单位 :%) ,系统 cpu 利用率 cpu_Sys( 单位 :%) ,等待 cpu 利用率 cpu_Wait ( 单位 :%) ,空闲 cpu 利用率 cpu_Idel ( 单位 :%) ,请求类型 request_params( 如:/emall/SNGetIsUserLogonView),返回类型 from_params( 如:http://search.suning.com/emall/strd.do?ci=247504&cityId=9264),响应长度 response_len,响应时间 response_time。
图 2.nmon 文件变量视图
2.2 数据预处理
本文选取用户对 Server 的 IP 访问频率 frequency_User 与用户 cpu 利用率 cpu_User 进行关联分析,需要将以上两个数据文件的信息合并为一个新的数据文件。合并后的文件被保存成 IBM SPSS Statistics 的 SAV 格式的存储文件,如图 3 所示,其中包含以下字段:日期 date,时间 time(采集单位:分钟),用户 cpu 利用率 cpu_User ( 单位 :%),用户对 Server 的 IP 访问频率 frequency_User。
图 3. 合并文件变量视图