性能测试指标的获取

一个好的性能测试必须要有明确而且全面的性能测试指标,而性能指标的获取常常困扰测试人员,这里简单说一下我在工作中所用到的方法:
  1. 有明确的性能测试需求文档
  这是测试人员希望看到的,产品经理通过需求的获取(或与客户的交流)定义明确的性能指标,如:在局域网中,用户身份验证要小于2秒。当然产品经理并不一定能够面面俱到,所以测试人员需要及时介入性能测试需求文档的review,根据经验从客户的角度挖掘更多更重要的性能指标。
  2. 无明确性能测试需求文档
  这种情况最是困扰测试人员,一般来说,我们可以从以下途径获取性能指标:
  a. 产品历史版本或相似版本的性能指标:比如可以借鉴历史版本中的用户并发指标。
  b. 分析客户数据:这种情况主要是从业务层面去分析客户数据,比如同时访问的最大值,同时在线的用户数。这种分析可以为测试人员提供负载测试的基准,但是还是需要考虑之后的扩展性(比如5年后,用户大概能达到多少,系统是否能够相应)。
  c. 运行基准测试:这种方式主要用在明确了负载而没有明确的指标衡量标准的情况,比如说在系统间传输N个大小为1M的消息,需要给出一个大概的传输时间。此时,我们需要运行基准测试,在没有其他外界干扰的情况下,观测传输一个1M消息文件所用的时间,以这个时间为基准来评估传输N个文件所用的时间。
  d. 业界的指标:其实业界对于业务层面的指标很难做到一致,但是对于一些操作系统指标大概还是有一个标准的,比如:CPU不能持续高于90%。
  e. 测试人员的经验,客户sense:这种情况也比较常见,尤其大众的产品,比如说移动应用软件,这种产品最难收集性能需求,但是另一方面,每个人又是用户,所以测试人员自己可以根据自己的感受提出相应的指标,然后汇总讨论,最终获取一些性能指标,待发布之后,如果用户再有其他的抱怨,可以修改等等。

最新内容请见作者的GitHub页:http://qaseven.github.io/

时间: 2024-08-01 15:46:37

性能测试指标的获取的相关文章

软件性能测试指标及其注意地方

并发性能测试的种类与指标 并发性能测试的种类取决于并发性能测试工具监控的对象,以QALoad自动化负载测试工具为例.软 件针对各种测试目标提供了DB2.DCOM.ODBC.ORACLE.NETLoad.Corba.QARun.SAP.SQLServer. Sybase.Telnet.TUXEDO.UNIFACE.WinSock.WWW.Java scrīpt等不同的监控对象,支持Windows和UNIX测试环境. 最关键的仍然是测试过程中对监控对象的灵活应用,例如目前三层结构的运行模式广泛使用,

性能测试指标的理解--cpu和load

第一次做性能测试,按照操作文档磕磕碰碰的完成了,并且拿到了结果,看到一堆的指标和数据,还是傻眼了,不知道各个指标是什么意思了. 咨询了大牛和度娘,消化理解了一下,不知道是不是正确的. CPU使用率: 一段时间内CPU的使用状况,从这个指标可以看出某一段时间内CPU资源被占用的情况. Load Average: 某一段时间内,CPU正在处理以及等待CPU处理的进程数的之和.Load Average是从另一个角度来体现CPU的使用状态的. CPU使用率和Load Average的关系: 拿去医院体检

性能测试需求指标分析方法

六.设计测试模型 1.业务模型的设计 一个系统的业务模型是通过业务调研获得,业务模型的正确性反映在两个方面首先业务选择的正确性和业务比例的正确性. 首先业务选择,一个系统可能支持几百个业务活动(也有叫做交易)但是只有少数的业务活动非常频繁,占总业务量的80%以上,那么在性能测试时只需关心这些占了大部分业务量的少量业务上. 其次业务比例,如何精确统计业务的数量是关键问题,针对一个全新的系统可能要通过对使用系统的涉众进行调研,搞清楚他们群体数量,操作行为周期.在通过组合这些数据确定在常规业务日中各种

浅谈应用性能测试 PTS

阅读原文 我们为什么要进行性能测试? 1. 评估系统的能力. 当应用上线有大量用户当问的时候,页面的打开速度直接影响用户体验,进而影响用户的留存.了解用户的真实使用体验,对应用做出针对性的性能评估,有效提升用户体验. 2. 验证系统的稳定性和可靠性. 在整个的网站应用架构体系中,会有一些接口基础服务,它的职责是对外输出一些稳定的查询,一些服务能力,这个时候系统需要有较高的稳定性,比如访问量很多,数据量很大,这个时候就需要关注性能.另外对于一些核心系统,可用性很高,对于性能系统也是非常关键的. 3

如何快速掌握性能知识体系,做好性能测试?

做开发测试的同学都知道,网站性能是影响用户访问的一个重要因素.如果你的网站打开速度很慢,那么你的访客很容易流失,这样会造成业务受损.所以做好性能测试,是开发测试人员必须考虑的问题.阿里巴巴旗下一站式研发提效平台--云效,将于12月29日19:00开启<阿里巴巴分层自动化之性能测试>直播分享,为大家讲解性能测试知识,同时提供性能测试方法和策略.今天我们先来看看阿里巴巴嘉宾的部分解读. 嘉宾介绍 许晓:阿里巴巴B2B事业群技术专家.7年从事性能测试调优及诊断,专注于性能领域的平台建设以及测试平台对

《LoadRunner性能测试巧匠训练营》——1.4 性能测试分类详解

1.4 性能测试分类详解 小白在学习过程中发现性能测试的种类繁多,但是实际执行起来又很难严格区分,所以小白觉得理解各种分类的特点和概念即可,没必要咬文嚼字. 1.基准测试 基准最简单的理解就是有基础的标准,这样能通过对比发现系统的不同点与变化.一般情况下,基准测试有以下几种应用场景. 1)可以在制定的标准下通过基准测试建立一个性能基准,这样以后当系统的环境.参数发生变化之后,再进行一次相同标准下的测试,即可看出变化对性能的影响.例如,数据库的基准性能测试. 2)系统进行基准测试可以在较早的阶段发

怎么才能保证你的敏捷团队不会被指标毁掉

我认为敏捷社区要改变评测敏捷团队是否成功的方法.我们收集指标以及从这些指标中获取信息的方法实际上妨碍了我们做出能用的软件,而这才是最重要的东西. 强推个体指标有时会导致过于关注其他人,影响团队的协作.这会歪曲我们要评测的内容,摧毁我们的真实意图. 在我看来主要有两个问题: 观察者效应: 观察者效应是指对一个流程进行观测可能会影响它的输出.比如告诉一个团队你会密切关注他们的速度,该团队可能会为了加快速度而过度估算他们的工作内容.这在处理 故事点 时尤其危险,因为根本就没有依据可以判断估算是否有效.

性能测试团队如何组建?

本人一直在做产品和项目的公司测试部门从事测试工作,从未在第三方测试团队中工作过,因此,本人的观点仅限于非第三方测试团队. 在本人的从业经历中,先后涉及过医疗.水利.政府.军队等行业,以个人的经历来看,在非第三方测试团队中,是不存在专职的性能测试团队的.这是由于所在公司的性质以及测试工作任务所决定的.由于处在非第三方的测试团队中,其工作任务就是负责公司的产品或项目的质量保证.在日常的工作中,80%以上的工作属于需求分析和功能测试,当然,对于做产品的公司来说,功能测试中还包含自动化测试:而性能测试工

磁盘性能压测二三事之——性能参数和指标

近日工作中遇到了一个磁盘压测时性能上不去的问题,经排查,发现原因有以下几个方面: 1 测试参数的选择 2 业务逻辑未关闭 本文就将通过对磁盘性能测试指标及参数的介绍,来理解以上两个原因为什么会对测试结果有影响. 首先来介绍一下磁盘性能的测试指标. 最常用的磁盘性能评价指标有两个:IOPS和吞吐量(throughput).IOPS是Input/Output Per Second的缩写,它表示单位时间内系统能处理的I/O请求数量,即每秒钟系统能处理的读写次数. 吞吐量衡量单位时间内系统能处理的数据的