第三方测试保证什么?

直至目前,我国还没有适应国情的、系列化协调配套的、工程化的软件生产过程管理、软件质量评测、控制技术规范和法律规程指导,为此,我国急需以大力发展软件第三方测试工程为基础,建立、健全我国软件工程监理体制。

  第三方测试有别于开发人员或用户进行的测试,其目的是为了保证测试工作的客观性。从国外的经验来看,测试逐渐由专业的第三方承担。同时第三方测试还可适当兼顾初级监理的功能,其自身具有明显的工程特性,为发展软件工程监理制奠定坚实的基础。

  第三方测试工程主要包括需求分析审查、设计审查、代码审查、单元测试功能测试性能测试、可恢复性测试、资源消耗测试、并发测试、健壮性测试、安全测试、安装配置测试、可移植性测试、文档测试以及最终的验收测试等十余项。

  测试并不仅仅是为了要找出错误。测试方还需要对错误进行归类和总结,通过分析错误产生的原因和错误的分布特征,可以帮助项目管理者发现当前所采用的软件过程的缺陷,以便改进,更好地帮助用户。根据软件工程的要求,测试工作应贯穿开发的全过程,如右图所示。

  从测试流程中可以看出,编码和单元测试基本上属于程序的调试,一般由开发方自己进行。作为第三方测试,定位在系统测试和集成测试最为有效。但是,为了得到高质量的软件,第三方也要适当介入编码与单元测试,能够更好地保证测试的有效性、准确性和可信性。

  认清“第三方”的责任

  第三方测试以合同的形式制约了测试方,使得它与开发方存在某种‘对立’的关系,所以它不会刻意维护开发方的利益,保证了测试工作在一开始就具有客观性。第三方一般都不直接参加开发方系统的设计和编程,为了能够深入理解系统,发现系统中存在得问题,第三方测试必须按软件工程的要求办事,以软件工程的标准要求开发方和用户进行配合,从而较好地体现软件工程的理念。引入第三方测试后,由于测试方相对的客观位置,由用户、开发方、测试方三方组成的三角关系也便于处理以往用户、开发方双方纠缠不清的矛盾,使得许多问题能得到比较客观的处理。

  第三方测试不同于开发方的自测试。由开发人员承担的测试存在很多弊病,除去自身利益驱使带来的问题外,还有许多不客观的毛病,主要表现在思维的定势上。由于他熟悉设计和编程等,往往习惯于按一定的“程式”考虑问题,以至思路比较局限,难于发现“程式”外存在的问题。因为第三方测试的目的就是为尽量多地发现程序中的错误而运行程序的过程,可以更多的发现问题。此外,随着系统越做越大,客观上讲开发人员也无精力参与测试,同时也不符合大生产专业分工的原则。

  第三方测试不同于用户的自测试。用户是应用软件需求的提出者,对于软件应该完成的功能是非常清楚的,是进行功能验证的最佳人选。客观情况是,大部分的用户都不是计算机的专业人士,很难对系统的内部实现过程进行深入的分析。对系统的全面测试,功能测试仅仅是一个方面,还要包括并发能力、性能等多种技术测试。这些测试对技术有很高的要求,必须由计算机的专业人员才能完成。

  第三方测试一般还兼顾初级监理的职能,不但要对应用进行各种测试,还进行需求分析的评审、设计评审、用户类文档的评审等,这些工作对用户进行系统的验收以及推广应用都非常有意义。

  如何组织管理

  在测试的过程中,用户、开发方与测试方形成了一个三角关系,从最终目标来讲,三方是完全一致的,都是希望保证系统稳定运行。但在测试过程中,三方的关系却是既对立又合作。对立是指各自坚持自己的职责,合作是指每一方的工作都需要其它两方的支持和帮助。

软件测试的过程

  为了保证测试的顺利进行,测试方必须强化内部的组织管理。根据我们的经验,完整的测试机构必须包括业务分析部门、技术支持部门、规划设计部门和综合后勤部门。例如在中国现代化支付系统第三方测试项目当中,信息化工程总体研究中心的人员分工大致是:部分人员专攻支付业务,部分人员专攻技术支持,部分人员负责测试规划与综合案例的设计,部分人员负责现场情景调度,部分人员从事案例的细化与运行。测试结果表明,总体上达到了各司其职、忙而有序。

 “第三方”测试什么

  根据软件的特性,第三方软件测试工程可划分为三种类型四个层次。

  (1) 第一类是系统软件、环境软件和各类工具软件等的测评。这类软件多作为计算机的环境或作 “公用” 支撑软件,产品类型多、市场销量大、生产厂商多,产品的特点大都有企业、甚至国际的产品质量标准,用户选择使用时大都希望进行产品功能、性能的对比测试;对于这类软件的评测重点是软件产品的功能、性能和特点评测。

  (2)第二类是面向应用软件系统的测评。这类软件,具有很强的行业应用特性,往往是要由用户与开发商签定项目合同,开发商负责开发,用户负责验收。对这类软件的评测,根据用户对第三方的依赖程度,又可分为两个层次。

  ① 第一个层次只对应用软件系统进行综合性功能、性能测试。大体是在软件系统级进行“黑盒”测试,并不对软件过程进行控制、监督。

  ② 第二个层次是对应用软件系统进行质量监理与评测。不仅承担第一个层次的任务还要对软件过程进行监控,具备初级软件工程监理的职责。

  承担该类软件质量监理评测的第三方,承担软件过程质量监理的责任,在软件生命周期过程中,从软件定义开始,要对软件过程从质量保证角度进行规范化的监督、管理和控制。评测工作不仅包括软件生命周期各阶段的评审,而且还要对程序系统,进行包括模块白盒测试在内的系统集成、系统验收等测试。第三方实际上是软件业主授权的初级的软件工程监理。

  (3)第三类是对软件企业的CMM评估认证,也是最高层次的软件评测。

  了解测试评估

  测试评估是软件测试的一个阶段性的结论,用所生成的测试评估报告,来确定测试是否达到完全和成功的标准。在测度评估阶段向用户提供强有力的支持,包括通过测试报告,验证测试结果是否符合测试计划中制定的测试标准;根据缺陷报告提供的测试结果数据,给出软件质量和测试完整性的评估报告;特别在以下几方面对测试的过程进行评测:

  (1)评估测试用例覆盖:测试的目标是确保100%的测试用例全部成功地执行。如果这个目标可行或不可能达到,则要根据不同的情况制定不同的测试覆盖标准。主要考虑风险和严重性、可接受的覆盖百分比。

  (2)评估代码覆盖:需要断定测试目标期望的总的测试代码行数,在测试中真正执行的代码行数及其百分比,将此结果记录在测试评估报告中。

  (3)分析缺陷:对缺陷进行分析,应遵照缺陷分析策略中制定的分析标准。

  最常用的缺陷分析标准有三种:缺陷分布——缺陷数量作为随缺陷属性变化的函数(如状态和级别);缺陷趋势——缺陷数量作为以时间为条件的函数;缺陷滞留——特殊的缺陷密度报告,缺陷数量与缺陷在某一状态保留的时间长短有关。

  (4)确定测试是否达到完全和成功的标准在此阶段将判定测试是否已达到完全并可接受,生成测试结果报告。

本文出自seven的测试人生公众号最新内容请见作者的GitHub页:http://qaseven.github.io/

时间: 2024-07-31 21:28:26

第三方测试保证什么?的相关文章

正视测试正视第三方测试机构

如何面对软件产品大型化.复杂化.系统化带来的挑战,抓住云计算带来的发展新机遇,解决软件测试理论.工具与应用不相适应的矛盾?如何推动软件质量保证体系向纵深发展,结合超大规模复杂系统对可靠性的要求,将软件质量管理与开发过程紧密结合,帮助企业实现软件质量水平的持续提升?如何破解软件知识产权遭受侵犯的难题,将中国软件知识产权的保护与软件著作权的申请.使用.管理相结合,建立促进软件正版化与产业技术创新的长效机制?如何培养高端.复合型软件人才,突破软件产业遭遇的人才瓶颈,建立符合软件人才市场需要的培训体系,

中兴通讯完成TD-LTE第三方终端测试

近日,NGMN大会在北京举行,中国移动.沃达丰.法国电信等NGMN主要成员悉数到场,TD-LTE成为会议关注的热点之一.会议期间,中兴通讯正式对外宣布,公司已于4月15日与中国移动.沃达丰.工信部等联合完成了TD-LTEPhaseI测试. 中兴通讯测试结果显示,在10M带宽下,下行扇区峰值速率达到理论极限值39Mbps,并在业界率先实现支持20M带宽,在测试中采用第三方测试UE,下行峰值速率测试结果达到了测试终端的能力上限61.228Mbps,测试结果得到业内专家高度认可,将来通过终端升级,可以

综合布线测试的注意事项

综合布线系统测试是一个老生常谈的问题,由于它在综合布线系统中所占的地位,我们还是要深度解析一下在实际操作过程中特别需要注意的问题,这对测试人员是非常重要的,也是综合布线系统方案中很重要的一环. 超5类和6类综合布线系统是目前在1000点以上系统中使用得最多的综合布线系统,广泛用于办公楼.校园网.园区网.各种智能建筑和智能小区的布线系统中,甚至在自动化生产系统和工业以太网中也开始被大量采用.由于用户各种应用的实际数据带宽都不高,除非是质量确实非常差的系统,多数系统的平常性质量问题甚至严重质量问题都

布线测试的发展及技术变化

大量的新技术应用失去了布线技术的发展,对布线系统的相应要求也就随之提高了.我们要重新认识关于布线测试方面的重要意义,还要不断更新布线安装和认证方面的技术以保证布线系统满足变化中的国际(内)标准. 近两年在布线的现场测试方面,新的技术和应用也在改变着人们对布线质量的控制.铜缆双绞线的测试技术的提升,光缆布线认证测试技术与标准的发展,无线WLAN的迅速扩张等三个主要方面都引起了业内人士的新关注. 1 铜缆测试技术的提升 (1) 通用的测试插头解决了Cat.6系统互用性的挑战:PM06电缆业界第一个中

通过CMM顶级评估后发展方向之五:专业测试

背景资料: 在典型的软件开发项目中,软件测试工作量往往占软件开发总工作量的40%以上,测试成本也要占到了开发总成本的30%到50%.不久前,软件测试工程师又名列十大IT业最有发展前途的职业之中.很显然,测试占据着软件开发过程中一个很重要的位置. 目前在国内,测试一直都被人忽视,测试整体水平低下,专业的高端人才极其缺乏.但要提高软件质量,就必须加强测试力量,不经测试的产品经常导致后期维护和服务费用偏高,市场竞争力不强,质量及可靠性很难得到保证. 据统计,微软的开发和测试人员比例在2:1到1:1之间

布线测试的发展与技术变化

大量的新技术应用失去了布线技术的发展,对布线系统的相应要求也就随之提高了.我们要重新认识关于布线测试方面的重要意义,还要不断更新布线安装和认证方面的技术以保证布线系统满足变化中的国际(内)标准. 近两年在布线的现场测试方面,新的技术和应用也在改变着人们对布线质量的控制.铜缆双绞线的测试技术的提升,光缆布线认证测试技术与标准的发展,无线WLAN的迅速扩张等三个主要方面都引起了业内人士的新关注. 1.铜缆测试技术的提升 (1)通用的测试插头解决了Cat.6系统互用性的挑战:PM06电缆业界第一个中央

karma 测试框架的前世今生

这篇文章主要来自 karma 作者的一篇论文,主要是说 karma 的由来,通过这篇文章,可以了解下 karma 的设计思想,这样大家在做前端单元测试时,也能了然于心. 背景 JavaScript 作为 web 端使用最广泛的编程语言,它是动态语言,缺乏静态类型检查,所以在代码编译期间,很难发现像变量名写错,调用不存在的方法等错误,除非在运行时才能暴露出来,所以非常有必要有一个测试工具来验证你的代码. karma 就是在这样的背景下产生的, 它是一个 runner , 旨在帮助开发者简单而又快速

大唐完成工信部5G技术试验第一阶段测试

9月22日,在北京国际通信展"5G创新发展高峰论坛"上,IMT-2020(5G)推进组发布了中国5G技术研发试验的第一阶段测试结果.截至9月15号,我国已经顺利完成5G技术试验第一阶段测试工作.大唐等7个厂家参与测试,测试结果达到预期,充分验证了大规模天线.新型多址.超密集组网.网络切片.移动边缘计算.控制承载分离和网络功能重构等关键技术在支持Gbps用户体验速率.毫秒级端到端时延.每平方公里百万连接等多样化5G场景需求的技术可行性,进一步增强了业界推动5G技术创新发展的信心. 大唐电

NSS Labs攻击防护测试面面观 —— RSA2016大会首日 NSS Labs为山石网科颁发下一代防火墙推荐级奖项

3月1日,在开幕首日的美国RSA大会现场,NSS Labs高管Garret Jones在现场来宾的见证下为山石网科颁发了下一代防火墙推荐级水晶授牌,山石网科凭借着下一代防火墙的卓越表现,成为了首家成功通过NSS Labs该项测试的中国企业.这一里程碑式的成就对于山石网科而言,无疑是极大的鼓舞,也开创了国内网络安全企业的先河. 山石网科的下一代防火墙在NSS Labs推出的价值象限中占据了近乎右上顶点的优异位置,能以最低的总体拥有成本及最高的安全防护级别为全球超过12000名用户提供全面保护.