作者回复: 以缺陷数量来衡量测试的绩效是不可取的,而且还会激化测试和开发之间的矛盾。
作者回复: 5次完全完全是经验值,因为这个主要取决于自动化测试的开发成本,如果你有很好的框架,自动化用例开发的成本比较低,那么这个值就会偏小,如果有你的测试框架很低效,那么开发自动化用例的代价就很大,那么这个值自然就好大
作者回复: 你说的是正确的,commit之后通常会自动触发静态代码扫描和单元测试,如果两周都通过后、通常会执行自动部署,然后还会自动执行smoke和e2e测试,这些都是自动化的范畴,后面的一篇文章会专门来讨论这个
作者回复: 非常棒的分享,我们以前也尝试过这种模式,效果还是不错的
作者回复: 是的,你说的这个是很多公司都有的典型问题,懂自动化的不懂业务,懂业务的不懂自动化,必须要让两者能够有机的结合,否则效率很难提高,之前有提BDD其实就是为了解决这个问题,但实际落地过程中大量的mapping又引入了很多新问题
作者回复: 这种短期项目就不太适合自动化测试,对于这类项目的测试重点可以放在如何设计有针对性的测试用例上面,建议可以开展手工探索式测试
作者回复: 说得非常对,👍
作者回复: 这应该不是你一个人会有这种感觉,因为第4-6讲不是基于黑盒来谈测试的,而是从软件实现的内部,即从白盒的视角来谈测试,所以需要你具有一定的代码能力,至少能够明白一门高级语言。但是你也不用太担心,因为基于代码的测试我们后面还会有专门的篇幅,那边我会以更多的实例来讲解,希望能够对你有帮助
作者回复: 你说的是很典型的案例,但是还是建议有最基本的GUI测试当作smoke来用,保证产品基本功能的可用性
作者回复: 是的,非常对,尤其是数据参数又很多的时候,这个问题会更突出,后面文章我会专门来讲这块
作者回复: 这个就是目前比较流行的做法,最理想的情况是工程效能团队可以提供更好的工具去支持开发自己做测试,比如提供方便的测试数据准备工具,测试执行服务等等
作者回复: 一定不是为了测试而去测试,测试的根本在于寻求最高效的方法去发现尽可能多的问题,如果单单以用例数量做为衡量标准一定会本末倒置,用例不在于多,而在于针对性和全面性
作者回复: 非常正确👍,所以我们后续会专门来讲测试数据
作者回复: 你说的很在点子上,后面的一篇文章就会专门讨论这个话题,后续我也还会在适当的时候来谈“如何自动化你的自动化测试”
作者回复: 所以有些时候就需要去平衡两者之间的关系
作者回复: CI/CD应该属于devops的范畴,CI/CD往往是自动化测试的发起者,关于广义的我自动化测试,在下一篇文章中我会详细来展开