Eventbrite 成立于 2006 年,已为全球超过 949K 组织和创作者提供支持,2019 年为 180 多个国家/地区的 4.7M+ 活动处理了超过 309M 的门票。Eventbrite 专注于为客户提供质量一直是他们成功的关键驱动力,最终于 2018 年 9 月 20 日首次公开募股。
挑战
当 Eventbrite 的 QA 团队于 2016 年初开始免费试用 TestRail 时,该公司已经进入了高速增长阶段,这将推动他们在两年后上市。他们的处境类似于高增长初创公司的许多 QA 团队:通过一系列拼凑在一起的电子表格来管理他们的测试用例。
正如 Eventbrite SQA 工程经理 Andrew Smelser 回忆的那样,“Eventbrite 的 QA 是从基层开始的。我们一开始只是在 Google Sheets 等免费工具中编写测试。
问题在于,随着 Eventbrite 呈指数级增长,使用电子表格进行测试成为瓶颈和负担。电子表格快速灵活,但无法扩展。它们难以组织,难以报告,并且容易出错。
解决方案
相反,QA 工程团队需要找到一种解决方案,该解决方案可以:
- 在不牺牲质量的情况下帮助加快发布周期,因为开发新功能的压力和新缺陷的潜在风险只会继续增加。
- 扩展他们的能力以支持不断增长的工程部门,围绕关键质量指标实现跟踪和报告的标准化,并帮助在不同部门之间保持清晰、简洁和有意义的沟通。
- 提供有竞争力的价格点和灵活的工作流程,使团队成员能够在团队根据业务需求和情况扩大或缩小规模时快速加入。
“在业务层面,我们正在转变围绕质量的所有权文化。这是我们敏捷计划的重要组成部分:质量属于每个人。 – 安德鲁·斯梅尔瑟 SQA 工程师
能见度
Eventbrite 的 SQA 工程经理 Andrew Smelser 表示:“随着 Eventbrite 发展到需要专用 QA 工具的程度,我们转向了 TestRail。
第一步是集中测试工作。“我们建议团队使用 TestRail,因为我们可以将所有信息集中在一个易于访问的地方,”QA 工程师 Diego Girotti 解释道。
使用 TestRail 作为中心可以提高测试工作的可见性,以及测试历史记录的可追溯性和可审计性。TestRail 还使 QA 和开发人员以外的人员能够更深入地了解 Eventbrite 的测试工作和关键业务指标,例如测试覆盖率、回归测试百分比和自动化。
Smelser 总结道:“与在不同权限的工作表中执行此作相比,拥有此平台时,您将获得很多可见性。
灵活性
与电子表格相比,TestRail 最显着的优势之一是其灵活性和直观的工作流程。尽管团队中的一些软件开发人员抵制使用新工具,但 TestRail 的易用性赢得了他们的青睐,尤其是能够从外部来源导入测试。
根据 Smelser 的说法,“TestRail 不是规定性的”,也不要求一种严格的使用方法。Eventbrite 的各个团队以最适合自己的方式使用 TestRail,同时仍然设法在单个工具中跟踪和存储所有测试工件。
这种自由对 Eventbrite 来说是一个巨大的好处。使用 TestRail 并不一定意味着完全替换以前的工作流程;相反,TestRail 提供了这些工作流程的扩展,并帮助它们更加高效。
与 Test Automation 的兼容性
Eventbrite 的自动化堆栈自初创公司成立之初以来已经发生了很大变化,随着时间的推移,它在 Selenium 和 Cypress 等多种工具之间移动。由于 TestRail 是一个独立的测试管理平台,通过 API 与外部工具集成,因此它不会将团队锁定在特定的技术堆栈或供应商中。
对于 Eventbrite 团队来说,这意味着尽管工具和环境不断变化,他们的整体测试管理策略仍然保持稳定、一致和可靠。随着 Eventbrite 的发展,TestRail 提供了稳定性来支持公司计划,例如提高测试自动化和实施 CI/CD 管道。
客户想知道他们的项目是否准备好发货,TestRail 允许 Cardinal Peak 的团队自信地证明他们涵盖了项目的独特要求,并且产品已通过所有测试。
定价
TestRail 的灵活性和易用性甚至延伸到 TestRail 的定价模型。TestRail 使用基于余额的计费模式,在每月的第一个工作日,根据您账户中的最大活跃用户数,向您收取上个月的产品使用费。用户可以根据需要激活和停用,无需任何合同或固定条款,并且每月扣款/费用会相应调整。
对于 Eventbrite 来说,这意味着该团队可以快速扩展,而不必费力地进行冗长的定价或合同谈判。他们从未被“锁定”到任何用户数量;他们为使用过的东西付费,随着新的业务挑战的出现,他们可以迅速调整。
据 Smelser 说,“通过能够预付,然后根据我们实际使用的座位数从余额中扣除月度费用,我们能够将合同延长几个月。显然,对我们来说也是如此:我们有时会很快吃掉余额,因为我们增长得太快了。但我们对这种灵活性感到非常满意。
“随着 Eventbrite QA 工程的不断发展,TestRail 一直是我们技术堆栈的一部分。” – 安德鲁·斯梅尔瑟 SQA 工程师
围绕质量的文化转变
虽然可见性和灵活性对 Eventbrite 团队来说是显著的好处,但 TestRail 的真正价值在于,采用 TestRail 帮助团队成功改变了整个公司的质量文化。
“在业务层面,我们正在转变围绕质量的所有权文化,”Smelser 解释说。“这是我们敏捷计划的重要组成部分:质量属于每个人。理想的情况是,所有开发团队都拥有质量。
这场运动 — 让每个开发人员都拥有质量,而不是严格地掌握 QA — 是在推动全面 “左移” 测试的过程中形成的。“目标是更早、更频繁地进行测试,”Smelser 解释说。而这种转变的核心是 TestRail。
TestRail 使 Eventbrite QA 团队能够与产品和工程部门合作,从一开始就确定新 sprint 的范围并将质量融入开发流程。让开发人员参与测试还有助于将他们的开发重点放在为最终用户带来的实际结果上,从而获得更好的代码、更快的发布速度并为客户增加价值。
这种新范式改变了组织内 QA 成员的角色。它允许 QA 团队通过组建一个“按需”测试团队来做出更大规模的贡献,该团队可以协助满足整个组织中多个团队的质量保证需求。根据 Smelser 的说法,如果某些功能区域或集成似乎需要很长时间来测试、反复失败或导致客户报告的事件数量增加,按需团队可以“跳入 TestRail 并查看 [团队] 正在测试的内容”,并就不同的改进策略提供建议。
最后,通过在集中式系统中标准化测试管理并为团队中的每个人提供访问权限,Eventbrite QA 团队能够更好地促进他们围绕测试和 QA 持续改进的目标。通过使用 TestRail 查看有关在各种 sprint 中识别的缺陷数量和严重性的指标,该团队可以更准确地估计开发、测试和交付高质量版本所需的时间。
他们还能够更轻松地让更多跨职能利益相关者参与围绕质量的对话,将产品、工程、QA 和支持之间的点连接起来,以分析新变化对 Eventbrite 应用程序生态系统整体质量的影响。
结果
TestRail 的灵活性和可用性使 Eventbrite 的跨职能团队成员能够快速引导新用户并集成新的开发工具,同时保持稳定但快节奏的测试环境。
通过一个中央平台跟踪所有手动和自动测试作可以提高整个测试的可见性,并帮助团队监控每个新版本的产品质量。
然后,这种可见性围绕 Eventbrite 的整体软件开发和交付流程本身塑造了业务层面的对话,促进了文化转变,并推动了整个团队更有意义地采用敏捷流程。让整个团队都参与测试和 QA 使 Eventbrite 能够更有效地扩展,同时不断提高最终用户的产品质量(即使 Eventbrite 的 TestRail 用户数量在不到四年的时间里扩展了 400% 以上)。
最终,TestRail 仍然是 Eventbrite 的正确测试管理解决方案,原因有三:
- TestRail 已经能够根据 Eventbrite 的测试管理需求进行扩展,从高增长的初创公司到上市公司。
- TestRail在功能和可用性之间提供了平衡,使其易于Eventbrite的QA和工程团队使用。
- TestRail 具有灵活、有竞争力的定价模型,对 Eventbrite 有利。
“您不必以一英寸之差击败 TestRail。您必须比 TestRail 快一英里。定价模式具有足够的竞争力,为了抵消过渡的成本,工具必须要便宜得多和/或提供额外的功能。 – 安德鲁·斯梅尔瑟 SQA 工程师