ETL测试主要使用SQL脚本完成,并在电子表格中收集数据.这种执行ETL测试的方法非常缓慢且耗时,容易出错,并且可以对样本数据执行.
手动ETL测试中的技术挑战
您的ETL测试团队将SQL查询写入仓库系统中的测试数据,他们需要使用SQL编辑器手动执行它们,然后将数据放入Excel电子表格并手动比较.这个过程非常耗时,资源密集且效率低下.
市场上有各种工具可以自动化这个过程.最常见的ETL测试工具是QuerySurge和Informatica数据验证.
QuerySurge
QuerySurge是一种用于测试大数据,数据仓库的数据测试解决方案和ETL过程.它可以为您自动完成整个过程,并很好地适应您的DevOps策略.
QuerySurge的主要功能如下 :
它具有查询向导,可以快速轻松地创建测试QueryPairs,而无需用户编写任何SQL.
它有一个带有可重复使用的Query Snippets的设计库.您也可以创建自定义QueryPairs.
它可以将源文件和数据存储中的数据与目标数据仓库或大数据存储进行比较.
它可以在几分钟内比较数百万行和每列数据.
它允许用户安排测试立即运行(1),(2)任何日期/时间,或(3)事件结束后自动运行.
它可以生成信息报告,查看更新,并自动将结果发送给您的团队.
要自动执行整个过程,您的ETL工具应该通过命令启动QuerySurge ETL软件完成加载过程后的行API.
QuerySurge将自动无人值守运行,执行所有测试,然后通过电子邮件向团队中的每个人发送结果.
就像QuerySurge一样,Informatica Data Validation提供了一个ETL测试工具,可以帮助您在开发和生产中加速和自动化ETL测试过程 环境.它允许您在更短的时间内提供完整,可重复和可审计的测试覆盖.它不需要编程技能!