Современные регулируемые системы тесно интегрированы, охватывая устаревшую инфраструктуру, облачные сервисы, сторонних поставщиков и огромные объемы конфиденциальных данных. Изменение в одной части среды может вызвать непредвиденные последствия в других местах, а пропущенный дефект в процессе обработки платежей, рассмотрении претензий или регистрации клиента может быстро обернуться операционной, финансовой или регуляторной проблемой.
Следовательно, тестирование должно выполнять функции, выходящие за рамки простого финального контроля качества. Оно должно обеспечивать организациям уверенность в том, что они могут продолжать модифицировать сложные системы, не нарушая при этом установленные механизмы контроля. Однако, поскольку ручные циклы регрессионного тестирования становятся более длительными и сложными для масштабирования, скорость выпуска продуктов замедляется, покрытие становится непоследовательным, а команды начинают опасаться внесения необходимых изменений.
Часто автоматизацию воспринимают как угрозу надзору. Тем не менее, при правильном внедрении она обеспечивает ту согласованность, прослеживаемость и документальное подтверждение, которые требуются регулируемым организациям.
Акшай Деоле, руководитель отдела тестирования в BBD, отмечает: «Существует представление, что автоматизация тестирования снижает контроль или усложняет управление соответствием. На самом деле, происходит обратное».
Автоматизированное регрессионное тестирование
Чем сложнее становится система, тем труднее вручную проверить, что новое изменение не нарушило ранее работающую функциональность. Командам по тестированию приходится справляться с растущим количеством интеграций, зависимостей и бизнес-правил, часто находясь под давлением необходимости завершить циклы регрессии в условиях сокращающихся сроков поставки.
Повторяющееся тестирование также создает почву для несоответствий. Сценарии могут интерпретироваться по-разному, собранные доказательства могут быть неравномерными, а тесты с низким приоритетом могут быть исключены из-за нехватки времени. В регулируемой среде такие пробелы имеют большое значение.
Автоматизированное регрессионное тестирование меняет эту ситуацию, многократно проверяя рабочие процессы, где сбой повлечет наибольший ущерб: обработка платежей, проверка личности, валидация претензий, регистрация клиентов, управление доступом или биллинг телекоммуникаций. При этом это не означает автоматизацию абсолютно всех возможных тестов; попытка сделать это часто приводит к созданию дорогостоящего и громоздкого фреймворка, который командам трудно поддерживать. Наиболее эффективные стратегии начинаются с процессов, несущих наибольшие бизнес- и регуляторные риски.
Деоле подчеркивает: «Сложность — это не повод избегать автоматизации. Это причина, по которой автоматизация становится необходимой».
Скорости недостаточно. Регулируемые организации также должны иметь возможность продемонстрировать, что именно было протестировано, к какому требованию это относится, каков был результат и соблюдены ли корректные контроли. Когда прослеживаемость встроена в фреймворк автоматизации, каждое выполнение генерирует собственное доказательство. Активы тестирования контролируются по версиям, результаты фиксируются, а отчетность становится постоянной частью процесса поставки, а не спешной попыткой восстановить записи после завершения работы. Это обеспечивает более последовательный аудиторский след, чем сборник вручную поддерживаемых таблиц, скриншотов и разрозненных артефактов тестирования. Кроме того, это дает инженерным, тестировочным, комплаенс- и бизнес-командам более четкое общее представление о том, ведет ли система себя ожидаемым образом.
Автоматизация не устраняет управление процессом. Критические системы все еще могут требовать формальных утверждений, разделения обязанностей и строго контролируемых релизов в рабочей среде. Меняется лишь качество проверки, предшествующей этим решениям. Интеграция автоматизированных тестов в конвейеры поставки позволяет командам обнаруживать дефекты раньше, когда их легче и дешевле исправлять. Это также освобождает специалистов по тестированию от рутинного выполнения задач, позволяя им сосредоточиться на областях, где важны человеческое суждение: исследовательское тестирование, необычные сценарии, возникающие риски и пользовательский опыт.
Начинайте с риска, а не с инструмента
Многие инициативы по автоматизации терпят неудачу еще до написания первого теста, потому что организации начинают с выбора инструмента, а не с четкого понимания того, что необходимо защищать. Другие пытаются автоматизировать слишком много и слишком быстро, игнорируя согласованность тестовых данных и среды, или допускают ненадежные тесты до тех пор, пока команды не перестанут доверять результатам.
Более разумный подход заключается в выявлении небольшого числа критически важных рабочих процессов с высокой ценностью и построении надежных регрессионных наборов вокруг них. Затем можно включить прослеживаемую отчетность и элементы контроля утверждения перед постепенной интеграцией тестирования в конвейеры поставки и расширением его на другие области.
Надежная автоматизация ценнее, чем хитроумная. Она должна укреплять существующие контроли организации и делать ее риски более очевидными, а не добавлять еще один уровень сложности, понятный только специалистам. Цель состоит не в том, чтобы выпускать программное обеспечение быстрее любой ценой, а в том, чтобы сделать изменения более безопасными и предсказуемыми. Для регулируемых организаций это различие имеет значение. Автоматизация перестает быть просто способом сократить усилия по тестированию; по мере того как системы становятся более взаимосвязанными, а последствия сбоев возрастают, она превращается в средство поддержания контроля.