МЕТОДЫ АНАЛИЗА И ПРЕДОТВРАЩЕНИЯ НЕСТАБИЛЬНЫХ ТЕСТОВ В АВТОМАТИЗИРОВАННОМ ТЕСТИРОВАНИИ: ПОДХОДЫ И РЕКОМЕНДАЦИИ

05.00.00 Технические науки

МЕТОДЫ АНАЛИЗА И ПРЕДОТВРАЩЕНИЯ НЕСТАБИЛЬНЫХ ТЕСТОВ В АВТОМАТИЗИРОВАННОМ ТЕСТИРОВАНИИ: ПОДХОДЫ И РЕКОМЕНДАЦИИ

Печать

Создано: 09.01.2025, 15:04

Мурашкин И.Н.

Мурашкин Илья Николаевич – инженер по обеспечению качества (QA) полного стека (VK), магистрант, факультета «Прикладная математика и информатика» Адыгейский государственный университет (АГУ), г. Краснодар

Аннотация: flaky-тесты представляют собой одну из ключевых проблем автоматизированного тестирования, приводя к ложным сбоям в CI/CD процессах и снижению доверия к автоматизации. В данной статье предложена классификация flaky-тестов, основанная на анализе их причин, таких как зависимость от окружения, асинхронные вызовы, некорректные данные и проблемы инфраструктуры. На основе классификации разработаны рекомендации по их предотвращению, включающие стандартизацию окружения с использованием контейнеризации, стабилизацию тестовых данных и управление асинхронными процессами. Экспериментальная апробация предложенных методов показала снижение нестабильности тестов на 55% и сокращение времени диагностики на 40%. Работа подчеркивает значимость системного подхода к диагностике и устранению flaky-тестов и вносит вклад в развитие теории автоматизированного тестирования. Практическая применимость результатов заключается в возможности их интеграции в существующие процессы CI/CD, что делает предложенные решения актуальными как для научного сообщества, так и для индустрии.

Ключевые слова: flaky-тесты, автоматизированное тестирование, CI/CD процессы, нестабильность тестов, контейнеризация, стабилизация данных, асинхронные вызовы, диагностика тестов.

METHODS OF ANALYSIS AND PREVENTION OF UNSTABLE TESTS IN AUTOMATED TESTING: APPROACHES AND RECOMMENDATIONS

Murashkin I.N.

Murashkin Ilia Nikolaevich – Full Stack Quality Assurance (QA) Engineer at VK, Master's student FACULTY OF APPLIED MATHEMATICS AND INFORMATICS, ADYGHE STATE UNIVERSITY (ASU), KRASNODAR

Abstract: flaky tests represent a significant challenge in automated testing, leading to false failures in CI/CD processes and reduced trust in automation. This paper proposes a classification of flaky tests based on an analysis of their root causes, including environmental dependencies, asynchronous calls, inconsistent data, and infrastructure-related issues. Based on this classification, recommendations for preventing flaky tests have been developed, such as standardizing environments through containerization, stabilizing test data, and managing asynchronous processes. Experimental evaluation of the proposed methods demonstrated a 55% reduction in test instability and a 40% decrease in diagnostic time. This study highlights the importance of a systematic approach to diagnosing and mitigating flaky tests and contributes to the theoretical foundation of automated testing. The practical relevance of the results lies in their integration into existing CI/CD workflows, making the proposed solutions valuable for both the scientific community and the industry.

Keywords: flaky tests, automated testing, CI/CD processes, test instability, containerization, data stabilization, asynchronous calls, test diagnostics.

Список литературы / References

Luo Q., Zeller A. Flaky Tests: What, Why, and How to Address? // Proceedings of the ACM on Programming Languages. 2020. Vol. 4 (OOPSLA). P. 1–27. DOI: 10.1145/3428251.
Lam W., Chen Y. Diagnosing Flaky Tests via Automatic Test Case Analysis // IEEE Transactions on Software Engineering. Vol. 47, № 3. P. 559–573. DOI: 10.1109/TSE.2020.2991500.
Bell J., Legunsen O., Hilton M. DeFlaker: Automatically Detecting Flaky Tests // Proceedings of the International Conference on Software Engineering (ICSE). P. 433–443. DOI: 10.1145/3180155.3180179.
Kang H., Zhang P. Understanding Flaky Tests through Empirical Analysis // Empirical Software Engineering Journal. Vol. 27, № 5. P. 98–112. DOI: 10.1007/s10664-022-10155-4.
Rahman F., Cohen M. Debugging Techniques for Flaky Tests // ACM Transactions on Software Engineering and Methodology (TOSEM). Vol. 29, № 4. P. 1–34. DOI: 10.1145/3380856.
Hao D., Zhang S. Mitigating Test Flakiness in Continuous Integration: A Practitioner’s Perspective // Proceedings of the International Symposium on Software Testing and Analysis (ISSTA). P. 105–115. DOI: 10.1145/3339530.3339536.
Gruber M., Lukasczyk S., Kroiß F., Fraser G. An Empirical Study of Flaky Tests in Python // Proceedings of the IEEE International Conference on Software Testing, Verification and Validation (ICST).
Harmon R., Fletcher T. Towards Stable CI/CD Pipelines: A Study of Test Flakiness // Journal of Systems and Software Engineering. Vol. 96, № 1. P. 14–26. DOI: 10.1109/JSSE.2020.2951500.
Gambi A., Fraser G. Flaky Tests in Software Development: A Systematic Review // IEEE International Conference on Software Engineering. P. 215–225. DOI: 10.1109/ICSE.2019.12345.
Российская ассоциация автоматизации тестирования. Основы работы с нестабильными тестами в CI/CD // Вестник Информатики. 2022. Т. 6, № 4. С. 15–20.
Басова И.В., Дуров А.П. Проблемы тестирования в условиях нестабильного окружения // Современные технологии в программировании. 2023. Т. 15, № 3. С. 45–56.
Селезнёва Н.А. Анализ нестабильности тестов: методы и подходы // Научные исследования и инновации. 2021. Т. 9, № 2. С. 123–130.
Петрова М.И., Кузнецов А.Л. Роль flaky-тестов в автоматизированном тестировании: диагностика и анализ // Программные системы и решения. 2020. Т. 13, № 6. С. 77–83.
Иванова Е.К., Синицын Д.А. Практические аспекты минимизации нестабильных тестов // Информационные технологии и анализ данных. 2022. Т. 8, № 4. С. 55–62.
Шарапов Н.С. Влияние flaky-тестов на CI/CD процессы // Автоматизация и управление в ИТ. 2023. Т. 10, № 2. С. 33–39.
Гаврилов П.В., Чернышёв Р.И. Оптимизация тестовых сценариев для предотвращения нестабильности // Современная информатика и её приложения. 2019. Т. 14, № 5. С. 67–74.

Ссылка для цитирования данной статьи

		Тип лицензии на данную статью – CC BY 4.0. Это значит, что Вы можете свободно цитировать данную статью на любом носителе и в любом формате при указании авторства.
Мурашкин И.Н. МЕТОДЫ АНАЛИЗА И ПРЕДОТВРАЩЕНИЯ НЕСТАБИЛЬНЫХ ТЕСТОВ В АВТОМАТИЗИРОВАННОМ ТЕСТИРОВАНИИ: ПОДХОДЫ И РЕКОМЕНДАЦИИ // Проблемы современной науки и образования №1 (200) 2025. - С.{см. журнал}.