Тестирование в общем сборочном конвейере: решение организационных проблем

Крупные компании, которые разрабатывают более одного продукта, анализируя свой процесс тестирования, часто сталкиваются c "зоопарком" инструментов и технологий, методик и практик. В этой статье я рассмотрю организационную часть, связанную с проектированием и интеграцией тестов в общий процесс разработки. Вы узнаете: основные процессные проблемы в тестировании и возможные подходы к их решению, место тестирования в продуктовом сборочном конвейере, общие характеристики основных видов тестов.

Статья может быть полезна тест-архитекторам, руководителям команд и отделов QC и QA, CI-инженерам, а также всем, кто сталкивался с проблемами внедрения процесса тестирования в разработку ПО.

DevOps best practices: рекомендации по организации конфигураций в TeamCity

DevOps (Development + Operations)

Принимая участие в разработке нескольких сотен сборочных, деплойных и иных автоматических конфигураций для поддержки процессов разработки ПО, рано или поздно начинаешь находить в них и выделять общие решения, концепцию, архитектуру, схему взаимодействия конфигураций между собой. Предлагаю вам некоторые рекомендации в области разработки конфигураций, подходы и схему организации процессов сборки и тестирования ПО. Эти подходы были успешно опробованы мной и моими коллегами: Александром Паздниковым, Ярославом Акимовым и Алексеем Соловьёвым, для большого числа IT-проектов, на базе системы непрерывной интеграции TeamCity.

Частично вопросы организации процессов сборки и тестирования уже были рассмотрены в статье "TeamCity triggers & dependencies: построение процессов разработки и тестирования". В статье ниже приведена терминология основных понятий, используемых при описании конфигураций, рекомендуемый набор конфигураций для произвольного проекта, а также схема взаимодействия конфигураций для релизных и нерелизных сборок, деплоя, функционального тестирования. 

Разработка функциональных тестов при помощи RobotFramework

Структура статьи:

1. Установка и настройка.

    1.1. Под Windows.

    1.2. Проверка установки.

2. Подготовка к тестированию.

    2.1. Структура тестов RobotFramework.

    2.2. Возможные разделы в файле с тестами RF и их формат.

           *** Settings ***

           *** Variables ***

           *** Keywords ***

           *** Test Cases ***

    2.3. Экспорт тестов Selenium в RobotFramework.
3. Процесс разработки тестов при помощи RobotFramework.

Разработка функциональных тестов при помощи Selenium

Структура статьи:

1. Подходы к автоматизации функционального тестирования.

    1.1 План разработки автоматических функциональных тестов.

    1.2. Соглашения.

          1.2.1. Расстановка приоритетов тестов.

          1.2.2. Правило идентификации тестов.

          1.2.3. Правило формирования идентификаторов элементов.

          1.2.4. Структура функционального теста.

2. Подготовка к тестированию с использованием Selenium IDE.

    2.1. Настройка Selenium IDE для Mozilla.

    2.2. Настройка Linux-сервера для тестирования без использования графики.
    2.3. Структура тестов Selenium.
    2.4. Основы работы с Selenium IDE.
3. Логические операции в Selenium.

4. Реализация ветвления в Selenium.

5. Реализация циклов в Selenium.

6. Примеры типичных обращений к элементам GWT-формы.

Общие сведения о тестировании web-приложений

Структура статьи:

1. Основные понятия в тестировании.

2. Инструментарий.

3. Категории тестов.

4. Предполагаемый набор проверок для автотестов.

    4.1. Проверка типичных ошибок.

5. Процесс тестирования.

    5.1. Процесс разработки GUI-тестов для проверки логики работы приложения целиком.

    5.2. Процесс разработки GUI-тестов для отдельных задач, поставленных программистам.

    5.3. Отслеживание процесса разработки тестов в системе bug/task-трекинга.

    5.4. Правила смены статусов задач в системе bug/task-трекинга.

    5.5. Правила расстановки приоритетов для задач-багов.
6. Подготовка и ведение тест-плана.