Тестирование проведено в соответствии с планом - в два этапа (ручное и автоматизированное), проверены основные функциональные возможности приложения с учетом первичного исследовательского тестирования и метода черного ящика (т.к. нет требований и документации). Для этого сформирован чек-лист и тест-кейсы, самые ключевые из которых были автоматизированы.
При тестировании использовался подготовленный набор из 83 тест-кейсов (из них автоматизировано 20) - Cases.xlsx
В результате выявлено 12 дефектов (без критических и блокирующих) - Bug reports.xlsx .
Краткое описание дефектов:
| Номер дефекта | Название | Критичность | Тест-кейс |
|---|---|---|---|
| D-001 | Очистка полей Login/Password при смене ориентации экрана | Незначительная (Minor) | ТК6-003 |
| D-002 | Неправильное сообщение о неверно введенном логине | Незначительная (Minor) | ТК1-009 |
| D-003 | Неправильное сообщение о неверно введенном пароле | Незначительная (Minor) | ТК1-010 |
| D-004 | Недоступность пункта главного меню 'О приложении' при нахождении на экране 'Новости' | Значительная (Major) | ТК2-004 |
| D-005 | Неотображение кнопок на экране фильтра новостей в панели управления в альбомном режиме экрана | Значительная (Major) | ТК6-003 |
| D-006 | Невозможность фильтрации на странице новостей с указанием только одной даты | Незначительная (Minor) | ТК3-010 |
| D-007 | Невозможность фильтрации новостей в панели управления с указанием только одной даты | Незначительная (Minor) | ТК4-005 |
| D-008 | Наличие всплывающего сообщения с вопросом о необходимости сохранения введенной информации при отсутствии такой информации в окне создания новости при отмене создания кнопкой "Отмена" | Незначительная (Minor) | ТК4-014 |
| D-009 | Отсутствие всплывающего сообщения с вопросом о необходимости сохранения введенной информации в окне создания новости при отмене создания кнопкой "Назад" | Значительная (Major) | ТК4-015 |
| D-010 | Неверная формулировка вопроса всплывающего сообщения при отмене создания несохраненной новости в англоязычной локации | Незначительная (Minor) | ТК6-001 |
| D-011 | Поле "Категория" в окне создания/редактирования новости доступно для ручного редактирования | Незначительная (Minor) | ТК4-011 |
| D-012 | Неверная дата создания новости | Значительная (Major) | ТК4-009 |
Итог: на подготовку и проведение тестирование уделено больше времени, чем планировалось. Сработал риск отсутствия опыта в автоматизации и занятости тестировщика на другой работе.
На ручное тестирование - 5 часов.
На подготовку автотестов - 40 часов.
При этом автотесты отрабатывают примерно за 2,5мин, что позволит значительно экономить время в будущем при проведении смоук и регресс тестов.
Результаты автотестов в Allure - allure-results.zip
