Разработка методики тестирования программного обеспечения

Основной всплеск интереса к теме тестирования пришёлся на конец 20-го века. Бурное развитие различных технологий привело к росту рынка производства программного обеспечения и к пересмотру вопросов обеспечения качества и надёжности разрабатываемых программ. Резко усилившаяся конкуренция между производителями ПО потребовала особого внимания к качеству создаваемых продуктов, т.к. теперь у потребителя был выбор: многие фирмы предлагали свои продукты и услуги по достаточно приемлемым ценам, а потому можно было обратиться к тем, кто разработает программу не только быстро и дёшево, но и качественно. Ситуация осложнилась тем фактом, что в настоящее время практически все сферы человеческой жизни подвержены компьютеризации, тем самым вопрос о качестве ПО начинает приобретать особую важность, так как сегодня это уже не просто комфорт от работы в той или иной программе, сегодня ПО управляет оборудованием в больницах, диспетчерскими системами в аэропортах, атомными реакторами, космическими кораблями и т.п.

Сегодня тестирование стало обязательной частью процесса производства ПО. Оно направлено на обнаружение и устранение как можно большего числа ошибок. Следствием такой деятельности является повышение качества ПО по всем его характеристикам.

Однако, несмотря на существование большого количества разных методов и видов тестирования, не существует единой методики для проверки ПО, вся информация о том, как нужно тестировать и что для этого предпринять разрозненна по разным научным источникам.

Анализ актуальности обусловили выбор темы исследования: «Разработка методики тестирования программного обеспечения».

Научной проблемой в данной работе является отсутствие единой методики тестирования.

Гипотеза исследования состоит в предположении, что применение разработанной методики тестирования в рамках данного диссертационного исследования поможет улучшит качество выдаваемого функционала.

Целью исследования является разработка методики тестирования программного обеспечения и ее применение на примере.

Для достижения поставленной цели необходимо решить следующие задачи:

• выявить место тестирования в процессе разработки ПО;
• рассмотреть существующие этапы тестирования;
• дать определение термину «методика тестирования»;
• провести анализ существующих видов и методов тестирования;
• принять решение, какие виды и методы тестирования должны быть покрыты новой методикой;
• предоставить новую методику тестирования;
• протестировать новую методику на реальном примере;
• описать возможности применения новой методики тестирования;
• обосновать эффективность новой методики тестирования;
• определить дальнейшее направление в развитии данной методики.

Объектом исследования является процесс тестирования ПО. Предметом исследования является методика тестирования ПО. Методы исследования включают в себя:

• методы тестирования программного обеспечения;
• методы определения качества продукта;
• методы верификации программного обеспечения;
• классификацию;
• систематизацию;
• сравнительный анализ.

Теоретической основной исследования стали:

• отечественные и зарубежные исследования по обеспечению качества программного обеспечения;
• публикации на сайтах, посвященные тестированию программного обеспечения.

Теоретическая значимость работы заключается в том, что в ней проанализированы большинство существующих видов и методов тестирования и систематизированы в одну методику.

Практическая значимость работы заключается в применении новой методики на реальном проекте в компании ООО «НетКрэкер».

Научная новизна работы состоит в разработке новой методики тестирования, которая поможет начинающим и практикующим тестировщикам улучшить качество своего тестирования.

На защиту выносятся:

• Разработанная методика тестирования с ее подробным описанием и делением на конкретные шаги;
• Анализ эффективности разработанной методики.

Данная работа состоит из введения, четырех глав и заключения, а также списка использованной литературы (47 наименований) и приложения.

1.1 Понятие тестирования и его место в процессе разработки ПО

Понятие тестирования рассматривается как в учебниках, так и в нормативных актах. В результате анализа различных источников было выявлено, что наиболее подходящее определение дано в стандарте IEEE Std 829-1983: «тестирование – это процесс анализа программного обеспечения, направленный на то, чтобы выявить, насколько его реально существующие свойства соответствуют требуемым свойствам, другими словами, выявить дефект и оценить свойства ПО» [2].

В ГОСТ Р ИСО МЭК 12207-99 жизненный цикл ПО содержит такие вспомогательные процессы, как аттестация, верификация, совместный анализ и аудит. В процессе верификации определяется то, что программные продукты работают согласно требованиям или условиям, реализованным в предыдущих работах. В данный процесс может быть включен анализ, проверка и испытание (тестирование). Процесс аттестации представляет собой процесс определения того, насколько полно установленные требования, созданная система или программный продукт соответствуют их функциональному назначению. В процессе совместного анализа оцениваются состояния и, если нужно, результаты работ (продуктов) по проекту. В процессе аудита определяется соответствие требованиям, планам и условиям договора. Все рассмотренные процессы в совокупности и составляют то, что обычно называется тестированием.

...

1.2.1 Планирование тестирования и анализ требований

Существует множество работ с описанием различных стадий тестирования. Проанализировав некоторые из них, можно сделать вывод, что некоторые авторы забывают о таком важном шаге как анализ требований, хотя он должен являться неотъемлемой частью любого IT-проекта и тестировщики должны принимать в нем участие и взглянуть на требования со стороны будущего тестирования.

...

1.2.2 Разработка тестовых сценариев

В ходе выполнения данного этапа разработчики создают код и программную документацию. Задачей группы тестирования является разработка тестовых сценариев. Существует множество определений тому, что же такое тестовый сценарий, однако большинство теоретиков склоняются к тому, что тестовый сценарий – это «тестовая документация, в которой записаны стандартные и альтернативные сценарии работы с приложением, используемые при тестировании очередной версии приложения» [31] или «описание последовательности действий в системе и ожидаемого поведения»

...

1.3 Определение понятия «методика тестирования»

В различных источниках дается множество определений такому понятию как «методика», однако во всех них есть что-то общее. Проанализировав данные определения, можно сделать вывод, что методика – это алгоритм определенных действий, который в итоге приводит к заранее определенному результату. Методика играет важную роль в эмпирическом исследовании, и в отличие от метода, в задачи методики не входит теоретическое обоснование полученного результата, т.к. она концентрируется на технической стороне эксперимента [33]. В данном пункте стоит отметить. Что многие ученые забывают о том, что метод – это чисто теоретическое описание чего-либо, в то время как методика придерживается практической обоснованности.

...

2.1 Обзор существующих видов тестирования

Тестирование можно классифицировать по очень большому количеству признаков. В разных источниках приводится различные классификации видов тестирования, однако мы рассмотрим лишь некоторые из них.

В данной главе собраны и описаны большинство видов тестирования, что позволяет систематизировать и расширить знания и значительно ускорить процессы планирования тестирования и разработки тестовых сценариев, а также оптимизировать трудозатраты. После анализа приведенных ниже видов тестирования, можно будет сделать выводы, какие из них обязательно нужно будет покрыть будущей методикой тестирования, а какие из них могут остаться в стороне. Также стоит отметить, что мы не утверждаем, что те виды тестирования, которые не будут покрыты будущей методикой неважны, просто следует отметить, что невозможно в равной степени одной методикой покрыть все существующие виды, так как каждый из них направлен на разные аспекты тестирования ПО, а, как мы помним из предыдущей главы, методика должна быть простой и понятной, не трудозатратной и не перегруженной.

...

2.2.1 Метод черного ящика

Тестирование методом черного ящика осуществляется без каких-либо знаний внутренней работы системы. Это тип тестирования, в котором функциональные возможности программного обеспечения тестируются без каких-либо ссылок на внутренний дизайн, код или алгоритм, используемый в

программе. В наше время многие компании для получения точных результатов передают испытание своих работ третьим лицам. Это происходит потому, что разработчик системы очень хорошо понимает внутреннюю логику и кодирование системы, что делает его непригодным для тестирования его приложения данным методом

...

2.2.2 Метод белого ящика

Тестирование «белого ящика» – особый метод проверки ПО, который подразумевает, что внутренняя структура и технические особенности ПО досконально известны проверяющему. Проверка белого ящика состоит из нескольких взаимодополняющих типов тестирования, используемых для оценки удобства применения веб-продукта, части кода или особого программного функционала.

Основным методом тестирования «белого ящика» является анализ покрытия кода. В настоящее время существуют некоторые инструменты, которые позволяют проанализировать, в какие строки были вхождения во время тестирования, вследствие чего можно значительно повысить покрытие, добавить новые тесты для конкретных случаев, и кроме этого избавиться от дублирующих тестов.

...

Таблица 2.1 – Уровни тестового покрытия

...

2.2.3 Метод серого ящика

В предыдущих пунктах были приведены два основных метода тестирования, принятые стандартом IEEE 1008-87, однако многие тестировщики также выделяют еще один, третий, метод тестирования – метод «серого ящика», который часто представляют комбинацией первых двух методов.

Тестирование «серого ящика» – специальный метод тестирования ПО, когда тестировщик обладает неполным знанием внутреннего устройства системы. Этот метод тестирования также иногда называют методом полупрозрачного ящика: что-то видно, а что-то – нет.

...

3.1.1 Сбор требований о тестируемой системе

Согласно открытым источникам, компания «НетКрэкер» предоставляет BSS услуги для многих проектов, в том числе и для того, который мы приводим в пример. BSS (Business Support System, система поддержки бизнеса) – «прикладное программное обеспечение поддержки деловых процессов предприятия, замкнутое на взаимодействие с абонентами, прежде всего биллинг (выставление счетов, обработка платежей и т.п.), CRM (управление информацией об абонентах, поддержка взаимодействия с ними и т.п.), ERP- системы, применяемые для обеспечения процессов финансового менеджмента, бухгалтерского учёта, управления персоналом, проектами и основными фондами также относят к подкатегории BSS»

...

3.2.2 Интеграционное тестирование, отслеживание найденных ошибок

В данном случае мы будем тестировать интеграцию первых двух систем: первая – где пользователь вводит свои данные, вторая – система для дальнейшей обработки заказа. Для интеграционного тестирования обычно используется логирование, которое в данном случае мы не можем показать, однако мы можем предоставить примерное описание, как оно выглядят.

Итак, каждый заказ имеет свой уникальный идентификатор, по которому можно найти все сообщения, принадлежащие данному заказу. Помимо этого, каждое сообщение, кроме самого текста, должно содержать заголовки (headers), которые несут информативную цель, часто они содержат уникальный идентификатор заказа и заказчика, временные штампы, хост, с которого и на который было направленно сообщение, медиа тип (в данном случае application/json) и т.п.

...

3.2.6 Выдача

На данном этапе задача тестировщика – написать руководство по установке сборки на реальный сервер, а также написать руководство по настройки каких-либо новый функций. Данный шаг ни в коем случае нельзя пропускать, так как без правильных настроек некоторые функции системы могут работать некорректно.

В данном случае на текущем проекте, помимо руководства по установке, должно быть написано только одно руководство: «Как включить логирование для новых сообщений», так как в случае каких-либо ошибок будет невозможно посмотреть отправленные/ полученные сообщения, что приведет к дальнейшим проблемам.

...

4.1 Обоснование эффективности представленной методики тестирования

Данная методика была внедрена в проект компании «НетКрэкер» в мае 2020 года в одной команде, а затем в ноябре 2020 года внедрена во второй. В данном пункте будет рассмотрена эффективность данной методики, ее достоинства и недостатки на примере первой команды, которая работает по данной методике уже более двадцати спринтов. Вторая команда только начала свой переход на данную методику, и еще рано судить о результатах.

Стоит отметить, что данный проект работает по гибкой методологии Scum, где команда выполняет свою работу в течение определенного временного интервала, который называется спринт. На данном проекте спринт длится две недели, а выдача разработанного функционала происходит один раз в месяц (после каждого второго спринта).

...

ЗАКЛЮЧЕНИЕ

В работе был сделан вывод, что, в настоящее время не существует единого определения для такого термина, как «методика тестирования», в результате чего было предоставлено собственное определение данному термину – это конкретные действия, шаги для достижения контроля качества программного обеспечения.

Был сделан вывод о том, что некоторые из них должны быть покрыты новой методикой тестирования, например, интеграционное и системное тестирование, а также тестирование документации.

В результате, проанализировав существующие методы и виды тестирования, в работе была представлена и опробована на реальной системе новая методика тестирования, содержащая следующие шаги:

...