Русские Блоги
Используйте PICT для создания тестовых примеров с полным охватом комбинаций
Резюме
PICT (Инструмент парного независимого комбинаторного тестирования) — это инструмент для разработки тестовых случаев, используемый внутри Microsoft. В процессе фактического использования вам необходимо ввести соответствующие параметры тестового примера, после чего PICT сможет эффективно создать и спроектировать тестовый пример в соответствии с принципом попарного тестирования, чтобы получить исчерпывающую комбинацию параметров.
О комбинированном тесте два на два:
При тестировании «черного ящика» значения нескольких входных параметров часто комбинируются друг с другом. Практика и исследования показали, что около 70% сбоев программного обеспечения вызваны одним или двумя параметрами. Вызвано совместными действиями. Следовательно, комбинированное тестирование, особенно попарное комбинированное тестирование, признано очень эффективным методом тестирования программного обеспечения в реальной инженерии.
Однако в реальном рабочем процессе слишком много пар комбинаций, и PICT очень хорошо решает эту проблему.
установка
Нажмите на официальный сайт, чтобы скачать, Может использоваться после установки.
Программа установки PICT добавит путь PICT к системным переменным, чтобы мы могли запускать его с любого пути в системе.
Простой пример
PICT — это инструмент командной строки. Перед выполнением необходимо подготовить файл модели в виде обычного текста, чтобы подробно описать параметры (или набор конфигурации, набор данных и т. Д.) Тестируемого интерфейса. Следует пояснить один момент: PICT используется очень широко и не ограничивается тестированием интерфейса, функциональным тестированием и т. Д.
PICT создает набор кратких вариантов значений параметров для формирования комбинированного тестового примера покрытия. Чтобы дать простой пример, теперь есть интерфейс, и его поддерживаемые параметры: 
Сначала создайте файл test.txt как файл модели, а затем введите набор параметров в текстовом инструменте. Обратите внимание, что все знаки препинания должны быть английскими:
После сохранения нажмите и удерживайте shift в каталоге документа и щелкните правой кнопкой мыши, выберите «Открыть окно команд здесь», чтобы выполнить pict test.txt ,следующее: 
В этот момент pict напечатает произвольную комбинацию параметров на экране; для удобства просмотра мы также можем перенаправить вывод: 
Файл модели
Разделы модели
Стандартный формат определения файла модели следующий, [разделы] означает необязательный:
Элементы модели всегда следует указывать в указанном выше порядке и не могут перекрываться. Сначала появляется часть определения параметра, за которой следуют необязательные подмодели и определения ограничений. Если вы их используете, вам не нужны специальные разделители между параметрами. Пустые строки могут появляться где угодно. Мы можем идентифицировать комментарии по префиксу "#".
Определение ограничения
Доступны следующие операторы: =, <>,>,> =, <, <= и подстановочный знак нечеткого соответствия LIKE. В выражении нечеткого сопоставления «*» соответствует любому количеству символов, а «?» Соответствует одному символу. Для изменения приоритета оператора по умолчанию также разрешены скобки; логические операторы поддерживают IN, IF, THEN, ELSE, NOT, AND, OR;
Пример:
Name already in use
If nothing happens, download GitHub Desktop and try again.
Launching GitHub Desktop
If nothing happens, download GitHub Desktop and try again.
Launching Xcode
If nothing happens, download Xcode and try again.
Launching Visual Studio Code
Your codespace will open once ready.
There was a problem preparing your codespace, please try again.
Latest commit
Git stats
Files
Failed to load latest commit information.
README.md
Pairwise Independent Combinatorial Testing
PICT generates test cases and test configurations. With PICT, you can generate tests that are more effective than manually generated tests and in a fraction of the time required by hands-on test case design.
PICT runs as a command line tool. Prepare a model file detailing the parameters of the interface (or set of configurations, or data) you want to test. PICT generates a compact set of parameter value choices that represent the test cases you should use to get comprehensive combinatorial coverage of your parameters.
For instance, if you wish to create a test suite for partition and volume creation, the domain can be described by the following parameters: Type, Size, File system, Format method, Cluster size, and Compression. Each parameter has a limited number of possible values, each of which is determined by its nature (for example, Compression can only be On or Off) or by the equivalence partitioning (such as Size).
There are thousands of possible combinations of these values. It would be difficult to test all of them in a reasonable amount of time. Instead, we settle on testing all possible pairs of values. For example, is one pair, is another; one test case can cover many pairs. Research shows that testing all pairs is an effective alternative to exhaustive testing and much less costly. It will provide very good coverage and the number of test cases will remain manageable.
See doc/pict.md for detailed documentation on PICT and http://pairwise.org has details on this testing methododology.
The most recent pict.exe is available at https://github.com/microsoft/pict/releases/.
PICT consists of the following projects:
- api: The core combinatorial engine,
- cli: PICT.EXE command-line tool,
- clidll: PICT.EXE client repackaged as a Windows DLL to be used in-proc,
- api-usage: A sample of how the engine API can be used,
- clidll-usage: A sample of how the PICT DLL is to be used.
Building and testing on Windows with MsBuild
Use pict.sln to open the solution in Visual Studio 2019. You will need VC++ build tools installed. See https://www.visualstudio.com/downloads/ for details.
PICT uses MsBuild for building. _build.cmd script in the root directory will build both Debug and Release from the command-line.
The test folder contains all that is necessary to test PICT. You need Perl to run the tests. _test.cmd is the script that does it all.
The test script produces a log: dbg.log or rel.log for the Debug and Release bits respectively. Compare them with their committed baselines and make sure all the differences can be explained.
There are tests which randomize output which typically make it different on each run. These results should be masked in the baseline but currently aren’t.
Building on Linux, OS/X, *BSD, etc.
PICT uses CMake to build on Linux. Assuming installation of CMake and C++ toolchain, following set of commands will build and run tests in the directory build
Использование PICT для парного тестирования (pairwise)
Pairwise тестирование (Парное тестирование) — это метод позволяет обнаруживать дефекты с использованием комбинационного метода двух тестовых случаев. Он основан на наблюдении, что большинство дефектов вызвано взаимодействием не более двух факторов. Следовательно, выбирается пара из двух тестовых параметров, и все возможные пары этих двух параметров отправляются в качестве входных параметров для целей тестирования.
Этот метод используется, когда количество входных параметров велико. Например, мы хотим протестировать разделы системного диска с параметрами:
Type: Primary, Logical, Single, Span, Stripe, Mirror, RAID-5
Size: 10, 100, 500, 1000, 5000, 10000, 40000
Format method: quick, slow
File system: FAT, FAT32, NTFS
Cluster size: 512, 1024, 2048, 4096, 8192, 16384, 32768, 65536
Compression: on, off
В Итоге получается 4 704 комбинацией случаев. Метод парного тестирования позволяет существенного сократить количество комбинаций.
Для удобства получения выходного множества тестов существует программа от Microsoft PICT. Установите ее себе на компьютер. Программа работает из командной строки.
Например, сохраним описанные ранее параметры в текстовый файл:
В командной строке вводим входной и выходной файл:
Входной файл model.txt, в выходном файле model_out.xls будет содержаться таблица всех возможных тестов по методу парного тестирования:
В данном случае количество тест кейсов уменьшилось с 4 704 до 60. Это существенно сократит время и ресурсы на тестирование.
Жизнь — это движение! А тестирование — это жизнь 🙂
Так же есть онлайн тулза — https://inductive.no/pairwiser-tool/. Позволяет отметить отдельные пары как невозможные.
PS — это выдержка из моей книги для начинающих тестировщиков, написана в помощь студентам моей школы для тестировщиков .
8 комментариев:
"This service will be shut down on January 15th 2018. Please take out the information you need before that time. A stand-alone version of Pairwiser is available for purchase on our website. Thank you for using Pairwiser."
Увы, такое бывает )
Из бесплатных онлайн инструментов, есть еще https://pairwise.teremokgames.com/ Не такой продвинутый как закрытый ныне https://inductive.no/pairwiser-tool/ но основную задачу выполняет.
https://pairwise.teremokgames.com/ — работает с ошибками
а вот допустим у меня вариации с радиобаттонами и чекбоксами. что-то не найду инструмент который это поддерживал бы
ссылка на скачивание PICT из вики, к сожалению, не рабочая..
Обо мне
Ольга Назина (Киселева) Уже более 12 лет как тестировщик 🙂
Автор портала Testbase — школы начинающих тестировщиков.
Автор Багреда — сервиса проверки названия багов
Я веду курсы для тестировщиков (для начинающих и не только). Отдельные ссылки смотри ниже в блоке «мои курсы»