Phoronix Test Suite
No prerequsite modules loaded — compilers such as GCC and CMake may be required for installing tests, specific test dependencies will also apply.
Phoronix Test Suite is a free and open-source benchmark software for Linux and other operating systems which is developed by Michael Larabel and Matthew Tippett. Phoronix Test Suite integrates with https://openbenchmarking.org/ where tests, suites of tests and uploaded benchmarks from users are available.
Usage
Phoronix Test Suite can be activated using the following module file:
The Phoronix Test Suite executable is phoronix-test-suite but is aliased to the command p . The Phoronix Test Suite can be launched during an interactive session with X Window support (e.g. an interactive qrshx session) or used in batch jobs when appropriately configured.
Introduction
Phoronix Test Suite contains a very large number of benchmarks which can be used to become familiar with the software.
A list of these tests/test suites can be found here: https://openbenchmarking.org/tests
Concepts to be aware of include:
You can save your results locally or also upload your results to the OpenBenchmarking website which may be useful for comparison.
Benchmark tests are typically discrete by a single program but may have multiple test modes to characterise different aspects of that program.
Test suites are a group of benchmark tests.
You will not be able to install dependencies with sudo — you will need to install these yourself, load them and override the check in phoronix for dependencies by setting the following environment variable: SKIP_EXTERNAL_DEPENDENCIES=1 .
Any dependencies will need to be installed / handled by you e.g. python, conda and tensorflow for the pts/ai-benchmark benchmark.
You can set the test name and unique identifier for a test interactively when running the program or with the following environment variables when in batch jobs: TEST_RESULTS_NAME="My Test Name" , TEST_RESULTS_IDENTIFIER="My Unique ID" .
Common commands include:
p list-all-tests to list all benchmark tests.
p info yourtestnamehere to get info about a given a benchmark test.
p benchmark yourtestorsuitenamehere to run a benchmark test.
p install yourtestnamehere to install a benchmark test.
p upload yourtestnamehere to upload your benchmark test results.
p build-suite to start building a custom suite of your own benchmark tests, you can also use this to pre-select options for benchmarks when batch testing.
p batch-setup to setup phoronix running batch jobs (set this up if doing batch jobs.)
p batch-benchmark yourtestorsuitenamehere to run a batch benchmark job.
Phoronix Test Suite example benchmarks / suites
Interactive jobs
The Phoronix Test Suite can be called like a normal executable when in an interactive session requested via qrshx
Simply entering the command p will list the commands which are available.
As an example, you can start the CPU stress testing benchmark, stress-ng with the following command:
Batch jobs
Here is an example batch submission script which is running a custom build CPU test suite called sharccpu which reserves a node exclusively for 24 hours (this will take a long time to queue):
Installation notes
PHP and several modules are required for Phoronix Test Suite to function, PHP has been manually compiled from source alongside these modules and any dependencies.
The sourcefiles for this will be located within:
The module file can be found at the following location:
The Makefile can be found at the following location:
The PHP_INI_SCAN_DIR environment variable is set in the module file to direct PHP to load the required PHP extensions:
The ./configure for this compiling is as follows:
Please ensure that the PKG_CONFIG_PATH environment variable is set correctly:
Compiling and installing PHP modules will require you to first load the Phoronix Module then follow the instructions (with respect to phpize and onward) in this link: https://ma.ttias.be/how-to-compile-and-install-php-extensions-from-source/
© Copyright 2023, The University of Sheffield.
© 2023, The University of Sheffield alt=»Creative Commons License» width=»» />
Оцениваем производительность инфраструктуры с Phoronix Test Suite
Aloha всем хабравчанам! Я Влад, системный администратор Cloud4Y. Хочу рассказать, как и зачем мы используем продукт Phoronix Test Suite, а также каким образом можно точно и легко определить реальную (не заявленную) производительность оборудования, предоставленного провайдером облачных услуг.
Во время выбора площадки для размещения инфраструктуры клиенты часто спрашивают, где у Cloud4Y находятся ЦОДы, какая сетевая инфраструктура, виртуализация, SLA и т. д. Это правильно, но важно обращать внимание и на аппаратный комплекс дата-центра. Как можно оценить его эффективность? Хороший вариант — с помощью Phoronix Test Suite.
Что такое Phoronix Test Suite
Phoronix Test Suite (PTS) — это свободно распространяемое (GNU GPLv3) кроссплаформенное ПО для проведения тестов – бенчмаркинга. PTS умеет проводить тесты в автоматическом режиме и доступен на Windows, Linux, macOS, Solaris и BSD. Phoronix Test Suite комплексно оценивает производительность компонентов системы, так как включает в себя более 600 различных тестов, начиная от производительности процессора и заканчивая тестами приложений (например, Apache или NGINX).
У PTS плотная интеграция с сайтом OpenBenchmarking.org, туда можно выгружать результаты, сохранять их в личной базе данных, делиться конфигурациями тестов. Согласно базе тестов OpenBenchmarking.org, различают 6 типов тестов:
Disk – тестирование дисковой подсистемы. Например, Flexible IO Tester – известный как fio, популярный тестер I/O.
Graphics – тестирование графического адаптера. Например, Unigine Heaven — тест вычисляет среднюю частоту кадров в Heaven для движка Unigine. Этот движок чрезвычайно требователен к видеокарте системы.
Memory – тестирование оперативной памяти. Например, Stream – является самым популярным тестом для проверки производительности оперативной памяти.
Network – тестирование сетевой производительности системы. Например, Loopback TCP Network Performance – тест проверяет, насколько эффективно работает сетевой стек TCP/IP.
Processor – тестирование эффективности процессора. Например, x264 — тест производительности при кодировании образца файла с помощью x264 кодека, запущенного на ЦП (OpenCL отключен).
System – тестирование общей производительности системы. Например, Apache HTTP Server — тест веб-сервера Apache HTTPD с помощью программы на Golang’e «Bombardier».
Важно: хотя phoronix можно использовать на различных ОС, тесты не всегда поддерживают все платформы. Поэтому перед тестированием рекомендую внимательно ознакомиться с выбранным тестом. Проверить совместимость можно двумя способами:
Первый: открыть на сайте OpenBenchmarking.org вкладку Tests и, найдя нужный тест, увидеть список поддерживаемых ОС.
Второй: открыв тест, посмотреть список поддерживаемых ОС.
Теперь, когда мы познакомились с продуктом, можно перейти к работе с ним. Погнали!
Установка Phoronix Test Suite
Рассмотрим установку PTS на операционные системы Linux и Windows. В качестве OC Linux используется Ubuntu 20.04 LTS, OC Windows – Windows Server 2019.
Для установки на Ubuntu 20.04
sudo apt-get update && sudo apt-get upgrade
устанавливаем необходимые пакеты
sudo apt install php7.4-gd curl git sqlite3 bzip2 php-cli php-xml
скачиваем дистрибутив PTS с официального github phoronix
git clone https://github.com/phoronix-test-suite/phoronix-test-suite
переходим в каталог с phoronix-test-suite и устанавливаем PTS путём запуска скрипта
cd phoronix-test-suite && sudo ./install-sh
Если у вас Windows Server 2019, делаем так:
Обновляем систему с помощью Центра обновления Windows.
Скачиваем дистрибутив PTS с официального github.
Деархивируем скачанный файл в корень диска С. Открываем консоль с правами администратора, переходим в папку с PTS .
Запускаем скрипт phoronix-test-suite.bat, немного подождём, но за напитками пока рано – иногда нужно прожатие next-next-next. Для начала работы программы наберём phoronix-test-suite в командной строке (командная строка должна изменить свой внешний вид).
Тестирование
Установили? Отлично, теперь тестирование. Все команды PTS аналогичны для Windows и Linux дистрибутивов. Мы будем рассматривать работу в командной строке Linux. Тест можно запустить двумя способами, простым и сложным. Сложный путь – сначала необходимо установить тест (установится сам тест + зависимости)
phoronix-test-suite install < имя теста >
после чего запустить тест
phoronix-test-suite run < имя теста >
но я предлагаю более простой вариант. Используем для запуска теста команду
phoronix-test-suite benchmark < имя теста >
после чего Phoronix установит тест, зависимости и запустит тестирование.
Давайте попробуем запустить тест hmmer. Наберём в консоли
phoronix-test-suite benchmark hmmer
Произойдёт загрузка необходимых компонентов, после чего мы увидим характеристики машины, на которой запускается тест. Нам будут задано несколько вопросов.
Phoronix Test Suite предлагает сохранить результаты. Давайте выберем Y. Следующий вопрос о имени файла результатов тестирования, вводим hmmer-test-result. Ещё один вопрос — про имя конфигурации теста. Оно должно быть уникальным, но можно оставить по умолчанию, просто нажав Enter (Phoronix автоматически сформирует имя). Далее вопрос о описании конфигурации – давайте оставим по умолчанию, нажав Enter.
Далее запустится тест. Терпеливо ждём результаты, а пока их нет, давайте познакомимся с полезными командами Phoronix Test Suite:
phoronix-test-suite help – покажет все доступные команды.
phoronix-test-suite list-all-tests – поможет увидеть все доступные тесты для текущей машины.
phoronix-test-suite list-all-tests | grep Processor для Linux, или .\phoronix-test-suite list-all-tests | Select-String -Pattern Processor для Windows — видим все тесты для процессора.
phoronix-test-suite list-installed-tests – тесты, которые установлены на машине.
phoronix-test-suite list-recommended-tests – список рекомендованных тестов для вашей ОС.
phoronix-test-suite info <name_test> — позволит посмотреть техническую информацию о тесте.
phoronix-test-suite benchmark <test1> <test2> <test3> — позволит установить (если необходимо) и запустить подряд тесты test1, test2, test3.
А вот и тест завершился, вернёмся к результатам hmmer.
Ещё пара вопросов от Phoronix Test Suite после завершения теста. Хотим увидеть результат теста в консоль? /Y. Хотим загрузить результат на OpenBenchmarking.org? /Y. Хотим добавить к результату техническую информацию о машине? /Y. А с помощью полученной ссылки можно ознакомиться с результатами в браузере.
Слишком много вопросов? От них можно избавиться, добавив в параметры выполнение всех опций теста. Введем в командной строке:
Внимание! Чтобы настройки batch применялись, необходимо производить запуск тестов командой batch-benchmark вместо benchmark, в остальном синтаксис сохраняется. Например, phoronix-test-suite batch-benchmark hmmer .
Еще одной удобной особенностью Phoronix Test Suite является возможность записывать данные с различных датчиков системы. Например, частоту ядер процессора, утилизацию процессора и др. Чтобы воспользоваться этим функционалом, набираем в консоли:
MONITOR=all phoronix-test-suite batch-benchmark hmmer
Как вы видите, получился увесистый набор дополнительно записываемых данных:
А теперь самое важное — поговорим о результатах.
После выполнения тестов PTS выводит информацию о проведенном измерении в консоль и/или в файл. Результаты тестирования сохраняются в каталоги по умолчанию
для Windows: C :\Users\< User >\.phoronix-test-suite\test-results
Чтобы увидеть сохраненные тесты:
Чтобы подробно ознакомится с результатами теста
phoronix-test-suite show-result < имя теста > , например
phoronix-test-suite show-result hmmer-test-result
Можно конвертировать файл результатов в один из удобных для форматов: csv, json, pdf и др.
phoronix-test-suite result-file-to-<формат> < имя теста >
Разберёмся, как интерпретировать полученные данные. Наиболее простым вариантом является Excel – им и воспользуемся. Я использовал много разных тестов, так что покажу как выглядит часть моей таблички (зелёный цвет – лучший результат, красный – худший):
Каждый тест при выводе результата указывает, как должно трактоваться числовое значение:
Higher Is Better – чем больше значение, тем лучше.
Lower Is Better – чем меньше значение, тем лучше.
Результат каждого теста заносился в табличку и впоследствии был проведён анализ. Каждая тестируемая площадка получала в типовом тесте +1 за лучший результат, и -1 за худший, все стартовали с 0. После подсчёта получаем относительное число по типам нагрузки на площадке, на основании которого можно получить представление о производительности тестируемых площадок.
Удобство получаемых данных в том, что мы можем однозначно сказать, какая система лучше. Числовой вывод позволяет однозначно интерпретировать полученные значения. Результаты, полученные с помощью Phoronix Test Suite могут использоваться в качестве метрик, на основании которых производится сравнительные тестирования. Если вам нужно получать важные и актуальные данные о состоянии или изменении текущей инфраструктуры, а также быстрее реагировать на «узкие» места в используемых системах, решать проблемы вовремя, то методика тестирования с помощью Phoronix Test Suite — это простой и удобный путь.
В этой статье я показал, как мы проводим один из видов тестирования различных площадок в дата-центрах. Вы тоже можете сравнить вашу текущую инфраструктуру с облачными решениями с помощью программного продукта Phoronix Test Suite. Пусть ваш выбор будет лёгким и выгодным!
Спасибо за внимание.
P.S. А ещё 28 декабря в 15-00 у нас будет вебинар по безопасности в соцсетях. Приглашаем зарегистрироваться.
Что ещё интересного есть в блоге Cloud4Y
Подписывайтесь на наш Telegram-канал, чтобы не пропустить очередную статью. Пишем не чаще двух раз в неделю и только по делу.
Phoronix Test Suite — инструмент для кросс-платформенного тестирования
Phoronix Test Suite — это инструмент автоматического тестирования и оценки с открытым исходным кодом.. Он находится под лицензией GNU GPLv3 и работает практически на всех платформах, таких как операционные системы Linux, Solaris, Mac OS X, Windows и BSD.
Может использоваться для сравнения производительности вашего компьютера с вашими друзьями и коллегами. или его можно использовать в вашей организации для внутреннего контроля качества, проверки оборудования и постоянного управления производительностью. Phoronix Test Suite использовался многими людьми, поставщиками оборудования и многими финансовыми компаниями по всему миру для различных целей.
Среди сильных сторон Phoronix Test Suite — простота использования, большой выбор доступных тестов, возможность автоматической обработки результатов и их графического представления.
Программное обеспечение Он также интегрирует инфраструктуру OpenBenchmarking.org, где пользователи могут загружать результаты и при желании делиться этими результатами с другими пользователями, доступ к ранее загруженным результатам и результатам других пользователей для сравнения результатов.
Также доступен Phoromatic, инструмент, «который обеспечивает автоматическое планирование тестов, удаленную установку новых тестов и управление несколькими тестовыми системами через интуитивно понятный и простой в использовании веб-интерфейс».
Возможности Phoronix Test Suite
- Мультиплатформенная поддержка
- Расширяемая архитектура тестирования
- Интегрирован в облачном масштабе
- 350+ тестовых профилей
- Более 90 пробных пакетов
- Поддержка автоматического пакетного режима
- Автоматическая загрузка и установка пробной версии
- Поддержка управления зависимостями
- Модульная архитектура плагинов
- Отчеты о минимальных / средних / максимальных результатах
- Безопасный мониторинг и мониторинг стандартного отклонения
- Поддержка рендеринга графиков PNG, SVG
- Отчеты о результатах в PDF
- Подробное программное обеспечение, обнаружение оборудования
- Поддержка системного мониторинга
- Доступна индивидуальная инженерная и коммерческая поддержка
Как установить Phoronix Test Suite на Ubuntu и производные?
Если вы хотите измерить эффективность своей команды с помощью этого инструмента, вы можете сделать это, следуя инструкциям, которыми мы делимся с вами ниже.
Phoronix Test Suite доступен в репозиториях Ubuntu по умолчанию, поэтому вы можете легко установить его с помощью команды
Но пакеты в репозиториях по умолчанию, вероятно, очень старые. Поэтому желательно получить последнюю версию с официальной страницы загрузки.
На данный момент текущая стабильная версия — 8.6.0, которую мы можем загрузить с помощью команды wget:
После завершения загрузки мы можем выполнить установку с помощью нашего любимого диспетчера пакетов или из терминала, выполнив команду dpkg:
А любую проблему с зависимостями мы решаем командой:
Базовое использование Phoronix Test Suite
В наборе тестов Phoronix есть множество тестов. Чтобы увидеть все тесты, мы собираемся выполнить команду:
При первом запуске нам будет предложено принять лицензионное соглашение, нажмите, чтобы принять.
Кроме того, им будет предложено включить анонимные отчеты об использовании / статистике и анонимные статистические отчеты об установленном программном обеспечении / оборудовании.
Если вас не интересует включение этих отчетов, просто введите n, чтобы отклонить и продолжить тестирование.
Приняв это, нам будет показана информация о нашей команде и варианты, которые мы можем выполнить.
Чтобы узнать, какие тесты можно проводить с приложением, мы просто наберем:
И список будет отображаться так:
Теперь, глядя на варианты, которые он позволяет нам выполнять, здесь каждый человек сможет выполнить тесты, которые он должен выполнить.
Чтобы выполнить тестовый тест на нашем компьютере, мы можем использовать опцию:
И здесь мы перечислим тесты, которые мы можем провести, и с этим, когда они получат результаты, они могут купить их с другими людьми в сети, опцией может быть OpenBenchmarking.org. Веб-сайт представляет интерес даже без регистрации, потому что он позволяет вам ознакомиться с тестами, выполненными другими, или загрузить их, чтобы воспроизвести их локально.
Если вам известен какой-либо другой инструмент, который можно протестировать в Ubuntu, не стесняйтесь поделиться им с нами в комментариях.
Содержание статьи соответствует нашим принципам редакционная этика. Чтобы сообщить об ошибке, нажмите здесь.
Полный путь к статье: Убунлог » Программные обеспечения для георадаров » Phoronix Test Suite — инструмент для кросс-платформенного тестирования
Phoronix Test Suite: протестируй своего пингвина
Существует целый класс программ, предназначенных для сравнительного тестирования свойств, надёжности и производительности компьютера. Такие программы называются бенчмарками (англ. benchmark). В этой статье рассмотрим средство для автоматизации тестирования Phoronix Test Suite 2, предназначенного для систем Linux, OpenSolaris, BSD, Mac OS и рассчитанного на простого пользователя (www.phoronix-test-suite.com).
Теория
Для систем Windows специализированных бенчмарков создано довольно много. Это, например, 3DMark — набор тестов для измерения производительности игровой трёхмерной графики, PCMark — интегральный тест всех подсистем компьютера, Nero CD/DVD Speed — тестирование оптических приводов и др.
Эти тесты производительности сами по себе для некоторых пользователей и оверклокеров превратились в спорт и развлечение. Не обошлось в своё время также без скандалов, когда производители видеокарт были уличены в оптимизации драйверов для теста в программе 3DMark.
До последнего времени для систем «Линукс» бенчмарков, представляющих интерес для обычного пользователя, было не так уж и много. Линуксоиды с умилением запускали простенькие 3D-шестерёнки glxgears, которые на самом деле ничего толком не измеряют, и радовались уже тому, что система хотя бы работает.
Но сейчас ситуация с тестами для «Линукс» кардинально меняется. Очень активно над решением задачи популяризации бенчмаркинга среди пользователей *NIX-систем работают специалисты портала Phoronix. Этот портал занимается техническим исследованием аппаратных и программных средств и ориентирован на «Линукс».
Недавно портал представил вторую версию своего свободного пакета для тестирования производительности Phoronix Test Suite 2. Пакет распространяется под лицензией GPLv3 и пытается обеспечить потребность простых пользователей в удобном инструменте для тестов и измерений вычислительной мощности системы.
Phoronix Test Suite представляет собой набор специальных скриптов, позволяющих произвести тестирование того или иного компонента компьютерной системы. Также Test Suite — это и среда для управления, организации и запуска всех этих скриптов. Программа обеспечивает вывод результатов тестов в виде html-страницы в браузере. Поддерживаются режимы работы и в консоли, и в графическом режиме.
В качестве тестов используются внешние приложения. То есть при помощи Test Suite можно довольно просто протестировать и скорость компьютерных игр, и время компиляции ядра, скорость компрессии архиваторов, время кодирования видеофайлов и т. д. Во время проведения тестов программа может осуществлять контроль над состоянием оборудования — скорость вращения кулера, температура процессора.
На данный момент программа содержит около сотни тестовых профилей и около пятидесяти тестовых наборов (Suites). Suites представляют собой комплексные наборы бенчмарков, собранных по своей специализации — игры, архивирование, компиляция и т.д.
Портал Phoronix специализируется, в первую очередь, на подсистеме видео, поэтому не стоит удивляться, что большая часть тестов рассчитана на игровые приложения. Однако достоинством Test Suite является расширяемость и то, что список новых тестов постоянно пополняется.
И, естественно, результатами бенчмарков можно похвастать, опубликовав их непосредственно на специальном сервисе Phoronix Global.
Практика
Базовый пакет Phoronix Test Suite содержит в себе самое основное — скрипты, документацию и xml-профили тестов. Скачать с портала Phoronix можно не только общий пакет, но и deb-пакеты для Debian и Ubuntu. Вес базового архива на данный момент составляет около 350 килобайт.
Непосредственно сами разработчики подчёркивают, что программа тестировалась на Fedora и Ubuntu. Установка общего пакета заключается в распаковке скачанного архива и запуске инсталляционного скрипта.
Скрипты Test Suite — это скрипты на PHP. Поэтому основной зависимостью для работы программы является наличие установленного в системе пакета php5-cli. Это обеспечит работу и функционирование приложения в консольном режиме. Для работы в графическом режиме необходим пакет PHP-GTK. Но он может не входить в состав многих дистрибутивов, и его нужно будет искать в Сети и устанавливать самостоятельно. Поэтому остановимся на консольных возможностях программы.
После установки следует просмотреть список установленных тестов командой:
В ответ будет выведен список всех тестов в формате, указывающем название и описание теста, его статус:
apache — Apache Benchmark [VERIFIED, FREE]
doom3 — Doom 3 [VERIFIED, RETAIL]
super-pi — Super PI [VERIFIED, NON-FREE]
Но, чтобы провести бенчмарк или сравнительный тест, необходимо наличие дополнительных файлов, являющихся материалами для проведения тестов. Например, для тестирования кодирования видео потребуются видеофайлы. К тому же нужно, чтобы были установлены необходимые внешние программы для проведения теста.
Для установки необходимого контента используется специальная команда, например, установим бенчмарк super-pi — популярный тест стабильности, вычисляющий число Пи с большой точностью:
В результате с ftp-серверов Phoronix будут скачаны необходимые файлы, а также указаны зависимости, которые нужно разрешить. Следует учесть, что тестовые файлы могут иметь довольно большой размер.
Для разрешения зависимостей, если это необходимо, можно применить специальную команду, которая использует возможности штатного пакетного менеджера:
Все установленные и готовые к работе тесты можно просмотреть:
compress-gzip — Gzip Compression
fract — FRACT
super-pi — Super PI
Теперь осталось только запустить нужный тест:
Скрипт сначала потребует выполнения некоторых формальностей, после чего запустится сам тест. Результаты теста можно посмотреть в браузере, где, кроме таблицы с результатами, будет выведена информация об аппаратной и софтверной начинке компьютера. Дополнительно будет ещё предложено опубликовать свои достижения на онлайн-сервисе Phoronix Global.
Вот, собственно, основные принципы работы Phoronix Test Suite. И не забываем, что с программой поставляется очень подробная документация, правда, пока ещё только на английском языке.
Из личных наблюдений отмечу, что у меня не все тесты получилось запустить на Debian в силу того, что не все зависимости удалось разрешить. Как уже сказано выше, в первую очередь, Test Suite тестировался для Fedora и Ubuntu.
Но есть ещё один вариант в виде специального LiveDVD дистрибутива PTS Desktop Live, основанного на тестовой сборке Ubuntu 9.10. Это специальный LiveDVD, в состав которого включено большинство из наборов тестов.