В декабре 1996 г. на базе ГНЦ ЦНИИ РТК по заказу Администрации Санкт-Петербурга прошел второй этап смотра-конкурса поставщиков вычислительной техники Северо-Западного региона. В дополнение к первому, майскому, этапу на этот раз, кроме персональных компьютеров на Pentium-процессорах, тестировались серверы в двух номинациях - файл-серверы и серверы приложений. Тестирование компьютеров в ГНЦ ЦНИИ РТК является единственным в России мероприятием подобного рода, проводимым специалистами государственного сборочного производства под контролем независимых экспертов. Для обеспечения коммерческой независимости получаемых результатов в качестве экспертов привлекались специалисты предприятий естественных монополистов региона и коммерческих банков. Для того, чтобы обеспечить возможность сравнения полученных результатов с данными зарубежных тестирований, были выбраны тесты, разработанные Ziff Davis Benchmark Operation (ZDBOp), подразделении Ziff-Davis Publishing Company (ZD).

NetBenchя 5.0, ServerBenchя 3.0 - тесты производительности для серверов.

Pассматриваемые в данной статье тесты производительности для серверов разработаны в Ziff-Davis Benchmark Operation (ZDBOp), подразделении Ziff-Davis Publishing Company (ZD). Это подразделение уже значительное время занимается созданием тестов, результаты которых используются в публикациях ZD. Ниже рассматриваются версии тестов, являющиеся последними из выпущенных ZDBOp на данный момент.

Результаты тестирования серверов с использованием рассматриваемых тестов публикуются как в отечественных, так и в зарубежных изданиях, что позволяет производить оценку полученных результатов. Необходимо, однако, помнить, что нельзя сравнивать численные значения, полученные в результате выполнения данных тестов в своем конкретном тестовом окружении (аппаратура и ПО клиентов и тестовая ЛВС), с результатами, полученными при использовании другого тестового окружения, а также с результатами, полученными при выполнении других версий тестов.

Более подробную информацию о ZDBOp и последние версии тестов можно получить, используя URL http://www.zdnet.com/zdbop.

NetBench 5.0 - это независимый от платформы сервера тест для определения производительности сервера как файлового сервера, то есть способности сервера выполнять запросы на доступ к файлам от клиентов - компьютеров, работающих под управлением DOS, Windowsя 95, Windows for Workgroups, Windows NTя Workstations и Macя OS, и взаимодействующих с сервером по ЛВС.

Для выполнения теста NetBench необходимы следующие аппаратные и программные компоненты:

Файловый сервер (тестируемый сервер): компьютер с установленной сетевой операционной системой, позволяющей использовать дисковые ресурсы сервера клиентами, подключенными к серверу по ЛВС. На разделенном диске (томе) сервера клиенты создают рабочие файлы во время теста. На том же томе находятся и исполняемые файлы для клиентов и контроллера. Необходимый минимальный размер тома зависит от сценария теста и для стандартного сценария составляет около 1.3 ГБ.

Клиенты: IBM PC совместимые компьютеры или компьютеры Mac, имеющие доступ к тестируемому серверу по ЛВС и выполняющие клиентские программы NetBench. Именно на клиентах выполняется тест NetBench, клиенты посылают на файловый сервер запросы ввода/вывода, создавая нагрузку, имитирующую работу пользователей с тестируемым сервером. При выполнении теста может быть использовано любое сочетание клиентов, работающих под MS DOS, 16-бит, 32-бит MS Windows и Mac OS.

Контроллер: IBM PC совместимый компьютер под управлением MS Windows 95 или MS Windows for Workgroups 3.11, имеющий доступ к тестируемому серверу по ЛВС, на котором запускается ПО контроллера теста NetBench (на контроллере также должно быть установлено ПО MS Excel 5.0). С данного компьютера (при помощи ПО контроллера) выполняются конфигурация, запуск и останов теста NetBench, а также наблюдение за выполнением теста, сбор и обработка результатов. Контроллер, в отличие от клиентов, не является нагрузкой сервера во время теста.

ПО клиентов и контроллера теста NetBench работает на уровне файлового доступа к разделяемому дисковому ресурсу (запросы Create, Open, Close, Read, Write и т.п.) и не требует никакого дополнительного ПО на сервере. Поэтому тест NetBench может быть выполнен для сервера на любой платформе и под управлением любой сетевой ОС, достаточно лишь, чтобы существовало (и было установлено на клиентах и контроллере) клиентское ПО, обеспечивающее файловый доступ к ресурсам сервера.

NetBench является "синтетическим" тестом, то есть на клиентах исполняются не реальные приложения, а специально созданные программы, которые выполняют набор файловых операций ввода/вывода, характерных для реальных приложений.

Стандартный сценарий теста NetBench - Disk Mix - построен на основе анализа операций ввода/вывода, осуществляемыми наиболее популярными приложениями для DOS, Windows и MAC OS при выполнении типовых задач. Еще один сценарий - NIC - позволяет измерить производительность сетевой подсистемы сервера (вместе с тестовой ЛВС). Кроме этого, NetBench позволяет создать свои сценарии тестирования, отражающие специфические требования и особенности задач заказчиков тестирования.

Тест NetBench позволяет адекватно и повторяемо измерять производительность файлового сервера при различных типах запросов от клиентов к серверу. Тест NetBench, теоретически, может управлять при тестировании до 1000 клиентами, однако реально необходимые результаты можно получить при значительно меньшем числе клиентов (стандартный сценарий теста рассчитан на 60 клиентов), так как при тестировании клиенты NetBench создают для сервера нагрузку значительно большую, чем обычные, клиент реальной ЛВС (поскольку только тем и занимаются, что "бомбардируют" сервер запросами ввода/вывода).

При выполнении стандартного сценария теста проводятся измерения производительности сервера при изменении нагрузки на сервер. Нагрузка на сервер изменяется путем изменения количества клиентов, исполняющих тестовые операции. В стандартном сценарии проводятся измерения (проходы теста) для 1, 4, 8, 12, 16, 20, 24, 28, 32, 36, 40, 44, 48, 52, 56, 60 клиентов. Производительность в каждом проходе измеряется в Б/с, и определяется как суммарный объем информации, переданный между, участвующими в тесте клиентами и сервером за время прохода теста, деленный на время прохода теста. Данные собираются на каждом клиенте и передаются в контроллер после окончания прохода теста. Обработанные данные о проходе теста (не только общая производительность, но и другие данные) запоминаются на контроллере, и, после завершения всего теста по ним, генерируется отчет в MS Excel (при помощи макросов) в виде таблиц и графиков. При этом, часто на графике производительность отображают в Мб/с

Результаты, получаемые при выполнении теста NetBench, могут быть использованы для:

• сравнения различных серверов (результаты тестов можно сравнивать только при одинаковом составе тестового окружения - аппаратуры и ПО клиентов и ЛВС);
• определения реальной производительности сервера при выполнении файловых запросов ввода/вывода при различных нагрузках;
• настройки сервера, то есть определения влияния изменения настроек сервера (и сценариев теста) на производительность сервера;

ServerBench 3.0 - это тест для определения производительности сервера как сервера приложений, то есть способности сервера выполнять запросы клиентов в системах, построенных по архитектуре клиент/сервер. ServerBench 3.0 может быть использован для определения производительности серверов, построенных на большинстве популярных серверных платформ.

Для выполнения теста ServerBench 3.0 необходимы следующие аппаратные и программные компоненты:

Сервер приложений (тестируемый сервер): компьютер с установленной операционной системой, на которой может выполняться(2) ServerBench 3.0, и необходимыми (3) аппаратными и программными средствами подключения к ЛВС. Кроме того, на сервере должен быть установлен соответствующий серверный компонент ServerBench 3.0. При выполнении теста на сервере запускается серверный компонент ServerBench, который и обрабатывает запросы клиентов ServerBench, поступающие по ЛВС.
(2) ServerBench 3.0 может быть установлен на: Microsoft Windows NT Server Version 3.51 на платформах Intel x86, Digital Alpha, MIPS, Power PC; NetWare 4.1 или NetWare 4.1 SMP; OS/2 Warp Server; SCO OpenServer Enterprise System Release 5 with Release Supplement 5.0.0d and the Large Server Supplement с процессором не хуже i80486; SCO UnixWare Application Server 2.1 (2.01) с процессором не хуже i80486.
(3) IPX/SPX для NetWare и TCP/IP для всех остальных систем.

На сервере должно быть достаточно свободного дискового пространства для размещения временных файлов. Необходимый минимальный размер свободного дискового пространства зависит от сценария теста и для стандартного сценария составляет около 1.3 Гб.

На сервере должно быть установлено достаточно ОЗУ, минимальный объем которого определяется сценарием теста, ОС и платформой сервера. Так, для стандартного сценария, сервера на платформе Intel x86 и ОС MS Windows NT 3.51 минимальный размер ОЗУ составляет около 48 Мб.

Клиенты: IBM PC совместимые компьютеры под управлением MS Windows 95 или Windows for Workgroups 3.11, с необходимыми аппаратными и программными средствами доступа к ЛВС. На клиентах выполняются клиентские части ServerBench, клиенты посылают на сервер приложений запросы на обслуживание, создавая нагрузку, имитирующую работу пользователей с тестируемым сервером.

Контроллер: IBM PC совместимый компьютер под управлением MS Windows 95 или MS Windows for Workgroups 3.11, имеющий доступ к тестируемому серверу по ЛВС и выполняющий ПО контроллера теста ServerBench (на контроллере также должно быть установлено ПО MS Excel 5.0). С данного компьютера (при помощи ПО контроллера) выполняются конфигурация, запуск и останов теста ServerBench, а также наблюдение за выполнением теста, сбор и обработка результатов. Контроллер, в отличие от клиентов, не является нагрузкой сервера во время теста.

Компоненты ПО сервера, клиентов и контроллера теста ServerBench взаимодействуют между собой на уровне стека соответствующего протокола ЛВС.

ServerBench является "синтетическим" тестом, то есть на сервере и клиентах исполняются не реальные приложения, а специально созданные программы, которые выполняют набор операций, характерных для соответственно серверной и клиентской частей реальных приложений, имеющих архитектуру клиент/сервер.Стандартный сценарий теста ServerBench позволяет оценить общую производительность всех подсистем сервера, кроме того, есть сценарии для отдельной оценки производительности подсистемы CPU, дисковой и сетевой подсистем. Дополнительно ServerBench позволяет создать свои сценарии тестирования, отражающие специфические требования и особенности задач заказчиков тестирования.

Тест ServerBench, теоретически, может управлять при тестировании до 1000 клиентами, однако реально, необходимые результаты можно получить при значительно меньшем числе клиентов (стандартные сценарии теста рассчитаны на 60 клиентов), так как при тестировании клиенты ServerBench создают для сервера нагрузку в несколько раз большую, чем обычные клиент реальной ЛВС.

При выполнении стандартного сценария теста проводятся измерения производительности сервера при изменении нагрузки на сервер. Нагрузка на сервер изменяется путем изменения количества клиентов, исполняющих тестовые операции. В стандартном сценарии проводятся измерения (проходы теста) для 1, 4, 8, 12, 16, 20, 24, 28, 32, 36, 40, 44, 48, 52, 56, 60 клиентов. Производительность в каждом проходе измеряется в TPS (transaction per second - транзакций в секунду), и определяется как суммарное количество транзакций (в данном случае - исполненных сервером запросов клиентов), осуществленных между участвующими в тесте клиентами и сервером за время прохода теста, деленное на время прохода теста. Необходимо отметить, что TPS в ServerBench - это некоторые относительные единицы, введенные именно в ServerBench. Они не имеют непосредственного отношения к единицам TPS, используемым при тестировании производительности SQL-серверов.

Данные собираются на каждом клиенте и передаются в контроллер после окончания прохода теста. Обработанные данные о проходе теста (не только общая производительность, но и другие данные) запоминаются на контроллере, и после завершения всего теста по ним генерируется отчет в MS Excel (при помощи макросов) в виде таблиц и графиков.

Результаты, получаемые при выполнении теста ServerBench могут быть использованы для:

• сравнения различных серверов (результаты тестов можно сравнивать только при одинаковом составе тестового окружения - аппаратуры и ПО клиентов и ЛВС);
• настройки сервера, то есть определения влияния изменения настроек сервера (и сценариев теста) на производительность сервера;

Ведущий программист фирмы Эврика Д. А. Ковригин