Достоверность результатов работы испытательных программ

 Рубрика: Операционные системы и процесс начальной загрузки

Одной из самых серьезных проблем, связанных с испытательными программами, является достоверность получаемых с их помощью результатов. Известный афоризм о том, что существует ложь, большая ложь и статистика, в полной мере относится к испытательным программам. Для того чтобы результатам, выдаваемым этими программами, можно было доверять, необходимо придерживаться определенных правил.
■ Записывайте все сведения, относящиеся к конфигурации системы. После того как вы с помощью испытательной программы получите некий результат, максимально подробно опишите конфигурацию компьютера (тип процессора, объем оперативной и кэш-памяти, версию операционной системы и т.п.). Испытательные программы могут давать существенно различающиеся результаты при разных настройках одной и той же системы.
■ Для сравнения производительности систем используйте одну и ту же испытательную программу. Результаты работы любой программы, в том числе и испытательной, зависят от стиля и качества написания программного кода. Даже две разные версии одной испытательной программы при проверке одной и той же системы могут дать разные результаты. Если вы хотите сравнить производительности нескольких компьютеров, то на каждом из них нужно запускать одну и ту же версию испытательной программы.
■ Старайтесь свести к минимуму различия между сравниваемыми аппаратными платформами. Компьютер состоит из множества взаимосвязанных узлов (системной платы, контроллеров накопителей, самих накопителей, процессора и пр.). Если вы хотите с помощью испытательной программы сравнить производительности однотипных подсистем в двух разных компьютерах, то учтите, что различия между ними могут быть в значительной степени смазаны за счет маскирующего влияния других подсистем. Рассмотрим для определенности такой важный параметр, как скорость обмена данными с жестким диском. Измеренные значения этой скорости для различных комбинаций накопителей и контроллеров будут разными (чего и следует ожидать). Однако даже Одной из самых серьезных проблем, связанных с испытательными программами, является достоверность получаемых с их помощью результатов. Известный афоризм о том, что существует ложь, большая ложь и статистика, в полной мере относится к испытательным программам. Для того чтобы результатам, выдаваемым этими программами, можно было доверять, необходимо придерживаться определенных правил.
■ Записывайте все сведения, относящиеся к конфигурации системы. После того как вы с помощью испытательной программы получите некий результат, максимально подробно опишите конфигурацию компьютера (тип процессора, объем оперативной и кэш-памяти, версию операционной системы и т.п.). Испытательные программы могут давать существенно различающиеся результаты при разных настройках одной и той же системы.
■ Для сравнения производительности систем используйте одну и ту же испытательную программу. Результаты работы любой программы, в том числе и испытательной, зависят от стиля и качества написания программного кода. Даже две разные версии одной испытательной программы при проверке одной и той же системы могут дать разные результаты. Если вы хотите сравнить производительности нескольких компьютеров, то на каждом из них нужно запускать одну и ту же версию испытательной программы.
■ Старайтесь свести к минимуму различия между сравниваемыми аппаратными платформами. Компьютер состоит из множества взаимосвязанных узлов (системной платы, контроллеров накопителей, самих накопителей, процессора и пр.). Если вы хотите с помощью испытательной программы сравнить производительности однотипных подсистем в двух разных компьютерах, то учтите, что различия между ними могут быть в значительной степени смазаны за счет маскирующего влияния других подсистем. Рассмотрим для определенности такой важный параметр, как скорость обмена данными с жестким диском. Измеренные значения этой скорости для различных комбинаций накопителей и контроллеров будут разными (чего и следует ожидать). Однако даже в тех случаях, когда в двух системах используются идентичные накопители и контроллеры, результаты проведенных испытательной программой измерений могут отличаться друг от друга, поскольку на них сказываются другие особенности конкретных систем (различия в наборах микросхем системной платы, BIOS, операционных системах, загруженных резидентных программах и т.п.).
Испытательные программы должны имитировать реальную загрузку системы. Производительность, оцененная с помощью испытательной программы, может не иметь ничего общего с той, что достигается при выполнении реальных прикладных программ. Это было одним из недостатков первых испытательных программ — небольшой, аккуратно написанный программный код исполнялся очень быстро, что приводило к искусственному завышению оценки производительности систем. При исполнении же прикладных программ компьютер мог работать с черепашьей скоростью. Пользуйтесь теми испытательными программами, в которых используются реальные приложения (или имитируется их работа), либо при выполнении проверок воссоздавайте истинные условия работы компьютера (его загрузку).