Wie bereitet man eine konstante Benchmark-Umgebung vor?

8

Wenn ich einen Grafik-Benchmark-Leistungstest (C ++) mache, finde ich die Anwendung manchmal etwas schneller oder langsamer. Und dies hängt mit dem aktuellen Betriebssystemstatus / Caches / Speicherverbrauch und Grafikhardwarestatus zusammen.

Ich benutze Win7. Ich frage mich, ob es eine Richtlinie gibt, um mir zu sagen, wie man eine stabile / konstante Umgebung für Benchmark-Leistungstests bekommt?

    
giggle 02.12.2011, 07:02
quelle

1 Antwort

3

Es gibt viele Möglichkeiten, dies zu tun - was ich für meine Tests tendiere, ist WAIK (Windows Automated Installation Kit, kostenlos von Microsoft erhältlich), um ein minimales Windows 7-System auf einer separaten Workstation bereitzustellen.

Dann müssen die folgenden Konfigurationselemente berücksichtigt / geändert werden (versuchen Sie, nicht zu sehr von einem typischen Benutzergerät abzuweichen, sonst würden Sie Ihren Benchmark nicht konstruktiv gestalten):

  • Setzen Sie die Auslagerungsdatei auf statisches 2x RAM
  • Automatische Updates deaktivieren
  • Deaktivieren der Laufwerkindizierung

Dies stellt eine einigermaßen optimale Umgebung zum Testen dar, die immer noch von Enthusiasten erreichbar ist und daher für einen Power-User repräsentativ sein kann (selbst wenn ich automatische Updates und Laufwerksindizierung verwende, plane ich beide für unterwegs) / schlafend)

Wie bei Caches und Speicherverwendungen - zumindest in Win7 Professional, können Sie einen Remote-Start per Skript durchführen. So würde ich beispielsweise ein Skript über Nacht (für große Regressionstests) meinen Benchmark ausführen lassen und das Betriebssystem nach jedem Lauf neu starten. Oder ich würde den gleichen Benchmark 5-10 mal ohne Neustart ausführen, um zu sehen, ob sich die Cache-Nutzung ändert.

Schließlich gibt es Bootloader-Switches, um die Anzahl der Prozessoren und die Menge an verfügbarem RAM zu steuern - mein Testgerät ist ein AMD Phenom X6 mit 16 GB RAM, aber wir müssen testen, wie sich die Leistung mit der Anzahl der Kerne ändert Benutzer würden Single-Core-Systeme haben, und einige würden Multi-Core-Systeme haben), und mit der Menge an RAM (von 1-16GB).

Dies wird normalerweise vor einer Checkpoint-Veröffentlichung durchgeführt, um zu sehen, ob die empfohlene oder minimale Empfehlung aufgrund der zusätzlichen Funktionen und der zusätzlichen Optimierung angepasst werden muss.

    
qdot 02.12.2011 09:49
quelle