HI Gagneet, ich bin Mitglied im Windows-Performance-Team: So verwenden wir diese Begriffe.
Eine Baseline ist eine Messung einer bekannten Konfiguration, die als Referenz für nachfolgende Messungen verwendet wird. Für die Basislinie charakterisieren wir das Ding, das gemessen wird: Nehmen wir zum Beispiel die Kaltstart-Zeit. Hier haben wir eine Reihe von Maschinen, die gut charakterisiert sind - das bedeutet, wir wissen, wie sie funktionieren, dass wir gute Treiber für sie haben und dass die Hardware nicht kaputt oder fehlerhaft ist.
Auf dieser Hardware haben wir mehrere "Basislinien" -Messungen wie XP-RTM, XP-SP2, Vista-RTM, Vista-SP1, Vista-SP2, usw. usw.
Für jede dieser Basislinien haben wir eine Reihe von gut charakterisierten und verstandenen Messungen, einschließlich aller Phasen des Bootens, der Menge an CPU, Platten- und Speicherauslastung, der Anzahl der DLL-Ladungen, etc. usw.
>Nachdem eine Basislinie erstellt wurde, können wir weitere Messungen durchführen und diese mit der Basislinie vergleichen. Zum Beispiel arbeiten wir gerade an Window-7 . Für jeden Build (täglich) führen wir eine Reihe von Startzeittests durch. Wir vergleichen alle Eigenschaften jedes Win-7-Builds mit den Basislinienmessungen. Dies schließt alle vorherigen Win-7-Builds ein. So können wir sehen, wo die Unterschiede liegen, und uns helfen, die Problembereiche zu durchdringen. Hier sind einige weitere Details .
Interessante Definitionen von SPR (Software Productivity Research)
Baseline und Benchmark sind ähnliche, aber unterschiedliche Aktivitäten.
Im Bild ist eine Basislinie eine "Linie im Sand" für eine Organisation, in der wichtige Leistungsmerkmale für zukünftige Referenzmessungen gemessen werden.
Dies ist nicht unbedingt ein "guter" Zustand ", nur eine Referenz.
Ein Benchmark wird am besten durch die ursprüngliche Herleitung des Wortes selbst verstanden:
Handwerker, die sich mit sich wiederholenden Aufgaben beschäftigen, wie z. B. das Sägen von Holz mit gleichbleibender Länge, setzen oft Kerben auf ihre Werkbänke, um anzuzeigen, dass Bretter vor dem Schneiden platziert werden. Wörtlich wurde ein Benchmark zu einem Standard für Vergleiche und ein Indikator für vergangenen Erfolg .
Grundsätzlich:
In der wissenschaftlichen Forschung ist ein Benchmark eine Art Test, und eine Basislinie ist eine Art Ergebnis.
Sehen wir uns ein Beispiel für einen Benchmark-Test an: Wir könnten eine Sammlung von 5.000 Sätzen in englischer Sprache erstellen und die vierkernige Dell-Maschine des Labors verwenden, um sie mithilfe verschiedener Algorithmen ins Spanische zu übersetzen. Da wir die Daten und die Maschine konstant gehalten haben, können wir die Zeit, die die verschiedenen Algorithmen zur Vervollständigung der Aufgabe benötigen, sowie ihre relative Genauigkeit (gemessen an menschlichen Goldübersetzungen) sinnvoll vergleichen.
Um eine Basis für diesen Benchmark-Test zu finden, könnten wir einen sehr naiven Übersetzungsalgorithmus schreiben, der für jedes einzelne Wort einfach die gebräuchlichste Übersetzung findet, ohne den Kontext zu beachten. Die Genauigkeit dieses Algorithmus gegenüber unseren menschlichen Übersetzungen zu messen, gibt uns eine Vorstellung von der Mindestpunktzahl - der Grundlinie -, die die anderen schlagen müssen, und gibt uns ein Gefühl dafür, welche Genauigkeit als "gut" gilt.
Am anderen Ende der Skala von einer Basislinie ist eine obere Grenze ebenfalls ein nützlicher Maßstab. Im Übersetzungsbeispiel könnten wir die Obergrenze finden, indem wir die Genauigkeit einer unserer menschlichen Übersetzungen in Bezug auf die anderen messen. Dies gibt uns eine Vorstellung davon, wie hoch es ist, unsere "Genauigkeits" -Maßnahme zu erreichen, bevor Sie die Grenze der menschlichen Meinungsverschiedenheit überschreiten. Wir erwarten, dass unsere maschinellen Übersetzungsalgorithmen auf einer Ebene zwischen der Basislinie und der oberen Grenze arbeiten.
Tags und Links performance definition