Es hängt wirklich vom Browser ab. In neueren Browsern wird document.querySelectorAll für alle DOM-Abfragen verwendet (unter der Haube ruft dies document.getElementsByClassName für Klassen auf). In älteren Browsern, die dies nicht unterstützen, muss es das selbst herausfinden, was natürlich langsamer ist.
Im Allgemeinen solltest du lieber zuerst nach ID suchen (oder zumindest den Umfang einschränken). Klassen und Tag-Namen wären die nächsten für die Geschwindigkeit. Grundsätzlich sind die nativ unterstützten DOM-Operationen am besten.
Tags und Links jquery jquery-selectors dom-traversal