Vorteile / Nachteile für Open Beta und Closed Beta für Webapp

8

Dies ist keine Frage über Code, sondern Programmierung. Wir haben eine Web-App, die bereit für Beta-Tests ist. Hat jemand einen Unterschied zwischen Open Beta und Closed Beta in Bezug auf die Qualität oder Quantität des Feedbacks der Tester oder andere Faktoren bemerkt?

    
Kamo 18.06.2010, 01:13
quelle

2 Antworten

14

Bei einer geschlossenen Beta können Sie die Anzahl der Benutzer begrenzen

Das scheint vielleicht keine große Sache zu sein, aber, bedenkt dies ...

Geschlossene Beta:

  • Die Benutzerbasis wird ausgewählt, indem sie aufgefordert werden, einen Vorschlag zu schreiben, wie sie die Verwendung der App erwarten
  • Sie veröffentlichen eine mit Spannung erwartete App für 100 Nutzer ohne zusätzliche Einladungen für den ersten Monat
  • diese Benutzer benutzen das Programm regelmäßig und wählen die meisten der wirklich häufigen Fehler aus, die durch die QC vor der Beta-Version geglitten sind.
  • diese Nutzer fühlen sich privilegiert, die App zu nutzen, so dass sie jedem gegenüber angeben, wie sehr sie es lieben (Tonnen von kostenloser PR) und weniger geneigt sind, es zu zerstören, weil es immer noch eine 'Closed Beta aus gutem Grund' ist
  • Die meisten der häufig auftretenden Fehler werden im ersten Monat erkannt und eine begrenzte Anzahl von Einladungen wird an die erste Gruppe von Beta-Testern gegeben, um in Schritt 2 der Beta zu gelangen
  • oder, es gibt immer noch eine albtraumhafte Anzahl von Bugs in der App und weitere Einladungen werden zur Überprüfung bis zum nächsten Release-Zyklus verschoben.

Offene Beta:

  • Sie haben das Gefühl, dass Ihre App ausreichend poliert ist, damit Sie sie als öffentliche Betaversion an die Massen weitergeben können.
  • Je objektiver die Benutzer anfangen, Fehler zu finden und zu melden
  • leider bläht die schiere Anzahl von Bug-Submissionen den Bug-Tracker auf, so dass das Finden von Bugs ausreichend schwierig wird
  • da es schwer ist, Bugs zu finden, tauchen Dubletten auf und der Bug Tracker bläht sich noch mehr
  • auf
  • Sie geben x Aufwand für den Versuch aus, den Bugtracker sauber zu halten, während Sie auch versuchen, Fehler im Code zu beheben
  • Die weniger objektiven Nutzer geben der App eine Chance und entdecken, dass "nicht alles" perfekt funktioniert oder so funktioniert, wie sie erwartet (intuitiv)
  • die weniger objektiven Benutzer laufen zu ihren kleinen Blogs und fangen an, Posts wie 'OMG WTF srsly, [appName] saugt für reason [x] und reason [y] und [z]
  • all die kleinen "buzz bloggers" trampeln über den ganzen Namen Ihrer App hinweg, weil sie sich "ermächtigt" fühlen, öffentlich über alles / irgendwas
  • zu schwadronieren
  • google indexiert alle Blog-Einträge, da sie eine Menge indikativer Keywords für Ihr Produkt enthalten. Die ersten beiden Seiten, die bei der Eingabe Ihres Apps-Namens in Google angezeigt werden, sind in der Regel mit "[appName] sucks" verknüpft ".

Einer der größten Vorteile einer "geschlossenen Beta" besteht darin, dass Sie Ihre Arbeitsbelastung basierend darauf steuern können, wie viele Benutzer Sie zulassen und welche Arten von Benutzern Sie zulassen.

Sie brauchen eine Armee von "objektiven" Benutzern, um Sie gegen die "subjektiven" Nutzer zu unterstützen, weil der Hauptgrund der Gruppe der Leiter darin besteht, das Internet nach einer App zu durchsuchen, die matschig ist und eine Menge sensationellen Anti-Hype erzeugt Über; Alles im Namen, um mehr Traffic auf ihr Blog zu lenken.

Wenn Sie ein wirklich gutes Beispiel dafür suchen möchten, wie Sie eine geschlossene Beta-Version erfolgreich bei Google anzeigen können.

  • mit gmail hatten sie eine streng limitierte geschlossene Beta zum Start
  • sie haben alle offensichtlichen Bugs beseitigt, die von der ersten Betatesterrunde entdeckt wurden
  • mehr Einladungen werden ausgegeben
  • dann fangen sie an, neue Ideen von Features zu sammeln, um sie in ihrer Webapp von den Beta-Benutzern zu implementieren
  • Sie integrieren Funktionen und beheben gleichzeitig Bugs
  • sie dole mehr Einladungen
  • aus
  • Weiterverfolgung von Anfragen zu Features und Fehlerübermittlungen
  • wenn es ausreichend poliert ist, veröffentlichen sie es, um Beta zu öffnen
  • GMail bleibt 3 Jahre in der offenen Betaversion

Warum? Google ist schlau. Wenn ein zufälliger obskurer Fehler 2 Jahre in der offenen Betaversion auftaucht, kann niemand Google wirklich dafür abwerben, weil es immer noch "Beta" ist. Es ist wie Googles kleine Art zu sagen, es ist gut, aber wir sind nicht vollständig zufrieden mit nur gut. Selbst wenn sie die Codebasis für die letzten 2 Jahre der Beta nicht berührt haben, gibt es immer noch den Eindruck "sie perfektionieren es immer noch".

Was mich zu dem wichtigsten Punkt führt, warum Sie die Beta begrenzen möchten ...

Nach der Erstellung können Sie die Meinung der Nutzer zu Ihrem Produkt nicht mehr ändern

Sehen Sie sich dies an, "Wie Sie Marketing ignorieren und in zwei einfachen Schritten irrelevant werden" , um zu sehen, was ich meine. Es ist leicht eine der faszinierendsten Präsentationen, die ich gesehen habe.

Hinweis: Ich habe persönlich an mehreren "geschlossenen" Betas teilgenommen. Nämlich, GMail, Google Wave, Boxee, Songbird und ein paar andere.

    
Evan Plaice 18.06.2010, 04:05
quelle
2

Mit einer geschlossenen Beta wollen die Leute generell da sein. Sie warten entweder geduldig in der Schlange, um eine Einladung zu erhalten, nachdem sie sich angemeldet haben, oder sie haben es zu dem Zeitpunkt vergessen, zu dem es beginnt.

Mit einer offenen Beta bekommst du mehr Leute, aber sie neigen dazu, die "Hey, diese Website ist ordentlich, ich denke, ich werde ... OOH SHINY! rennt nach einem Stück Alufolie "eingeben.

    
Ignacio Vazquez-Abrams 18.06.2010 01:19
quelle