Ich baue einen Webservice, der unter lächerlicher Last steht (Tausende bis Zehntausende von Abfragen pro Sekunde). Mein normaler Stack aus Apache, PHP, Memcache und einigen DBs wird es mit einem schönen Load Balancer Infront und vielen Maschinen aufnehmen können, aber ich frage mich, ob es bessere Lösungen gibt.
Der Endpunkt wird von einem Beacon getroffen (via Javascript auf dem Client), ich werde die Cookies des Benutzers lesen, ein paar kleine Informationen über sie aus der Datenbank ziehen, zwischenspeichern, eine kleine Berechnung durchführen, die Antwort senden und wenn benötigt, um in die DB zu schreiben und den Cache ungültig zu machen.
Und gute Technologieauswahl und / oder Hardware-Empfehlungen?
Dies ist nicht die Art von Frage, die hier in etwas anderem als einem breiten Überblick beantwortet werden kann. Einige allgemeine Hinweise:
Was Ihren normalen Stack anbetrifft, bleibe ich dabei, es sei denn, Sie haben eine bestimmte Anforderung, die Sie nicht erwähnt haben und die das verbietet. Schließlich ist PHP eine bewährte Technologie, die 4 oder so der Top 20 Seiten im Internet (Facebook, Wikipedia, Flickr und ich denke, Yahoo) läuft. Wenn es gut genug für sie ist, ist es gut genug für dich.
Noch wichtiger ist, Sie wissen es. Technologie-Stacks, von denen Sie wissen, dass Trump-Technologie-Stacks Sie nicht in jedem Fall bieten. Hüten Sie sich vor der "grüneren Weide" -Falle des neuesten Hype-Up-Technologie-Stacks.
Memcache ist gut. Die andere Sache, die Sie in Erwägung ziehen könnten, der Mischung hinzuzufügen, ist beandalkd als verteilter Arbeitswarteschlangenprozessor.
Eine wichtige Frage zu beantworten ist: Wie gut können Sie Ihre Anwendung partitionieren? Anwendungen, die sich leicht zur Partitionierung eignen, sind viel einfacher zu skalieren. Diejenigen, die nicht auf irgendeine Weise modifiziert werden, um die Partitionierung zu erleichtern.
Ein gutes Beispiel dafür ist eine einfache Sharetrading-Anwendung. Sie können Marktinformationen basierend auf dem Lagercode partitionieren (A-C auf einem Server, D-F auf einem anderen usw.). Für viele solcher Anwendungen wird das gut funktionieren.
Ссылка es gibt hier viel zu lernen, Sie werden wahrscheinlich Ihre Antwort finden.
Sie können auch BigPipe verwenden, um Ihre Leistung zu steigern. Facebook benutzt es auch massiv und hier ist, was sie dazu sagen: "Um die Parallelität zwischen Webserver und Browser auszunutzen, bricht BigPipe Webseiten zunächst in mehrere Chunks namens Pagelets. So wie ein Pipelining-Mikroprozessor den Lebenszyklus einer Anweisung in mehrere Stufen unterteilt (wie "Instruction Fetch", "Instruction Decode", "Ausführung", "Register Write Back" etc.) bricht BigPipe den Seitengenerierungsprozess in mehrere Stufen:
Request-Parsing: Der Webserver analysiert die HTTP-Anfrage und überprüft die HTTP-Anfrage. Datenabruf: Der Webserver ruft Daten aus der Speicherschicht ab. Markup-Generierung: Webserver generiert HTML-Markup für die Antwort. Netzwerktransport: Die Antwort wird vom Webserver zum Browser übertragen. CSS-Download: Browser lädt CSS herunter, das für die Seite erforderlich ist. DOM-Baumkonstruktion und CSS-Stil: Der Browser erstellt den DOM-Baum des Dokuments und wendet dann CSS-Regeln darauf an. JavaScript-Download: Browser lädt JavaScript-Ressourcen herunter, auf die von der Seite verwiesen wird. JavaScript-Ausführung: Browser führt JavaScript-Code der Seite aus.
Die ersten drei Stufen werden vom Webserver ausgeführt, und die letzten vier Stufen werden vom Browser ausgeführt. Jedes Pagelet muss nacheinander alle diese Stufen durchlaufen, aber BigPipe ermöglicht die gleichzeitige Ausführung mehrerer Pagelets in verschiedenen Stufen. "
PHP, memcached + DB im Allgemeinen skaliert gut, aber es kann Wege geben, dies mit geringeren Kosten zu tun, d. h. ein Stapel, der in der Lage ist, mehr gleichzeitige Anfragen pro Maschine zu handhaben.
Haben Sie Ihren Kommentar hier gegeben ...
Mein Ziel ist kein großes skalierbares System, sondern nur ein einfacher Technologie-Stack. Ich bin keine wachsende Datenbank, Suche, Crawler, etc. Nur eine einfache Anfrage, Abfrage, reagieren und speichern. Irgendwelche Empfehlungen für Technologie-Stack für meinen Zweck?
.. es klingt, als ob der DB-Teil von Amazon S3 ([was?!?] [1]) lösbar ist, vorausgesetzt, Sie müssen nur nach Schlüsseln suchen. Das würde Ihnen auch Cloudfront zum Lesen geben, wenn es Ihnen nichts ausmacht, eventuelle Konsistenz .
In der Zwischenzeit sollte serverseitig etwas, das async IO verwendet, um Anfragen zu bearbeiten, die Anzahl gleichzeitiger Anfragen jedes Rechners erheblich steigern klar kommen. Wie schon ein anderes Plakat sagte Tornado (bret.appspot.com/entry/tornado-web-server) wäre hier einen Blick wert - habe keine API für asynchrone IO gesehen, die freundlicher ist.
Sie würden wahrscheinlich immer noch memcached brauchen, um die Lesevorgänge schnell zu halten, aber Sie wollen darauf achten, dass der memcached Client den Serverprozess nicht blockiert, während er versucht, gleichzeitig Anfragen zu stellen - PHP hätte das normalerweise nicht Problem, da jeder PHP (oder Apache) -Prozess eine eigene Memcache-Verbindung hat und immer nur eine Sache gleichzeitig tut. Dieser Python-Client - sollte async IO unterstützen - der zugrunde liegende libmemcached unterstützt asynchrone Anfragen.
Gleiches gilt für HTTP-Anfragen vom Server an S3 - wie gehen Sie dort mit gleichzeitigen Anfragen um? boto scheint dafür einen Verbindungspool zu verwenden, wobei jede Verbindung einen anderen Socket geöffnet hat. Speicherverbrauch?
Disclaimer: Ich bin hier ein Sesselarchitekt - habe das noch nicht gemacht und der klügste Rat wäre, das Projekt pünktlich mit dem Stack abzuschließen, den Sie gut kennen und mit dem Sie nicht scheitern werden.
Entschuldigung für die Links
[1] - Ссылка
Tags und Links language-agnostic hardware architecture design scalability