Erlang OTP-Anwendungsdesign

Ich entschuldige mich, wenn ich Ihre Frage falsch beantwortet habe.

Ein paar Vorschläge, die ich machen kann, um Sie in eine richtige Richtung zu führen (oder was ich für eine richtige Richtung halte):

1 (Eher geringfügig, aber immer noch wichtig) Ich empfehle, inet Startcode aus diesem Worker zu holen und ihn in den Anwendungsstatup-Code (appname_app.erl) zu schreiben. Soweit ich sagen kann, verwenden Sie Bewehrungsvorlagen, also sollten Sie diese haben.

2 Jetzt auf wichtige Teile. Um das Supervisor -Modell von OTP voll auszunutzen, wäre es unter der Annahme, dass Sie eine große Anzahl von Crawlern erstellen möchten, sehr sinnvoll, simple_one_for_one zu verwenden Supervisor anstelle von one_for_one (lesen Sie Ссылка für weitere Details, aber wesentlicher Teil ist : simple_one_for_one - ein vereinfachter one_for_one Supervisor, bei dem alle untergeordneten Prozesse dynamisch Instanzen des gleichen Prozesstyps hinzugefügt werden, dh denselben Code ausführen. Anstatt nur einen Prozess zur Überwachung zu starten, geben Sie tatsächlich eine Art "Vorlage" an - zum Starten von Arbeitsprozessen, die echte Arbeit leisten. Jeder Arbeiter dieser Art wird mit supervisor gestartet: start_child / 2 - Ссылка . Keiner dieser Arbeiter wird gestartet, bis Sie sie explizit starten.

2.1 Abhängig von der Art Ihrer Crawler müssen Sie möglicherweise beurteilen, welche Art von Neustart-Strategie Sie für Ihre Mitarbeiter benötigen. Im Moment hast du es in deiner Vorlage als permanent eingestellt (du hast jedoch eine andere Art von betreutem Kind). Hier sind Ihre Möglichkeiten:

Sie möchten vielleicht etwas wie:

Ich habe es mir erlaubt, vorübergehende Neustarts für diese Kinder vorzuschlagen, da dies für diese Art von Arbeitern sinnvoll ist (Neustart, wenn sie die Arbeit nicht ausgeführt haben und nicht, wenn sie normal ausgeführt wurden)

2.2 Sobald Sie sich um die obigen Punkte gekümmert haben, wird Ihr Vorgesetzter eine beliebige Anzahl dynamisch hinzugefügter Arbeitsprozesse bearbeiten; und es überwacht und startet (falls nötig) jeden von ihnen neu, was Ihrer Systemstabilität und Verwaltbarkeit einen großen Beitrag leistet.

3 Nun, ein Worker-Prozess. Ich würde annehmen, dass jeder Crawler einige bestimmte Zustände hat, in denen er in jedem gegebenen Moment sein könnte. Aus diesem Grund würde ich vorschlagen, gen_fsm (Finite-State-Maschine, mehr über sie verfügbar bei Ссылка ). Auf diese Weise sollte jede gen_fsm-Instanz, die Sie Ihrem Supervisor dynamisch hinzufügen, ein Ereignis an sich selbst in init / 1 senden (mit Ссылка ).

Etwas allein die Linien von:

Beachten Sie, dass Ihre Arbeit entweder in diesem gen_fsm-Prozess enthalten sein könnte oder Sie in Erwägung ziehen, je nach Ihren speziellen Anforderungen einen separaten Prozess zu erstellen.

Möglicherweise möchten Sie mehrere Statusnamen für verschiedene Crawling-Phasen haben, wenn dies für erforderlich erachtet wird.

Wie auch immer, hoffen Sie, dass dies Ihnen hilft, Ihre Anwendung etwas OTP-mäßig zu gestalten. Bitte lassen Sie mich wissen, wenn Sie Fragen haben, ich werde gerne etwas hinzufügen, wenn nötig.

Behalten Sie tatsächlich jeden Zustand in Ihrem gen_server im Auge?

Wenn die Antwort ja lautet, sieht es so aus, als würden Sie die Dinge richtig machen. Beachten Sie, dass mit der obigen Implementierung zwei Crawls nicht gleichzeitig ausgeführt werden können, da Nachrichten serialisiert werden. Wenn Sie gleichzeitige Crawls benötigen, finden Sie hier die Antwort auf meine Frage .

Wenn die Antwort nein ist, können Sie möglicherweise den Server und den Supervisor abzweigen und einfach das Anwendungsmodul für einen beliebigen Initialisierungscode verwenden, wie in hier .

Schließlich lhttpc und ibrowse gelten als bessere Alternativen zu Inets. Ich verwende lhttpc in der Produktion auf meinen Ad Servern und es funktioniert super.