Ich möchte einen Cluster von Amazon EC2-Rechner starten, um ein Backend für das foreach -Paket in R zu verwenden. Im Idealfall könnte ich das alles über die Befehlszeile in R auf meinem lokalen Rechner tun und die relevanten Daten und Befehle senden von der lokalen R-Sitzung zum Remote-Cluster.
Ich weiß, dass das Paket AWS bei dieser Aufgabe hilft, aber ich weiß nicht wirklich, was ich nach dem Ausführen tun soll der Befehl startCluster () . Segue bringt mir auch einen Teil des Weges, aber es ist kein Backend für foreach , es scheint keine benutzerdefinierten AMIs zu unterstützen, und es unterstützt derzeit keine Windows. Es gibt auch das deatstar -Paket, das ich noch nicht gründlich untersucht habe.
Hat jemand anderes eine Lösung für dieses Problem gefunden?
Zach, die einfache Antwort ist, dass es von hier aus keinen einfachen Weg gibt:)
Als ich Segue schrieb, hoffte ich, dass jemand bald mit etwas herauskommen würde, das Segue überflüssig machen würde. Cloudnumbers können es eines Tages sein, aber wahrscheinlich noch nicht. Ich habe damit gespielt, Segue zu einem foreach-Backend zu machen, aber da ich es nicht so benutze, war meine Motivation ziemlich niedrig, um mir die Zeit zu nehmen, um das Backend aufzubauen.
Eines der vielversprechendsten Dinge ist meines Erachtens die Verwendung des Pakets doRedis() mit Arbeitern auf Amazon EC2. doRedis verwendet einen Redis-Server als Job-Controller und ermöglicht es den Mitarbeitern, sich mit dem Redis-Server zu verbinden und Aufträge und Ergebnisse abzurufen oder zurückzugeben. Ich habe eine Weile nachgedacht, dass es nett wäre, einen doRedis Cluster auf EC2 zu installieren. Aber niemand hat noch einen geschrieben, von dem ich weiß.
Es sieht so aus, als ob bioconductr ein Slick-Tool zum Hochdrehen eines MPI-Clusters hat. Nach dem Start können Sie mpi.spawn.Rslaves() und mpi.parLapply auf dem Master-Knoten ausführen, um Berechnungen an den Cluster zu farmen. Allerdings kann ich nicht herausfinden, wie man es mit doMPI zum Laufen bringt.
Tags und Links r amazon-web-services amazon-ec2 foreach