|
13 years ago | |
---|---|---|
bin | 13 years ago | |
lib | 13 years ago | |
AUTHORS | 13 years ago | |
LICENSE | 13 years ago | |
README.md | 13 years ago | |
Rakefile | 13 years ago | |
TODO.md | 13 years ago | |
VERSION | 13 years ago |
README.md
Status
Proof of Concept!
Queue: Ruby-Klasse zur Kommunikation zwischen Threads. Unidirektional BDB-Queue: Queue auf Basis einer BDB. Kann zur Kommunikation zwischen Prozessen dienen. Unidirektional. Stream: UNIX-Stream. Bidirektional.
Sicherheit
Verarbeitung wird jeweils abgeschottet und darf nicht auf andere Daten zugreifen. $SAFE = 4 waere wuenschenswert, aber unpraktikabel bezueglich Queue. $SAFE = 3 reicht.
Mehrere Prozesse also nicht noetig.
erstes Map auf Logdaten
Liest aus der BDB-Queue, verarbeitet und schreibt in eine andere Datenbank.
Parallelisierung
Eine DB, die speichert, wer an was arbeitet. Koennte langsam werden.
MapReduce allgemein
Woher kommt die Information, dass gearbeitet werden kann? BDB-Queue/Stream/Queue.
Piping
MapReduce-Verarbeitung kann auch hintereinander geschaltet werden. Hierzu bietet sich Queue im Prozess an.