parent
fd4d9f7395
commit
3028fc3764
@ -1,41 +1,10 @@ |
||||
Status |
||||
====== |
||||
|
||||
Proof of Concept! |
||||
|
||||
Queue: |
||||
Ruby-Klasse zur Kommunikation zwischen Threads. Unidirektional |
||||
BDB-Queue: |
||||
Queue auf Basis einer BDB. Kann zur Kommunikation zwischen Prozessen dienen. Unidirektional. |
||||
Stream: |
||||
UNIX-Stream. Bidirektional. |
||||
|
||||
Sicherheit |
||||
========== |
||||
|
||||
Verarbeitung wird jeweils abgeschottet und darf nicht auf andere Daten zugreifen. |
||||
$SAFE = 4 waere wuenschenswert, aber unpraktikabel bezueglich Queue. |
||||
$SAFE = 3 reicht. |
||||
|
||||
Mehrere Prozesse also nicht noetig. |
||||
|
||||
erstes Map auf Logdaten |
||||
======================= |
||||
|
||||
Liest aus der BDB-Queue, verarbeitet und schreibt in eine andere Datenbank. |
||||
|
||||
Parallelisierung |
||||
---------------- |
||||
|
||||
Eine DB, die speichert, wer an was arbeitet. Koennte langsam werden. |
||||
|
||||
MapReduce allgemein |
||||
=================== |
||||
|
||||
Woher kommt die Information, dass gearbeitet werden kann? BDB-Queue/Stream/Queue. |
||||
|
||||
Piping |
||||
====== |
||||
|
||||
MapReduce-Verarbeitung kann auch hintereinander geschaltet werden. |
||||
Hierzu bietet sich Queue im Prozess an. |
||||
Usage |
||||
===== |
||||
|
||||
class MyServer < RobustServer |
||||
def run |
||||
# something to do... |
||||
end |
||||
end |
||||
|
||||
MyServer.new.main |
||||
|
Loading…
Reference in new issue