README: Usage
This commit is contained in:
parent
fd4d9f7395
commit
3028fc3764
1 changed files with 9 additions and 40 deletions
49
README.md
49
README.md
|
@ -1,41 +1,10 @@
|
|||
Status
|
||||
======
|
||||
Usage
|
||||
=====
|
||||
|
||||
Proof of Concept!
|
||||
|
||||
Queue:
|
||||
Ruby-Klasse zur Kommunikation zwischen Threads. Unidirektional
|
||||
BDB-Queue:
|
||||
Queue auf Basis einer BDB. Kann zur Kommunikation zwischen Prozessen dienen. Unidirektional.
|
||||
Stream:
|
||||
UNIX-Stream. Bidirektional.
|
||||
|
||||
Sicherheit
|
||||
==========
|
||||
|
||||
Verarbeitung wird jeweils abgeschottet und darf nicht auf andere Daten zugreifen.
|
||||
$SAFE = 4 waere wuenschenswert, aber unpraktikabel bezueglich Queue.
|
||||
$SAFE = 3 reicht.
|
||||
|
||||
Mehrere Prozesse also nicht noetig.
|
||||
|
||||
erstes Map auf Logdaten
|
||||
=======================
|
||||
|
||||
Liest aus der BDB-Queue, verarbeitet und schreibt in eine andere Datenbank.
|
||||
|
||||
Parallelisierung
|
||||
----------------
|
||||
|
||||
Eine DB, die speichert, wer an was arbeitet. Koennte langsam werden.
|
||||
|
||||
MapReduce allgemein
|
||||
===================
|
||||
|
||||
Woher kommt die Information, dass gearbeitet werden kann? BDB-Queue/Stream/Queue.
|
||||
|
||||
Piping
|
||||
======
|
||||
|
||||
MapReduce-Verarbeitung kann auch hintereinander geschaltet werden.
|
||||
Hierzu bietet sich Queue im Prozess an.
|
||||
class MyServer < RobustServer
|
||||
def run
|
||||
# something to do...
|
||||
end
|
||||
end
|
||||
|
||||
MyServer.new.main
|
||||
|
|
Loading…
Reference in a new issue