LogAn/README.md
2010-02-26 02:05:40 +01:00

42 lines
966 B
Markdown

Status
======
Proof of Concept!
Queue:
Ruby-Klasse zur Kommunikation zwischen Threads. Unidirektional
BDB-Queue:
Queue auf Basis einer BDB. Kann zur Kommunikation zwischen Prozessen dienen. Unidirektional.
Stream:
UNIX-Stream. Bidirektional.
Sicherheit
==========
Verarbeitung wird jeweils abgeschottet und darf nicht auf andere Daten zugreifen.
$SAFE = 4 waere wuenschenswert, aber unpraktikabel bezueglich Queue.
$SAFE = 3 reicht.
Mehrere Prozesse also nicht noetig.
erstes Map auf Logdaten
=======================
Liest aus der BDB-Queue, verarbeitet und schreibt in eine andere Datenbank.
Parallelisierung
----------------
Eine DB, die speichert, wer an was arbeitet. Koennte langsam werden.
MapReduce allgemein
===================
Woher kommt die Information, dass gearbeitet werden kann? BDB-Queue/Stream/Queue.
Piping
======
MapReduce-Verarbeitung kann auch hintereinander geschaltet werden.
Hierzu bietet sich Queue im Prozess an.