2010-02-26 01:57:26 +01:00
|
|
|
Status
|
|
|
|
|
======
|
|
|
|
|
|
|
|
|
|
Proof of Concept!
|
|
|
|
|
|
2010-02-26 02:05:40 +01:00
|
|
|
Queue:
|
|
|
|
|
Ruby-Klasse zur Kommunikation zwischen Threads. Unidirektional
|
|
|
|
|
BDB-Queue:
|
|
|
|
|
Queue auf Basis einer BDB. Kann zur Kommunikation zwischen Prozessen dienen. Unidirektional.
|
|
|
|
|
Stream:
|
|
|
|
|
UNIX-Stream. Bidirektional.
|
2010-02-26 01:57:26 +01:00
|
|
|
|
|
|
|
|
Sicherheit
|
|
|
|
|
==========
|
|
|
|
|
|
|
|
|
|
Verarbeitung wird jeweils abgeschottet und darf nicht auf andere Daten zugreifen.
|
2010-02-26 02:05:40 +01:00
|
|
|
$SAFE = 4 waere wuenschenswert, aber unpraktikabel bezueglich Queue.
|
|
|
|
|
$SAFE = 3 reicht.
|
2010-02-26 01:57:26 +01:00
|
|
|
|
2010-02-26 02:05:40 +01:00
|
|
|
Mehrere Prozesse also nicht noetig.
|
2010-02-26 01:57:26 +01:00
|
|
|
|
2010-02-26 02:05:40 +01:00
|
|
|
erstes Map auf Logdaten
|
|
|
|
|
=======================
|
|
|
|
|
|
|
|
|
|
Liest aus der BDB-Queue, verarbeitet und schreibt in eine andere Datenbank.
|
2010-02-26 01:57:26 +01:00
|
|
|
|
|
|
|
|
Parallelisierung
|
|
|
|
|
----------------
|
|
|
|
|
|
|
|
|
|
Eine DB, die speichert, wer an was arbeitet. Koennte langsam werden.
|
|
|
|
|
|
|
|
|
|
MapReduce allgemein
|
2010-02-26 02:05:40 +01:00
|
|
|
===================
|
2010-02-26 01:57:26 +01:00
|
|
|
|
2010-02-26 02:05:40 +01:00
|
|
|
Woher kommt die Information, dass gearbeitet werden kann? BDB-Queue/Stream/Queue.
|
2010-02-26 01:57:26 +01:00
|
|
|
|
|
|
|
|
Piping
|
|
|
|
|
======
|
|
|
|
|
|
2010-02-26 02:05:40 +01:00
|
|
|
MapReduce-Verarbeitung kann auch hintereinander geschaltet werden.
|
|
|
|
|
Hierzu bietet sich Queue im Prozess an.
|
