deac/LogAn
1
0
Fork 0
Code Issues Pull requests Releases Wiki Activity

README: aktualisiert

Browse source
This commit is contained in:
Denis Knauf 2010-02-26 02:05:40 +01:00
parent c6ff411ae1
commit cf2ca10d58
1 changed files with 17 additions and 9 deletions
Show stats Download patch file Download diff file Expand all files Collapse all files

26
README.md
View file

@ -3,18 +3,26 @@ Status
Proof of Concept!
Derzeit lote ich nur aus, was alles benoetigt wird.
Queue:
Ruby-Klasse zur Kommunikation zwischen Threads. Unidirektional
BDB-Queue:
Queue auf Basis einer BDB. Kann zur Kommunikation zwischen Prozessen dienen. Unidirektional.
Stream:
UNIX-Stream. Bidirektional.
Sicherheit
==========
Verarbeitung wird jeweils abgeschottet und darf nicht auf andere Daten zugreifen.
$SAFE = 4
$SAFE = 4 waere wuenschenswert, aber unpraktikabel bezueglich Queue.
$SAFE = 3 reicht.
Map auf Logdaten
================
Mehrere Prozesse also nicht noetig.
Liest aus der Queue, verarbeitet und schreibt in eine andere Datenbank.
erstes Map auf Logdaten
=======================
Liest aus der BDB-Queue, verarbeitet und schreibt in eine andere Datenbank.
Parallelisierung
----------------
@ -22,12 +30,12 @@ Parallelisierung
Eine DB, die speichert, wer an was arbeitet. Koennte langsam werden.
MapReduce allgemein
====================
===================
Woher kommt die Information, dass gearbeitet werden kann? Queue/Stream/im Prozess.
Woher kommt die Information, dass gearbeitet werden kann? BDB-Queue/Stream/Queue.
Piping
======
MapReduce hintereinander gepipet. Queue/Stream simpel,
wenn jeweils ein Prozess/Thread zustaendig ist. Ein Prozess komplexer.
MapReduce-Verarbeitung kann auch hintereinander geschaltet werden.
Hierzu bietet sich Queue im Prozess an.