deac
/
LogAn
1
0
Fork 0
Code Issues Pull Requests Releases Wiki Activity

README: aktualisiert

master poc-1
Denis Knauf 2010-02-26 02:05:40 +01:00
parent c6ff411ae1
commit cf2ca10d58
1 changed files with 17 additions and 9 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

26
README.md
View File

@ -3,18 +3,26 @@ Status
Proof of Concept! Proof of Concept!
Derzeit lote ich nur aus, was alles benoetigt wird. Queue:
Ruby-Klasse zur Kommunikation zwischen Threads. Unidirektional
BDB-Queue:
Queue auf Basis einer BDB. Kann zur Kommunikation zwischen Prozessen dienen. Unidirektional.
Stream:
UNIX-Stream. Bidirektional.
Sicherheit Sicherheit
========== ==========
Verarbeitung wird jeweils abgeschottet und darf nicht auf andere Daten zugreifen. Verarbeitung wird jeweils abgeschottet und darf nicht auf andere Daten zugreifen.
$SAFE = 4 $SAFE = 4 waere wuenschenswert, aber unpraktikabel bezueglich Queue.
$SAFE = 3 reicht.
Map auf Logdaten Mehrere Prozesse also nicht noetig.
================
Liest aus der Queue, verarbeitet und schreibt in eine andere Datenbank. erstes Map auf Logdaten
=======================
Liest aus der BDB-Queue, verarbeitet und schreibt in eine andere Datenbank.
Parallelisierung Parallelisierung
---------------- ----------------
@ -22,12 +30,12 @@ Parallelisierung
Eine DB, die speichert, wer an was arbeitet. Koennte langsam werden. Eine DB, die speichert, wer an was arbeitet. Koennte langsam werden.
MapReduce allgemein MapReduce allgemein
==================== ===================
Woher kommt die Information, dass gearbeitet werden kann? Queue/Stream/im Prozess. Woher kommt die Information, dass gearbeitet werden kann? BDB-Queue/Stream/Queue.
Piping Piping
====== ======
MapReduce hintereinander gepipet. Queue/Stream simpel, MapReduce-Verarbeitung kann auch hintereinander geschaltet werden.
wenn jeweils ein Prozess/Thread zustaendig ist. Ein Prozess komplexer. Hierzu bietet sich Queue im Prozess an.