Logging Analyser

Go to file

Denis Knauf 4d4978d3ac $SAFE=4 is good, but if you can not modify an array... taint or untaint is unimportand. it must be created after $SAFE=4		2010-03-01 01:28:13 +01:00
bin	$SAFE=4 is good, but if you can not modify an array... taint or untaint is unimportand. it must be created after $SAFE=4	2010-03-01 01:28:13 +01:00
lib	bin/logan: Proof of Concept, but it looks nice. CStruct: I do not know. It is not what i want. bin/box.rb: $SAFE-tests.	2010-02-26 01:57:26 +01:00
AUTHOR	CStruct: first test	2010-02-24 15:04:56 +01:00
LICENSE	CStruct: first test	2010-02-24 15:04:56 +01:00
README.md	README: aktualisiert	2010-02-26 02:05:40 +01:00
Rakefile	CStruct: first test	2010-02-24 15:04:56 +01:00
VERSION	CStruct: first test	2010-02-24 15:04:56 +01:00
logan.gemspec	bin/logan: Proof of Concept, but it looks nice. CStruct: I do not know. It is not what i want. bin/box.rb: $SAFE-tests.	2010-02-26 01:57:26 +01:00

README.md

Status

Proof of Concept!

Queue: Ruby-Klasse zur Kommunikation zwischen Threads. Unidirektional BDB-Queue: Queue auf Basis einer BDB. Kann zur Kommunikation zwischen Prozessen dienen. Unidirektional. Stream: UNIX-Stream. Bidirektional.

Sicherheit

Verarbeitung wird jeweils abgeschottet und darf nicht auf andere Daten zugreifen. $SAFE = 4 waere wuenschenswert, aber unpraktikabel bezueglich Queue. $SAFE = 3 reicht.

Mehrere Prozesse also nicht noetig.

erstes Map auf Logdaten

Liest aus der BDB-Queue, verarbeitet und schreibt in eine andere Datenbank.

Parallelisierung

Eine DB, die speichert, wer an was arbeitet. Koennte langsam werden.

MapReduce allgemein

Woher kommt die Information, dass gearbeitet werden kann? BDB-Queue/Stream/Queue.

Piping

MapReduce-Verarbeitung kann auch hintereinander geschaltet werden. Hierzu bietet sich Queue im Prozess an.