Logging Analyser
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
Denis Knauf 76a05892db Inspector added (loganinc --inspector) 13 years ago
bin Inspector added (loganinc --inspector) 13 years ago
lib Inspector added (loganinc --inspector) 13 years ago
AUTHORS metafiles changed; Sandbox has an own repository: Safebox 13 years ago
LICENSE CStruct: first test 13 years ago
README.md README: aktualisiert 13 years ago
Rakefile Safebox-dependency added and Fileparser::Base#logdb/#store added 13 years ago
TODO.md TODO markdown 13 years ago
VERSION CStruct: first test 13 years ago

README.md

Status

Proof of Concept!

Queue: Ruby-Klasse zur Kommunikation zwischen Threads. Unidirektional BDB-Queue: Queue auf Basis einer BDB. Kann zur Kommunikation zwischen Prozessen dienen. Unidirektional. Stream: UNIX-Stream. Bidirektional.

Sicherheit

Verarbeitung wird jeweils abgeschottet und darf nicht auf andere Daten zugreifen. $SAFE = 4 waere wuenschenswert, aber unpraktikabel bezueglich Queue. $SAFE = 3 reicht.

Mehrere Prozesse also nicht noetig.

erstes Map auf Logdaten

Liest aus der BDB-Queue, verarbeitet und schreibt in eine andere Datenbank.

Parallelisierung

Eine DB, die speichert, wer an was arbeitet. Koennte langsam werden.

MapReduce allgemein

Woher kommt die Information, dass gearbeitet werden kann? BDB-Queue/Stream/Queue.

Piping

MapReduce-Verarbeitung kann auch hintereinander geschaltet werden. Hierzu bietet sich Queue im Prozess an.