[shiversc]

Hallo,

ich habe Software entwickeln lassen die mit log4net in Logfiles schreibt.
Ein Gruppe der Hosts schreibt mir 25 MB großes Dateien, bis es eine neue Datei gibt. Auf Grund der Menge an zu loggenden Meldungen kommen pro Woche 75-100 MB Text zusammen

Ich muss auf sechs Hosts die Dateien nach einer Nummer durchsuchen können.

Meine Idee war, dass ich je Host einen Pfad mappe:

\\Host1\c$\App\Log\logfile.txt
\\Host2\c$\App\Log\logfile.txt
\\Host3\c$\App\Log\logfile.txt

Ich möchte dann auf den Hosts suchen ob eine Seriennummer doppelt vorhanden ist; "TTMMJJJJ-lfd.Nr"

Kennt ihr ein Tool zu Suchen und Vergleichen?

[Sturmovik]

wie wärs mit grep?

[shiversc]

Wird probiert!

[Sturmovik]

Um das ganze etwas klarer auszuformulieren:

Es gibt zwar haufenweise Programme, die einem Logfiles filtern und durchsuchen, aber die sind meist sehr unflexibel.

Wenn du weißt wonach du suchst und Umgang mit den GNU-Tools in Linux nicht ganz unbegabt bist, hilft meist ein Einzeiler aus Grep, cut und awk, um Logfiles auf das gewünschte zu kondensieren.

[shiversc]

Das ist ja das Problem...

Es ist so, dass eine große Anzahl an Clients entweder nur meine IIS oder teilweise auch direkt die MS DB ansprechen.
Dabei, so wurde es seinerzeit gewählt, wird auf den Clients sehr viel gelogt. Das Logging mach Log4Net. Am IIS wird ebenfalls geloggt ohne Ende.
Log4Net schreib auf den Clients 25 MB unkomprimierte ASCII-Dateien und fängt dann eine neue an.
Je nach Produktion kommen so 3-5 Dateien zu 25 MB pro Platz und Woche zusammen. Ich muss auf diversen dieser Clients nach einer Dopplung suchen.
Dabei Suche ich eine mir nicht bekannte Seriennummer, ich suche danach ob in den Logfiles die Seriennummer doppelt vorhanden ist. Es darf/solte diese Dopplung nicht geben, hin und wieder scheint es sie aber zu geben. Das ist der Verdacht!

Dazu habe ich mir jetzt die Pfade der Logfiles gemappt und kopiere die Daten auf einen Server.

Mein Wunsch, bzw Vorstellung ist es jetzt, die ganzen Dateien nach Dopplungen durchsuchen zu können.
Das Format der Suche ist K%%%%%%-%%%%%%.
Was mir persönlich zu Aufwändig ist, ist alle Dateien in eine große zu kopieren und dann zu suchen.

[RalphS]

Bissel aufwendiger, aber wenn es die Struktur der Logfiles hergibt, kann man die unter Umständen in etwas SQL-Datenbank-iges einlesen. Damit werden solche Suchen trivial.