Logging in MariaDB oder Apache Solr

[Jaqen H'ghar]

Hallo zusammen,

ich müsste für ein Kundenprojekt ein Frontend, auf eine bestehende Backend-Applikation erweitern.
Das Backend wurde auch von mir entwickelt, daher würden mir sämtliche Möglichkeiten einzugreifen oder Änderungen zu deployen, offen stehen.

Das Frontend wird eine Art User-Dashboard werden. Für spezielle User soll die Möglichkeit einer
Log-Recherche ermöglichet werden. Das Backend verarbeitet anhand eines KI-Modells verschiedene Assets in From von Bilder, Dokumenten, Videos usw.
Es kann vorkommen, das im Monat 2-5 Millionen dieser Assets verarbeitet werden, was dementsprechend auch in den verschiedenen Workflow-Status und Loglevel (INFO, ERROR usw.) Protokoliert werden muss. Momentan werden die Logs „klassisch“ in lokalen Logfiles gespeichert.
Als Backend-Datenbank fungiert aktuell eine MariaDB

Jetzt zur eigentlichen Frage, in welche Datenbank / Datenbank-Engine schreibe ich am besten die Logs zu dieser Applikation?
Erstelle ich eine zusätzliche strukturierte MariaDB oder sollte ich die Logs am besten in Apache Solr speichern.

Bei dieser Frage bin ich tatsächlich noch ein wenig unschlüssig.
Wie ist denn grundsätzlich eure Erfahrung und zu welcher Engine würdet ihr in Bezug auf die Logs tendieren?

Vielen Dank für euer Feedback,
Jaqen

 

[Kampfgummibaerlie]

Mein Tipp:
Steig auf PostgreSQL um

Ich kann nicht schreiben, wo die 1:1 Unterschiede sind, weil ich nicht lange MySQL eingesetzt habe, aber PostgreSQL ist mächtig, wird besser und ebenfalls kostenlos.

 

[castorp]

Für die Recherche in Logfiles is Solr (oder Elasticsearch) vermutlich besser geeignet als eine relationale Datenbank.

 

[dabadepdu]

Jetzt zur eigentlichen Frage, in welche Datenbank

In eine Datenbank würde ich wahrscheinlich als letztes loggen. Schon gar nicht in das produktive System.
Es erklärt sich leicht indem man sich vorstellt, die Datenbank soll loggen, dass es Datenbankprobleme gibt.
Ansonsten ist eine DB mit ihren Fähigkeiten
a) Overkill
b) ineffizient
c) ggf sogar kontraproduktiv (innerhalb der gleichen Instanz)

Du willst im laufenden Betrieb nur eins können: sehr zuverlässig, sehr schnell und bequem Text schreiben. Und an die Textfile würde man dann mit Lucene oder so dran gehen.

Wenn man wirklich über DB Engine nachdenkt, dann eher sowas wie nosql. MongoDB oder andere, die noch näher am bloßen Text schreiben sind - und damit schnell, aber Struktur unterstützen. Struktur, zumindest die Möglichkeit dazu, wäre der einzige Grund, keine reinen Textfiles zu nehmen. Macht aber auch nur Sinn, wenn man beim Loggen auch hauptsächlich strukturiert wegschreibt.