<div dir="ltr"><div dir="ltr">On Thu, Jun 26, 2025 at 6:27 PM Gunnar Guðvarðarson <<a href="mailto:gunnar@meh.is">gunnar@meh.is</a>> wrote:</div><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>I have attempted to use systemd-journald as a centralized log collector, it works fine and the interface provided by journalctl is very convenient to quickly find things, following logs and other things.<br><br>But I quickly discovered the performance implications of doing so, as when the journal gets over a certain size, it practically ceases to function.<br><br>See <a href="https://github.com/systemd/systemd/issues/2460" target="_blank">https://github.com/systemd/systemd/issues/2460</a> for details.<br></div></div></blockquote><div><br></div><div>"Takes 50 seconds to display logs" is slow, yes, but that's nowhere near the same as "practically ceases to function"?</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><br>This makes rsyslog's omjournal, and systemd-journal-remote basically useless, right?<br><br>So, serious question, can the journal be migrated to a better (indexed?) database format, for example SQLite?<br></div></div></blockquote><div><br></div><div>Maybe it could, but journal entries do not have fixed columns (except for timestamps and seqnum), so you wouldn't have one neat SQL table of entries – you'd probably end up with a large <id, fieldname, value> "pile of attributes" table and I'm not sure if that would perform any better. (The current format *is* indexed – each field has its own index, not just specific ones.) I think the journal is closer to a "wide-column store" or "NoSQL database" than a traditional SQL database? I'm not even close to being knowledgeable in this topic, though.</div><div><br></div><div>But I'm not sure if a format change would help on HDDs, anyway... I have a small project that involves a ~10 GB SQLite database on an HDD, and it too sometimes takes minutes to perform the first query from cold cache (long enough that I had to extend the web server's request timeouts).</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
</blockquote></div></div>