§ 17

SIEM: log store based on events per second

How much storage should the log platform have?

Answer: Before a SIEM or log platform is bought or expanded storage must be dimensioned. It's determined by how many events per second (EPS) your firewalls servers and AD send how large they are on average how many days they must be kept and how well platform compresses. Calculator gives GB per day and total storage requirement.

Formula

Byte pr. dag = EPS × byte pr. hændelse × 86.400 sekunder

GB pr. dag = byte pr. dag ÷ 1.000.000.000

Samlet lager = GB pr. dag × opbevaringsdage ÷ komprimeringsforhold

Symbols and units in the formula
Symbol	Meaning	Unit
eps	Events per second on average (EPS)	EPS
byte_pr_haendelse	Average size per event (measure your own logs)	byte
dage	Storage time	dage
komprimering	Komprimeringsforhold (1 = ingen; se platformens datablad)	: 1
=	Storage needs in total storage time	GB
=	Raw log data per day	GB
=	Events per day	mio.
=	Storage needs in TB	TB

Validity and source

Source: Log management sizing (EPS × byte × time) · competence objective on SIEM and log management

Does not apply when

Design for peak load, not just average, and add index and replication on top per platform documentation. Storage time is a decision based on your own requirements, e.g. contracts, NIS2 policy and GDPR. Do not keep personally identifiable logs longer than necessary.

Worked example

The calculator's own default values inserted. The figures are calculated with exactly the formula the tool uses.

Substituted

Events per second on average (EPS)1,500 EPS
Average size per event (measure your own logs)500 byte
Storage time180 dage
Komprimeringsforhold (1 = ingen; se platformens datablad)1 : 1

Giver

Storage needs in total storage time11,664 GB
Raw log data per day64.8 GB
Events per day129.6 mio.
Storage needs in TB11.66 TB

Members only

The calculator itself is locked

Create a free user account to unlock all articles, calculators, templates and range — and get access to quizzes and classes. It takes less than a minute: name, email and a password. No payment card.

Create free user →Log in

Want to try something first? See what you can use without an account — the junior zone, the encyclopedia, the videos and more.

Sådan bruger du den

Når en SIEM eller en log-platform skal købes eller udvides, er lageret ofte den største udgift. Før du får et tilbud, skal du kunne regne GB pr. dag og hvor meget opbevaringstiden kræver. Beregneren gør det ud fra hændelser pr. sekund, størrelse, dage og komprimering.

Step by step

Mål eller skøn den gennemsnitlige EPS fra firewalls, servere, AD og endpoints (platformens prøveperiode eller syslog-serverens statistik).
Find den gennemsnitlige størrelse pr. hændelse ved at dele en dags logfil med antal linjer.
Gang EPS med byte og med 86.400 sekunder. Del med 10⁹ for GB pr. dag.
Gang med opbevaringsdagene, og del med platformens komprimeringsforhold.
Læg margin til spidsbelastning, indeks og replikering efter leverandørens anvisning.

Typical errors

At dimensionere på gennemsnittet. Ved et angreb eller en fejl kan EPS blive mange gange højere.
At regne kun med de rå logs. Indeks, replikering og varm og kold opbevaring kan fordoble behovet.
At sende alt. Filtrér støj som debug-logs og gentagne heartbeat-beskeder ved kilden, så både lager og licens bliver billigere.

Examples from everyday life

Mellemstor virksomhed

En virksomhed med 300 ansatte sender i snit 1.500 hændelser i sekundet på ca. 500 byte og vil gemme dem i 180 dage. Platformen komprimerer ikke i den varme del.

Events per second on average (EPS): 1,500 EPS
Average size per event (measure your own logs): 500 byte
Storage time: 180 days
Komprimeringsforhold (1 = ingen; se platformens datablad): 1 : 1

It means: Det giver 64.8 GB rå logdata om dagen og et lagerbehov på 11,664 GB (11.66 TB) i hele perioden.

Skole med lille log-server

En erhvervsskole sender 300 hændelser i sekundet på ca. 400 byte, gemmer i 90 dage, og platformen komprimerer 5 : 1.

Events per second on average (EPS): 300 EPS
Average size per event (measure your own logs): 400 byte
Storage time: 90 days
Komprimeringsforhold (1 = ingen; se platformens datablad): 5 : 1

It means: Det er 10.4 GB om dagen og 187 GB i alt efter komprimering. Det kan stå på en almindelig server.

Stor installation med et års historik

En region sender 5.000 hændelser i sekundet på 800 byte, skal gemme et år, og arkivet komprimerer 8 : 1.

Events per second on average (EPS): 5,000 EPS
Average size per event (measure your own logs): 800 byte
Storage time: 365 days
Komprimeringsforhold (1 = ingen; se platformens datablad): 8 : 1

It means: Det er 345.6 GB rå data hver dag, 432 mio. hændelser, og arkivet skal rumme 15.77 TB.

Rule of thumb

1.000 EPS på 500 byte giver ca. 43 GB om dagen.

How to check the answer

Efter en uges drift: sammenlign platformens målte daglige indtag med beregnerens GB pr. dag, og ret byte pr. hændelse til.