4,8 TB di log al giorno, misurati per 24 ore
Il nostro obiettivo erano 5 TB al giorno su un'infrastruttura ad alta disponibilità presso Scaleway ad Amsterdam. Questa pagina mostra cosa abbiamo misurato, come, cosa non è andato bene e i dati grezzi per verificarlo da soli.
In breve
LogPulse ha elaborato 10,64 miliardi di eventi in 24 ore, circa 4,8 TB di log al giorno, su un'infrastruttura ad alta disponibilità di 8 nodi presso Scaleway ad Amsterdam, mentre 25 analisti cercavano e giravano 200 regole di rilevamento. Non ci sono stati errori del server né eventi persi. I nuovi dati erano ricercabili entro 3,8 secondi (p95). Lo abbiamo misurato noi stessi a novembre 2026. I dati grezzi sono su questa pagina.
Cosa abbiamo misurato
24 ore, 1.440 minuti, dal 14 novembre 2026 alle 21:36 UTC.
Volume
4,8 TB/giorno
10,64 miliardi di eventi in 24 ore, in media 55,4 MB/s. Picco di 73 MB/s e 163.000 eventi al secondo.
Errori
0
Nessun HTTP 5xx, nessun riavvio di pod e nessun evento perso nelle 24 ore.
Ricercabile dopo (p95)
≤ 3,8 s
Tempo dall'invio di un evento al suo ritrovamento nella ricerca, nel minuto più lento. Di solito 2,4 s.
Compressione
9,4×
8,2 TB di log grezzi hanno occupato 911 GB in ClickHouse (12,45 miliardi di righe), con il nostro mix di dati generati.
Dall'attacco al notable (mediana)
6 min
58 scenari di attacco misurati, con regole ogni 5 minuti. Il 90% entro 11 minuti, il più lento dopo 16.
Carico oltre all'ingestione
25 + 200
25 analisti hanno cercato, 2 dashboard si sono aggiornate ogni minuto e 200 regole di rilevamento sono girate ogni 5 minuti.
Come abbiamo testato
Un'infrastruttura di produzione ad alta disponibilità, il vero percorso di rete e un carico come quello di un SOC.
Infrastruttura
- ClickHouse
- 2 × 32 vCPU / 128 GB (POP2-32C-128G), 1 shard con 2 repliche
- Applicazione
- 3 × 16 vCPU / 32 GB (POP2-HC-16C-32G), autoscaling da 3 a 8 nodi. API da 11 a 16 pod, 12 worker
- Kafka
- 3 × 8 vCPU / 32 GB (POP2-8C-32G), retention di 12 ore
- Dischi
- ClickHouse 2 × 1 TB di block storage a 15K IOPS, Kafka 3 × 400 GB
- Altro
- Postgres gestito in HA, Kubernetes (Scaleway Kapsule), load balancer LB-GP-L
- Generatori di carico
- 2 × 16 vCPU / 32 GB in un pool di nodi separato, non parte dell'infrastruttura misurata
Scaleway, Amsterdam (nl-ams-3), novembre 2026. Lo stesso chart Helm e gli stessi container di LogPulse in produzione e on-premises.
Carico
Mix di dati
Sette tipi di log per volume: firewall 35%, DNS 15%, Windows 15%, rete 10%, Linux 10%, web 10% ed e-mail 5%. Eventi generati con campi realistici, nessun dato di clienti.
Vero percorso di rete
I generatori inviano all'hostname pubblico dell'API via TLS, attraverso il load balancer e l'ingress, come farebbe un cliente. Il 30% delle richieste è compresso con gzip.
Curva giornaliera
L'obiettivo segue una curva giornaliera da circa 40 MB/s di notte a 75 MB/s di giorno.
25 analisti e 2 dashboard
Analisti simulati cercano in orario d'ufficio, dagli ultimi 15 minuti alle ultime 24 ore. Due dashboard da 8 pannelli si aggiornano ogni minuto.
200 regole di rilevamento
10 regole per gli scenari di attacco più regole gestite dall'hub di LogPulse sugli stessi indici, 200 in totale, ciascuna ogni 5 minuti.
Scenari di attacco
Ogni 10 minuti un attacco noto entra nei dati: brute force su Windows e SSH, una scansione delle porte, un tunnel DNS, PowerShell codificato, un IP malevolo noto, SQL injection, un allegato ISO, una shell sudo ed esfiltrazione. Un watcher misura il tempo fino al notable.
Finestra di misura: 24 ore senza interventi, dal 14 novembre 2026 alle 21:36 UTC al 15 novembre 2026 alle 21:36 UTC. Prima della finestra abbiamo aggiornato la piattaforma sotto carico e riavviato una replica ClickHouse e un broker Kafka. Nessun evento è andato perso. Questi test non fanno parte dei dati delle 24 ore.
Come viene misurato ogni dato
Un reporter nello stack ha scritto ogni minuto una riga con tutte le misure. Queste sono le definizioni.
- Eventi e MB inviati
- Contati dai generatori di carico, dimensione non compressa prima di gzip.
- Errori
- Codici HTTP al secondo sui generatori e su ingress-nginx, riavvii dei pod da Kubernetes. Il contatore dei retry dei generatori è rimasto invariato per tutta la finestra.
- Latenza di ingestione
- Tempo dall'invio di un batch alla risposta, p95 al minuto, misurato sul client. In media 0,9 s, 2,3 s nel minuto più lento. L'API risponde in 30-50 ms; il resto è la ricezione del body sull'ingress.
- Ricercabile dopo
- Una sonda scrive un evento marcato e cerca finché non lo trova. p95 al minuto.
- Regole in ritardo
- Numero di regole attive la cui prossima esecuzione è in ritardo, al minuto.
- Dall'attacco al notable
- Tempo dall'iniezione di uno scenario al notable nel database, misurato da un watcher per ogni scenario.
- Archiviazione
- Righe e byte compressi e non compressi della tabella dei log, dalle tabelle di sistema di ClickHouse, alla fine del test.
Cosa non è andato bene
Questi sono i punti deboli del test e cosa abbiamo fatto al riguardo.
In media 4,8 TB al giorno, non 5
Di giorno l'ingestione è rimasta intorno a 68 dei 75 MB/s. L'ingress scriveva prima su disco ogni richiesta di circa 450 KB. È stato corretto (il body resta in memoria e l'ingress gira su più nodi), ma non ancora rimisurato.
Rilevamento brevemente in ritardo per 34 minuti
Le regole di un'organizzazione giravano una dopo l'altra. Con 200 regole ogni 5 minuti si è proprio al limite, quindi in 34 dei 1.440 minuti una parte delle regole (al massimo 108) era in ritardo, tornando a 0 ogni volta in pochi minuti. Ora le regole girano in parallelo. Anche questo va ancora rimisurato.
Dati generati
Gli eventi provengono da modelli. I log reali variano di più e di solito si comprimono meno di 9,4×. Calcolate lo spazio sui vostri log.
2 giorni di retention
I dischi del test contenevano circa 2 giorni. Con questo carico ClickHouse cresce di circa 510 GB al giorno per replica, quindi una retention più lunga richiede più disco o tiering su object storage.
Ripristino non testato
Abbiamo testato il failover sotto carico, non il ripristino di un backup. Seguirà nel prossimo test.
Metà delle iniezioni di attacchi è fallita nello strumento di test
Un'iniezione su due si è interrotta con un errore di connessione nel nostro strumento di simulazione. I tempi di rilevamento contano solo gli scenari la cui iniezione è riuscita.
Il nostro test
Abbiamo eseguito e misurato questo test noi stessi, su un'organizzazione e uno stack. Non è un audit indipendente. Per questo i dati al minuto sono scaricabili e ripetiamo la misura in un pilot.
Quanto costa questa infrastruttura
Prezzi di listino Scaleway al 14 novembre 2026, IVA esclusa, su 730 ore al mese. Solo infrastruttura, senza la licenza LogPulse.
Come testato, 2 giorni di retention
~4.000 €/mese
Da 3.950 a 4.150 €. Postgres, control plane e load balancer sono stimati.
30 giorni su disco veloce
~7.800 €/mese
Circa 15 TB per replica su block storage a 15K IOPS.
30 giorni con tiering
~4.900 €/mese
7 giorni su disco veloce, il resto su Object Storage. La ricerca nei dati più vecchi è più lenta.
Fonti: Scaleway Instances, Scaleway Storage.
Verificate da soli
I dati al minuto sono pubblici. Ogni dato di questa pagina si può ricalcolare da lì.
Dati al minuto (CSV, 320 KB)
1.745 minuti con 30 misure ciascuno, compresa la fase di avvio prima della finestra. La colonna in_window indica le 24 ore.
Riepilogo (JSON)
I dati della finestra, calcolati dal CSV.
I generatori di carico, la simulazione del SOC e il reporter fanno parte del chart Helm di LogPulse come modalità di test di durata. Ogni dato del reporter viene da una query Prometheus o ClickHouse in quel codice. I clienti Enterprise e i partecipanti a un pilot ricevono gli stessi strumenti.
Volete sapere cosa fa LogPulse sul vostro hardware e con i vostri log? In un pilot eseguiamo insieme lo stesso test, con il vostro mix di log e la vostra retention.
Domande
Sul test e su cosa significa per voi.
Quanti log al giorno può gestire LogPulse?
Nel nostro test di 24 ore un'infrastruttura ad alta disponibilità di 8 nodi (2 ClickHouse, 3 applicativi, 3 Kafka) ha elaborato 10,64 miliardi di eventi, circa 4,8 TB al giorno, senza errori del server né eventi persi. Più nodi danno più capacità. Dimensioniamo ogni stack Enterprise sul suo volume.
Questo test è rappresentativo dell'uso reale?
Ci si avvicina: il traffico passava per il percorso di rete pubblico, gli analisti cercavano, le dashboard si aggiornavano e giravano 200 regole. I dati però erano generati e si trattava di un'unica organizzazione. I log reali si comprimono in modo diverso, per questo rimisuriamo sui vostri log in un pilot.
Come si confronta con Splunk?
Non abbiamo eseguito Splunk nello stesso test, quindi non pubblichiamo un confronto di prestazioni. Splunk Cloud ha un prezzo basato sul volume di ingestione; un documento prezzi di un rivenditore nel catalogo britannico G-Cloud 15 (gennaio 2026) indica 764,75 $ per GB al giorno all'anno tra 5.000 e 9.999 GB al giorno. LogPulse Enterprise ha un prezzo su accordo. Chiedeteci un'offerta per il vostro volume.
Cosa mi serve per 5 TB al giorno?
Partite dall'infrastruttura testata: 2 nodi database da 32 vCPU e 128 GB, da 3 a 8 nodi applicativi da 16 vCPU e 32 GB e 3 nodi Kafka da 8 vCPU e 32 GB, più disco per la vostra retention (circa 510 GB al giorno per replica con questo mix). La pagina on-premises riporta i profili.
Il test è stato verificato in modo indipendente?
No. Lo abbiamo eseguito noi e pubblichiamo i dati grezzi perché chiunque possa ricalcolare i valori. In un pilot misurate insieme a noi.
Misuratelo sui vostri log
Eseguiamo lo stesso test in un pilot, sul vostro hardware o come stack dedicato nel nostro cloud europeo.
Misurato da LayerCares B.V. il 14 e 15 novembre 2026 nelle condizioni descritte in questa pagina. I risultati dipendono da hardware, mix di log, retention e configurazione e non costituiscono una garanzia di prestazioni. Splunk è un marchio del rispettivo titolare; LogPulse non è affiliato a Splunk. LogPulse è un nome commerciale di LayerCares B.V.