Oltre al batch, come l'ERP guida più velocemente con lo streaming dei dati

I dati si spostano. Tutti i dati a un certo punto della loro vita si sono spostati da, o si sono spostati in, un luogo o un altro. Che si tratti di un database o di un'applicazione, di una qualche forma di repository basato su cloud da e verso un dispositivo IoT o semplicemente tra servizi interni a un sistema operativo o i suoi punti di connessione associati, i dati sono praticamente sempre in movimento.

Anche quando i dati si fermano e risiedono in un archivio a lungo termine, in genere vengono elaborati attraverso una qualche forma di meccanismo di trasporto in una fase o nell'altra. Queste verità fondamentali implicano che spesso ci concentriamo sulla cadenza dei dati ed esaminiamo la loro capacità di arrivare dove devono essere in modo tempestivo.

Se ripensiamo ai tempi pre-millenari, i servizi dati e gli utenti che dipendevano da essi spesso dovevano accontentarsi di “build notturne” se volevano che la loro dorsale di dati fornisse loro le informazioni più aggiornate. Questa era (e di fatto è tuttora) l'era dell'elaborazione batch, talvolta nota anche come automazione del carico di lavoro o pianificazione dei lavori.

Secondo la società di integrazione dei dati e piattaforma cloud aziendaleTibco, l'elaborazione batch rappresenta un modo conveniente per elaborare enormi quantità di dati in un breve lasso di tempo.

“Un buon esempio di elaborazione batch è il modo in cui le società di carte di credito effettuano la fatturazione. Quando i clienti ricevono la fattura della loro carta di credito, non si tratta di una fattura separata per ogni transazione; piuttosto, c'è una fattura per l'intero mese. La fattura viene creata utilizzando l'elaborazione batch. Tutte le informazioni vengono raccolte durante il mese, ma vengono elaborate ad una certa data, tutte in una volta”, nota Tibco, in un documento di briefing tecnico.

Oltre il batch, in tempo reale

Ma il mondo ora si muove più velocemente del batch; lavoriamo tutti in un universo sempre attivo in cui gli smartphone devono fornire servizi tempestivi in ​​pochi secondi e le applicazioni aziendali devono fornirci servizi e connettività continuamente integrati. Questa è l’era dei dati in tempo reale.

La chiave tra le tecnologie abilitanti in questo ambito èApache Kafka. Tracciando le sue radici nel 2011, la tecnologia è nata da un progetto interno per creare una coda di messaggistica guidata da ingegneri del software che lavorano pressoLinkedIn.Dalle sue origini di coda di messaggistica “di base”, la piattaforma di streaming di dati Apache Kafka è ora in grado di gestire oltre un milione di messaggi al secondo, una quantità che equivale a circa trilioni di messaggi al giorno.

Questa tecnologia va ben oltre Kafka – Jay Kreps, Confluent

Sebbene Apache Kafka puro rimanga open source con le responsabilità di gestione operativa lasciate nelle mani dell'utente,Confluente fornisce un servizio di elaborazione e analisi dei flussi nativo del cloud completamente gestito. Si tratta di una tecnologia che, secondo il co-fondatore e CEO di Confluent, Jay Kreps, "va ben oltre Kafka" per i moderni casi d'uso delle applicazioni in tempo reale per alimentare quello che lui chiama il processo decisionale in tempo reale, o almeno l'iterazione digitale di tale processo. .

Cos'è lo streaming di dati?

Tornando per un momento alla scuola di ingegneria del software, possiamo definire lo streaming di dati come un principio informatico. Denota un approccio che supervisiona una sequenza ordinata nel tempo affinché i dati passino attraverso un'applicazione, un componente o un servizio. Solitamente incentrati sui record di dati di livello inferiore che si verificano all'interno di un determinato sistema IT, i servizi di streaming di dati trasportano file di registro che si riferiscono a qualsiasi cosa, da una singola pressione della tastiera alle letture dei sensori della strumentazione di macchine industriali.

Per quanto granulari e minuscoli siano questi record, una volta aggregati aiutano a dipingere un quadro riccamente illustrativo di ciò che sta accadendo esattamente all'interno di una distribuzione IT. Questa realtà ci porta logicamente verso l'ERP, ovvero l'analisi del flusso di dati può fornirci una visione ingegnerizzata con precisione di ciò che sta accadendo all'interno di un'applicazione o funzione software aziendale. Quindi, come applichiamo questo potere?

"Sto affermando l'ovvio, ma i dati sono ciò che mantiene qualsiasi organizzazione sulla strada giusta, quindi [l'] accesso in tempo reale promesso dallo streaming di dati dovrebbe logicamente essere visto come una risorsa enorme", afferma Chris Gorton, SVP per l'area EMEA nord, Mercati meridionali ed emergenti presso la società di piattaforme di gestione dei dati