Thomas Bonderup

Skalerbar IoT Data Streaming Platform Til Transport Industrien med Apache Kafka & Confluent Platform

Publiseret Apr 21, 20225 min læsning0 kommentarer

Dette projekt var en del af mit afgangsprojekt på min professionsbachelor i softwareudvikling tilbage i januar 2020, hvor jeg undersøgte hvordan data kan indsamles fra biler, og hvordan sådanne data kan bruges til at øge sikkerheden og optimere transportbranchen.

Projektet inkluderede forskning og analyse, hvor jeg undersøgte hvordan data kan indsamles fra biler og arbejdede med 5V’s big data analyse, big data livscyklus analyse, overvejelser om skalerbarhed med AKF scale cube, cost-benefit analyse, cross functional teams analyse, risk analyse on en software test strategi.

Til projektet udviklede jeg et prototype system til en predictive maintenance use-case til anomaly detection på bil sensordata for at identificere defekte bildele. Prototypen blev udviklet med SCRUM agile udviklingsmetodologi og bestod af 3 sprints af hver 14 dages arbejde.

Det endelige prototype system bestod af en platform, der blev bygget oven på Apache Kafka og Confluent Platform for at give en yderst skalerbar data platform. Jeg brugte Java Spring Framework til at udvikle funktionalitet kombineret med Kafka Streams og ksqlDB til at behandle streaming workloads. En opt-out-funktion til connected biler blev udviklet til at håndtere databeskyttelse problemer og GDPR-overholdelse.