Anwendungsgebiet
Ad-Marketing & Hochverfügbare Systeme
Zeitraum
September 2014 - heute
Technologien
In der heutigen datengetriebenen Geschäftswelt ist die Fähigkeit, große Datenmengen in Echtzeit zu verarbeiten, ein entscheidender Wettbewerbsvorteil. SlimSpots, ein weltweit agierender Anbieter von Ad-Marketing-Lösungen, bringt Traffic-Lieferanten und Werbetreibende zusammen und benötigt dafür eine Infrastruktur, die nicht nur enorme Datenmengen bewältigen kann, sondern auch höchste Anforderungen an Skalierbarkeit, Verfügbarkeit und Geschwindigkeit erfüllt.
Unsere Aufgabe bestand darin, eine robuste, skalierbare Infrastruktur zu entwickeln und zu betreuen, die in Millisekunden Entscheidungen über die Auslieferung von Werbemitteln treffen und gleichzeitig Billionen von Datensätzen für detaillierte Analysen bereitstellen kann. SlimSpots entscheidet für jeden Klick und Banner-View, welche Werbung angezeigt wird – basierend auf Kriterien wie Browser, Gerät, Land, Internet-Provider, Uhrzeit, vorherigen Interaktionen und vielen weiteren Faktoren. Gleichzeitig müssen Traffic-Lieferanten und Werbetreibende in Echtzeit die Performance ihrer Kampagnen verfolgen können, um schnell auf Veränderungen reagieren zu können.
Unsere Leistungen
Datenbank- und Serveradministration
Für SlimSpots haben wir ein umfassendes System zur Datenbank- und Serveradministration implementiert, das auf höchste Verfügbarkeit und Performance ausgerichtet ist. Im Zentrum unserer Lösung steht der Einsatz von MariaDB ColumnStore, einer spaltenbasierenden Datenbank, die speziell für die Verarbeitung enormer Datenmengen konzipiert ist. Diese Technologie ermöglicht es, Abfragen auf mehrere Server und alle verfügbaren CPU-Kerne zu verteilen, was eine außergewöhnliche Skalierbarkeit gewährleistet.
Die Implementierung einer spaltenbasierenden Datenbank bringt spezifische Herausforderungen mit sich, die wir durch sorgfältige Optimierung der Datenbankstruktur, der Abfragen und der Software gemeistert haben. Wir haben die Datenmodelle so gestaltet, dass sie optimal für analytische Abfragen geeignet sind, während gleichzeitig die Echtzeitverarbeitung sichergestellt wird. Diese Balance ist entscheidend für SlimSpots, da das System sowohl blitzschnelle Entscheidungen treffen als auch umfangreiche historische Datenanalysen ermöglichen muss.
Neben der Datenbankoptimierung haben wir auch die Betreuung der gesamten Serverinfrastruktur übernommen, die im Peak aus 40 Servern bestand. Dies umfasste die Konfiguration, Überwachung und Wartung der Server sowie die Implementierung von Hochverfügbarkeitslösungen, um Ausfallzeiten zu minimieren. Durch kontinuierliche Performanceanalysen und proaktive Optimierungen konnten wir die Infrastruktur stets an die wachsenden Anforderungen anpassen.
Optimierung der Auslieferungssoftware
Ein wesentlicher Bestandteil unserer Arbeit für SlimSpots war die Verbesserung der Auslieferungssoftware, die für die Echtzeitentscheidungen bei der Werbemittelschaltung verantwortlich ist. Diese Software muss in Millisekunden entscheiden, welche Werbung einem bestimmten Nutzer angezeigt wird, basierend auf zahlreichen Kriterien wie Gerät, Standort, Browser und vorherigen Interaktionen.
Wir haben die bestehende Software grundlegend überarbeitet und optimiert, um die Verarbeitungsgeschwindigkeit zu erhöhen und gleichzeitig die Präzision der Entscheidungsfindung zu verbessern. Durch den Einsatz effizienter Caching-Mechanismen, die Optimierung der Datenbankabfragen und die Implementierung intelligenter Algorithmen konnten wir die Antwortzeiten signifikant reduzieren und die Skalierbarkeit des Systems erhöhen.
Besonderes Augenmerk legten wir auf die Echtzeitanalyse und -visualisierung der Kampagnenperformance. Werbetreibende und Traffic-Lieferanten benötigen sofortiges Feedback über die Wirksamkeit ihrer Maßnahmen. Unsere optimierte Software ermöglicht es, Daten in Echtzeit zu verarbeiten und aussagekräftige Dashboards zu generieren, die eine unmittelbare Bewertung der Kampagnenperformance erlauben.
Besondere Herausforderungen
Extreme Skalierbarkeit bei konstanter Performance
Eine der größten Herausforderungen in diesem Projekt war die Gewährleistung extremer Skalierbarkeit bei gleichzeitig konstanter Performance. Die Datenmengen, die SlimSpots verarbeitet, wachsen kontinuierlich, und die Infrastruktur muss in der Lage sein, mit diesem Wachstum Schritt zu halten, ohne dass es zu Leistungseinbußen kommt.
Wir haben diese Herausforderung durch den Einsatz von MariaDB ColumnStore gemeistert, einer spaltenbasierenden Datenbank, die speziell für Big-Data-Analytik entwickelt wurde. Wir haben die Datenbankstruktur, die Abfragen und die Anwendungslogik sorgfältig aufeinander abgestimmt, um sowohl blitzschnelle Entscheidungen als auch umfangreiche historische Analysen zu ermöglichen.
Die Skalierung auf bis zu 40 Server erforderte zudem ein durchdachtes Architekturkonzept, das eine effiziente Lastverteilung und Fehlertoleranzmechanismen umfasst. Durch den Einsatz intelligenter Caching-Mechanismen und das Optimieren von Indexstrukturen konnten wir sicherstellen, dass das System auch bei sprunghaft ansteigenden Anfragevolumen zuverlässig funktioniert.
Weltweite Verfügbarkeit und Datenanalyse
Als weltweit agierendes Unternehmen benötigt SlimSpots eine Infrastruktur, die global verfügbar ist und dennoch niedrige Latenzzeiten bietet. Gleichzeitig müssen Daten über Jahre hinweg gespeichert und analysierbar sein, um langfristige Trends zu erkennen und die Effektivität von Kampagnen zu bewerten.
Wir haben ein verteiltes System implementiert, das eine lokale Verarbeitung mit globaler Datenkonsistenz verbindet. Die Herausforderung bestand darin, trotz der weltweiten Verteilung eine konsistente Datenbasis für Analysen zu schaffen.
Besonders anspruchsvoll war die Anforderung, historische Daten über Jahre hinweg verfügbar und effizient abfragbar zu halten. Unsere System-Architektur ermöglicht es SlimSpots und seinen Kunden, detaillierte Auswertungen über lange Zeiträume durchzuführen und so wertvolle Erkenntnisse für die Optimierung ihrer Kampagnen zu gewinnen.