US-Wahlen 2024: Datenmonitoring in Swing States
Einleitung
Im Rahmen eines analytischen Projekts bei DryShaft Data Lab war ich an der Entwicklung einer Plattform beteiligt, die die Dynamik des US-Präsidentschaftswahlkampfs 2024 beobachtete. Ziel war es, Daten aus Medienquellen, sozialen Netzwerken und Prediction Markets zu aggregieren, um entscheidende Veränderungen in der öffentlichen Wahrnehmung und den Markterwartungen zu erkennen.
Nach dem Super Tuesday (5. März 2024) wurden vier sogenannte Swing States mit besonders dynamischer Marktentwicklung ausgewählt: Michigan, Pennsylvania, Wisconsin und Nevada. Auch für Bundesstaaten mit stabilen Mehrheitsverhältnissen (z.B. Kalifornien oder Texas) wurden Daten erfasst, allerdings mit geringerem Analysefokus. Eine Auswahl dieser aggregierten Prognosedaten ist im Abschnitt Marktdynamik in den Schlüsselstaaten ↓ visualisiert.
Meine Rolle
Ich arbeitete in einem dreiköpfigen Team an der technischen Datenerhebung und -verarbeitung für mehrere US-Bundesstaaten. Mein Schwerpunkt lag auf der Entwicklung und dem Betrieb der Backend-Komponenten für automatisierte Datenerfassung, Aufbereitung und Bereitstellung.
- Entwicklung und Pflege von Web-Scrapern in Python (Selenium, Grab, BeautifulSoup)
- Strukturierung und Speicherung der erhobenen Daten in PostgreSQL und MongoDB
- Integration der Google Natural Language API für Sentimentanalyse, Entity Recognition und Textklassifikation
- Stündliche Erfassung von Prediction-Market-Daten über WebSocket
- Bereitstellung der aggregierten Daten über ein REST-Interface auf Basis von FastAPI
Zusätzlich koordinierte ich die Abläufe innerhalb unseres Mini-Teams, stimmte mich mit Data Engineers und Tradern ab und war für die Stabilität der von uns betriebenen Komponenten verantwortlich.
Methodik
- Automatisiertes Scraping aus über 100 Quellen
- Strukturierte Aufbereitung von Mediendaten (Datum, Region, Länge, Erwähnungen)
- Semantische Analyse mit Google Natural Language AI
- Stündliche Aktualisierung der Wahrscheinlichkeiten aus Prediction Markets
- Entwicklung eines REST-Backends mit FastAPI
- Grafische Darstellung marktrelevanter Dynamiken zu Schlüsselereignissen
Schlüsselereignisse im Wahlkampf
- 27. Juni 2024: Erstes Präsidentschaftsduell Biden vs. Trump (CNN)
- 15.–18. Juli 2024: Republikanischer Parteitag – Nominierung von Donald Trump und JD Vance
- 21. Juli 2024: Rückzug von Joe Biden aus dem Rennen
- 19.–22. August 2024: Demokratischer Parteitag – Nominierung von Kamala Harris und Tim Walz
- 10. September 2024: Zweites Präsidentschaftsduell Trump vs. Harris (ABC)
Marktdynamik in den Schlüsselstaaten
Technologien
Python · FastAPI · PostgreSQL · MongoDB · Selenium · Google Natural Language API · WebSocket · REST
Einschränkungen
Das Projekt unterliegt einer Vertraulichkeitsvereinbarung (NDA). Detaillierte Auswertungen des Nutzerverhaltens auf Prediction Markets bleiben vertraulich. Die erhobenen Daten wurden ausschließlich zur internen Analyse und Handelsunterstützung genutzt. Quellcode und vollständige Datensätze werden nicht veröffentlicht.