Bike & Talk: Die Klassifizierung von politischem Protest auf Bildern durch Computer Vision

Am Mittwoch, den 14.06.2023, besuchte Prof. Nils Weidmann das Institut für Politikwissenschaft und Soziologie, um einen neuen methodischen Ansatz der Computer Vision vorzustellen, der am Center for Image Analysis in the Social Sciences der Universität Konstanz entstanden ist. Das Besondere an der Vortragsreise ist, dass Prof. Weidmann von Konstanz über Augsburg, Erlangen und Bamberg nach Würzburg mit dem Fahrrad meisterte bevor es weiter zum Tourfinale nach Stuttgart geht.

Ein zentrales Ziel des Forschungsprojektes ist es die Transparenz zu erhöhen, da bei konventionellen Ansätzen der Bildklassifikation Algorithmen zum Einsatz kommen, bei denen nicht nachvollzogen werden kann, wie die finalen Ergebnisse zustande kommen. Der Blick in die „black box“ erfolgt in mehreren Schritten: Zuerst wurde ein Trainingsdatensatz erstellt, in dem sich Bilder finden, die politische Proteste im öffentlichen Raum, aber eben auch andere Ereignisse wie Fanmärsche vor einem Fußballspiel zeigen. Dieser wurde durch Menschen mittels einer vierstufigen Skala klassifiziert, die es erlaubt Unsicherheiten in der Codierung anzugeben (Protest: sicher kein Protest, eher sicher kein Protest, eher sicher Protest, sicher Protest). Im nächsten Schritt wurde ein neuronales Netzwerk darauf trainiert die Unterschiede zwischen Bildern zu erkennen, die politische Proteste oder aber andere Ereignisse zeigen. Im Gegensatz zu konventionellen Bildklassifikationsansätzen werden die Bilder nicht im Ganzen klassifiziert, sondern segmentiert, also durch den Abgleich mit einer Bibliothek in einzelne Objekte identifiziert und klassifiziert. Durch diese „features“ können die Bilder näher beschrieben werden und es wird ersichtlich, warum das neuronale Netzwerk ein Bild als Protest klassifiziert oder eben nicht. Diese Informationen stellen herkömmliche Methoden nicht zur Verfügung.

Der Abgleich mit dem Trainingsdatensatz erlaubt es dann die Zuverlässigkeit und Genauigkeit der Bildklassifikation zu überprüfen. Dass die Qualität der Messung hinsichtlich statistischer Parameter abweicht, kann aus Sicht von Prof. Weidmann hingenommen werden, da es sich um einen Trade-off handelt, da Transparenz und Identifikationswahrscheinlichkeit nicht gleichermaßen maximiert werden können.
Erste empirische Ergebnisse verweisen auf länderübergreifende Unterschiede hinsichtlich der Protestformen, da bspw. die Medien Flaggen und Plakate in ihrer Wichtigkeit variieren. Trotz bestehender und zukünftiger Problematiken bietet die Computer Vision für die Sozialwissenschaft ein großes Forschungspotenzial. Dies kann allerdings nur durch eine zunehmende Interdisziplinarität – wie sie am Center for Image Analysis in the Social Sciences bereits praktiziert wird – ausgeschöpft werden.

Das IPS wünscht Prof. Weidmann auf der Schlussetappe und weiteren Bike & Talk-Reisen einen immerwährenden Druck auf den Pedalen und Luft in den Reifen.