In einem Jahr, in dem der Google Optimize Sunset die Schlagzeilen der digitalen Analyse- und Experimentier-Community beherrschte, war 2023 eine weitere Neuigkeit bemerkenswert: Spotify kündigte an, dass es eine Experimentation- und A/B-Testing-Plattform namens “Confidence” einführen würde. Sie haben das Produkt in den letzten zehn Jahren entwickelt – nur für den internen Gebrauch – bevor sie feststellten, dass das Tool so gut ist, dass sie beschlossen, es in eine Software umzuwandeln, die auf dem Markt verkauft werden soll. Doch bevor wir uns näher damit befassen, zunächst ein wenig Kontext.

Was ist Spotify Confidence?

Spotify Confidence ist eine Experimentierplattform, die laut Spotify in erster Linie für Softwareentwicklungsteams gedacht ist. Diese Plattform basiert auf Spotifys internen A/B-Testmethoden und Technologien, die im Laufe der Jahre entwickelt wurden.

Der Hauptzweck von Confidence besteht darin, den Teams das Einrichten, Durchführen, Koordinieren und Analysieren ihrer eigenen Tests zu erleichtern und ihnen so die Möglichkeit zu geben, ihre Ideen effektiver zu optimieren. Diese Plattform ist besonders nützlich für Teams, die aus ihren aktuellen Testplattformen herausgewachsen sind oder eine einfache und skalierbare Möglichkeit suchen, mit A/B-Tests zu beginnen.

Vertrauen entstand aus Spotifys anfänglichen Bemühungen um das Experimentieren, die in den frühen 2010er Jahren mit einfachen, manuellen A/B-Tests begannen. Im Laufe der Zeit, als sich die Bedürfnisse des Unternehmens weiterentwickelten, entwickelte Spotify eine ausgefeiltere Plattform namens ABBA, die Kennzeichnung und Analyse für standardisierte Metrics bot. Diese Entwicklung führte zu einer Ausweitung der Experimente innerhalb von Spotify, die von weniger als 20 vorrangigen Experimenten pro Jahr auf Hunderte in verschiedenen Teams anwuchsen – oder einfach zu einem der am besten geführten Experimentierprogramme der Welt wurde.

Die Plattform bietet eine Reihe von Funktionen, die es Softwareentwicklungsteams ermöglichen, Tests effektiv zu implementieren und zu verwalten. Dazu gehören ein neuer Metrics-Katalog für Self-Service-Analysen, ein Koordinationsmodul für die gleichzeitige Durchführung mehrerer Experimente und automatisierte wissenschaftliche Best Practices.

Confidence ist für die Kunden in drei Formen verfügbar:

1. Als ‘Managed Service’, bei dem die Experimentierplattform in einer SaaS-Konfiguration betrieben wird.
2. Als Plugin, das in Spotifys bestehendes Entwicklerportal “Backstage” integriert wird.
3. Über APIs, die eine maximale Anpassung und Integration in die eigene Infrastruktur eines Unternehmens ermöglichen.

Derzeit (Stand: Dezember 2023) befindet sich Confidence in der privaten Beta-Phase, wobei Spotify plant, es in Zukunft breiter verfügbar zu machen. Dieser Schritt ist Teil der breiteren Strategie von Spotify, sein Angebot über den Kerndienst Musikstreaming hinaus auf kommerzielle Produkte für die Softwareentwicklung auszuweiten.

Wie wird sich das Tool von der Konkurrenz abheben?

Gute Frage! Viele der derzeit auf dem Markt befindlichen Tools sind noch auf der Suche nach dieser Antwort. Und nein, ich werde nicht die Namen derer nennen, die meiner Meinung nach in diese Kategorie fallen. Aber zurück zum Thema Spotify Confidence.

Was ich bisher aus den Präsentationen von Spotify über das Produkt gesehen habe, zeigt, dass sie eine Software entwickelt haben, die sich an Entwickler richtet, aber nicht auf die übliche techniklastige Art und Weise, die nur von einigen wenigen verstanden wird, sondern sie wollen das Tool auch Entwicklern zugänglich machen, die neu in der Welt der A/B-Tests, Experimentation und Decision Science sind. Das klingt kompliziert, aber ich möchte euch ein Beispiel geben:

Dies ist ein Screenshot von einer der Alpha-Versionen. Im Gegensatz zu den meisten Mitbewerbern auf dem Markt gibt das Tool nicht nur eine Reihe von Messwerten und Signifikanzberechnungen aus, die nur von Datenwissenschaftlern richtig verstanden werden können. Es gibt die Ergebnisse und Empfehlungen zur Datenqualität im Klartext aus und macht sie so für die Entwicklungsteams umsetzbar, damit sie direkt die nächsten Schritte einleiten können, ohne andere Stakeholder konsultieren zu müssen.

Das bedeutet, dass sich das Tool auf dem Markt über die Zielgruppe differenzieren kann – denn die meisten aktuellen Lösungen richten sich in erster Linie (nicht ausschliesslich!) an Daten- oder CRO-Spezialisten und nicht an die Entwicklungsteams selbst.

Mögliche Auswirkungen auf den Experimentation Markt

Meiner Meinung nach wird dieser Schritt fast ausschliesslich positive Auswirkungen auf den Markt haben. Experimentation ist – nach all den Jahren – immer noch eine kleine Marketing-/Analysedisziplin, die geduldig darauf wartet, weit verbreitet zu werden. Wenn ein namhafter Akteur wie Spotify auf den Markt kommt, wird das zu mehr Aufmerksamkeit führen, was wiederum eine bessere Bekanntheit auch in anderen Marketingkreisen zur Folge haben wird. Diese Auswirkung sollte mehr Unternehmen dazu veranlassen, mit Experimenten zu beginnen, was allen Tool-Anbietern zugute kommen wird.

Im Allgemeinen kommt der Schritt zu einem günstigen Zeitpunkt. Die CAC (Customer Acquisition Cost) gehen durch die Decke, angetrieben durch hohe CPC’s aufgrund des zunehmenden Wettbewerbs. Kleinere Unternehmen sind auf der Suche nach Möglichkeiten, um genügend Traffic zu bekommen, damit sie online weiter wachsen können – was immer schwieriger zu erreichen ist. Hier kommt das Thema Experimentation ins Spiel: Anstatt mehr Traffic zu “kaufen”, sollten Unternehmen versuchen, in die Conversion des bereits vorhandenen Traffics zu investieren. Spotify – so interpretiere ich den Schritt zumindest – nimmt diese Entwicklung ebenfalls vorweg und hat daher das aktuelle Marktumfeld für die Einführung seines Produkts gewählt. Sie hoffen, dass ihr Markteintritt die notwendige Initialzündung geben kann, um die Disziplin des Experimentierens zu verbreiteter Relevanz zu führen.