Der Produktmanager bringt eine Funktion heraus. Die Funktion soll ein Kundenproblem lösen und die Kundenbindung stärken.
Zwei Wochen nach dem Start: Senkt die Funktion die Abwanderung? Nutzen mehr Kunden die Funktion? Verbringen Kunden mehr Zeit in der Funktion?
Ohne Produkt-Dashboard wartet der Produktmanager 6 Wochen auf den Monatsbericht, um die Wirkung der Funktion zu sehen. Dann ist das Feedback der Kunden kalt. Er kann nicht mehr nachbessern.
Mit Produkt-Dashboard sieht der Produktmanager nach 2 Wochen: Die Nutzungsrate der Funktion liegt bei 5 Prozent (das Ziel waren 20 Prozent bis Woche 2). Das Problem ist sofort sichtbar. Der Produktmanager geht der Sache nach. Er findet heraus, dass die Funktion schwer zu entdecken ist. Er fügt eine Nachricht im Onboarding hinzu. Die Nutzung steigt bis Woche 4 auf 15 Prozent.
Produkt-Dashboards: Funktionsnutzung und Interaktion
Nutzungsrate einer Funktion
Die Funktion wurde vor 2 Wochen gestartet. Berechtigte Nutzer: 10.000. Nutzer, die die Funktion genutzt haben: 500. Nutzungsrate: 5 Prozent. Das Ziel waren 20 Prozent bis Woche 4. Derzeit im Rückstand. Es braucht eine Untersuchung.
Interaktion mit der Funktion
Von 500 Nutzern, die die Funktion ausprobiert haben: Wie viele nutzen sie täglich? 200. Wie viele wöchentlich? 300. Wie viele haben die Funktion aufgegeben? 200. Interaktionsrate: 40 Prozent täglich, 60 Prozent wöchentlich, 40 Prozent aufgegeben. Der Abbruch ist zu hoch. Die Funktion bindet nicht.
Zeit in der Funktion
Die durchschnittliche Sitzung in der Funktion dauert 2 Minuten. Vor der Funktion lag die durchschnittliche Sitzungsdauer auf der Website bei 10 Minuten. Die Funktion zieht Nutzer von anderen Funktionen ab. Ist das gewollt? Hat die Funktion eine ältere Funktion ersetzt, oder kommt sie zusätzlich dazu?
Wirkung auf die Kundenbindung
Kunden, die die Funktion nutzen: 8 Prozent Abwanderung pro Monat. Kunden, die die Funktion nicht nutzen: 12 Prozent Abwanderung pro Monat. Die Funktion wirkt. Die Abwanderung verbessert sich um 4 Prozentpunkte. Bei einem Kundenstamm von 1.000 sind das 40 Kunden weniger pro Monat. 40 mal 50 (durchschnittlicher Kundenwert) sind 2.000 Umsatz, die du pro Monat rettest.
Betriebs-Dashboards: Systemzustand und Leistung
Verfügbarkeit des Systems
Die Website war letzte Woche zu 99,95 Prozent der Zeit erreichbar. Das Ziel sind 99,99 Prozent. Wir liegen darunter. Zwei Ausfälle: einer von 10 Minuten, einer von 15 Minuten. Zusammen 25 Minuten Ausfallzeit. Was hat die Ausfälle verursacht? Lassen sie sich verhindern?
Antwortzeit
Die durchschnittliche Antwortzeit der API liegt bei 200 Millisekunden. Die P95-Antwortzeit liegt bei 500 Millisekunden (95 Prozent der Anfragen sind schneller, 5 Prozent langsamer). P99 liegt bei 1 Sekunde. Langsame Antworten kommen gelegentlich vor. Sind sie akzeptabel?
Fehlerrate
1 Prozent der API-Anfragen lieferte einen Fehler. Letzte Woche waren es 0,5 Prozent. Die Fehlerrate hat sich verdoppelt. Was hat sich geändert? Eine Datenbankabfrage ist langsamer. Die Antwortzeiten sind gestiegen. Kunden laufen in Zeitüberschreitungen und versuchen es erneut. Es braucht eine Untersuchung.
Verbindungspool der Datenbank
Der Pool hat 100 Verbindungen. Aktuell sind 100 offen (voll ausgelastet). Es sind keine Verbindungen mehr frei. Wenn eine weitere Anfrage kommt, muss sie warten. Der Nutzer erlebt Wartezeit. Der Pool ist an der Grenze. Du musst den Pool vergrößern oder die Nutzung senken.
Trefferquote des Caches
Der Cache wird in 50 Prozent der Fälle getroffen. 50 Prozent des Traffics brauchen keine Datenbankabfrage. Eine Fehlerquote des Caches von 50 Prozent ist für die meisten Websites akzeptabel. Unter 40 Prozent ist die Datenbank überlastet. Über 70 Prozent cachst du zu viel.
Echtes Beispiel: Produkt- und Betriebs-Dashboard für SaaS
Produktkennzahlen
Neue Dashboard-Funktion: in Monat 1 gestartet. Berechtigte Nutzer: 5.000 (Kunden mit mehr als 10 Datenpunkten). Nutzer, die ein Dashboard erstellt haben: 1.000. Nutzungsrate: 20 Prozent. Im Ziel.
Von den 1.000, die ein Dashboard erstellt haben: Täglich aktiv: 600. Gute Interaktion. Wöchentlich aktiv: 900. Die meisten nutzen es mindestens wöchentlich. Aufgegeben: 100. 10 Prozent Abwanderung.
Wirkung auf die Kundenbindung: Kunden mit aktiven Dashboards haben 2 Prozent Abwanderung pro Monat. Kunden ohne Dashboards haben 4 Prozent Abwanderung pro Monat. Das Dashboard senkt die Abwanderung um 2 Punkte. Bei einem Kundenstamm von 1.000 sind das 20 Kunden. Bei 100 Dollar Monatswert pro Kunde sind das 2.000 Umsatz, die du pro Monat rettest. 24.000 im Jahr.
Betriebskennzahlen
Verfügbarkeit im letzten Monat: 99,92 Prozent. Ziel: 99,95 Prozent. Wir haben das Ziel verfehlt.
Ausfälle: Ein Vorfall: 10 Minuten, Zahlungsabwicklung ausgefallen. Ursache: Der Failover der Datenbank dauerte zu lange. Ein Vorfall: 15 Minuten, Spitze bei Zeitüberschreitungen der API. Ursache: Traffic-Spitze plus langsame Datenbankabfrage.
Antwortzeit: Durchschnitt: 150 Millisekunden. Gut. P95: 300 Millisekunden. Akzeptabel. P99: 1 Sekunde. Das ist zu hoch. 1 Prozent der Kunden erlebt 1 Sekunde Wartezeit. Braucht Optimierung.
Fehlerrate: 0,8 Prozent. Vor zwei Wochen waren es 0,4 Prozent. Die Untersuchung zeigt: Fehler bei der Zahlungsabwicklung sind gestiegen, weil der Zahlungsanbieter letzte Woche einen Ausfall hatte (nicht unsere Schuld). API-Fehler sind gestiegen, weil wir eine Codeänderung ausgespielt haben, die einen Endpunkt kaputt gemacht hat (unsere Schuld).
Datenbank: Durchschnittliche Abfragezeit: 30 Millisekunden. Auslastung des Verbindungspools: 80 Prozent. Gesund. Rate langsamer Abfragen: 0,2 Prozent. Akzeptabel.
Trefferquote des Caches: 65 Prozent. Gesund.
Produkt- und Betriebs-Dashboards verbinden
Die Nutzung von Funktionen hängt von der Leistung des Systems ab. Wenn das System langsam ist, leidet die Nutzung der Funktionen. Die neue Dashboard-Funktion hat eine niedrige Nutzung. Prüfe das Betriebs-Dashboard. Die P99-Antwortzeit liegt bei 1 Sekunde. Nutzer erleben Verzögerung beim Öffnen des Dashboards. Nimm in die Untersuchung auf: Verursacht die langsame Leistung die niedrige Nutzung? Wenn ja, optimiere zuerst die Systemleistung. Messe dann die Nutzung erneut.
Die Systemleistung wird an der Verfügbarkeit gemessen, nicht an der Wirkung von Funktionen. Aber die Wirkung von Funktionen hängt von der Verfügbarkeit ab. Verbinde beide Dashboards. Wenn die Betriebskennzahlen schlechter werden, werden auch die Produktkennzahlen schlechter.
Häufige Fragen
Wie oft sollte der Produktmanager die Nutzung einer Funktion prüfen?
In der ersten Woche: täglich. Die Funktion ist gerade gestartet, die Nutzungskurve ist am steilsten. Du musst Probleme früh erkennen. In Woche 2 bis 4: 3-mal pro Woche. Die Nutzungskurve flacht ab. Wöchentliche Updates reichen. Nach dem ersten Monat: wöchentlich. Die Nutzung hat sich eingependelt oder wächst stetig. Eine wöchentliche Prüfung reicht. Ausnahme: Wenn die Funktion kritisch ist oder die frühe Nutzung unter dem Ziel liegt, läuft die tägliche Überwachung weiter, bis das Problem gelöst ist. Mit dem Website-Builder von WEMASY richtest du das direkt auf deiner Website ein.
Welche Nutzungsrate einer Funktion ist pro Woche akzeptabel?
Woche 1: 5 bis 15 Prozent (die Leute probieren es aus). Woche 2: 10 bis 30 Prozent (Mundpropaganda verbreitet sich). Monat 1: 20 bis 50 Prozent (eingependelter Wert). Bei verschiedenen Funktionen unterschiedlich. Spielfunktionen können 90 Prozent Nutzung erreichen. Funktionen für Compliance erreichen vielleicht nur 10 Prozent. Das Ziel sollte auf Nutzersegment und Bedeutung der Funktion beruhen, nicht auf einem allgemeinen Richtwert. Entscheide vor dem Start: Ist diese Funktion für alle oder nur für ein Segment? Das bestimmt das Ziel.
Wie unterscheiden wir zwischen Nutzung und Interaktion?
Nutzung heißt, die Funktion auszuprobieren (wurde sie mindestens einmal genutzt). Interaktion heißt, sie wiederholt zu nutzen (täglich, wöchentlich, monatlich). Eine Funktion kann hohe Nutzung und niedrige Interaktion haben (alle haben es probiert, wenige sind geblieben). Eine Funktion kann niedrige Nutzung und hohe Interaktion haben (wenige haben es probiert, aber die lieben es). Beide Kennzahlen zählen. Hohe Nutzung plus hohe Interaktion ist ein Erfolg. Niedrige Interaktion heißt, die Funktion löst kein echtes Problem. Niedrige Nutzung heißt, es gibt ein Problem bei der Auffindbarkeit.
Sollte das Produkt-Dashboard Kunden-Feedback enthalten oder nur Kennzahlen?
Nimm beides auf. Kennzahlen zeigen, was Kunden tun. Feedback zeigt, warum. 500 Nutzer haben die Funktion aufgegeben (Kennzahl). Das Feedback sagt: Die Funktion ist schwer zu finden oder die Funktion löst mein Problem nicht (Warum). Kennzahlen ohne Feedback sind unvollständig. Ergänze einen Bereich mit den 3 wichtigsten Gründen für Abwanderung oder Aufgeben, auf Basis von Support-Tickets und Umfragen. Umsetzung: Füge der Funktion ein Kommentarfeld hinzu. Wöchentlich: Lies die 20 wichtigsten Kommentare von Nutzern und ordne sie Themen zu. Berichte die Themen im Dashboard.
Wie legen wir Ziele für Verfügbarkeit und Antwortzeit fest?
Stütze die Ziele auf die Wirkung für Kunden und auf Branchenstandards. Für den Checkout im Onlineshop: Verfügbarkeit 99,9 Prozent, Antwortzeit unter 2 Sekunden. Für eine Marketing-Website: Verfügbarkeit 99 Prozent, Antwortzeit unter 3 Sekunden. Für interne Tools: Verfügbarkeit 95 Prozent, Antwortzeit unter 5 Sekunden. Je kritischer der Dienst, desto strenger das Ziel. Wenn du ein Ziel festlegst, wisse, welche Investition es braucht. 99,99 Prozent Verfügbarkeit (vier Neunen) kosten das Drei- bis Vierfache von 99 Prozent Verfügbarkeit (zwei Neunen). Achte darauf, dass das Ziel die Kosten wert ist.
Sollte das Betriebs-Dashboard Alarme auslösen oder nur den Status zeigen?
Beides. Das Dashboard zeigt den aktuellen Status. Alarme lösen aus, wenn Schwellenwerte überschritten werden. Wenn die Fehlerrate 5 Minuten lang über 1 Prozent liegt, löst ein Alarm aus. Der Alarm geht an den Entwickler im Bereitschaftsdienst, der der Sache nachgeht. Das Dashboard dient der Überwachung zu normalen Zeiten. Der Alarm ist für die Zeit außerhalb der Arbeitszeit oder für kritische Lagen. Keines von beiden reicht allein. Ein Dashboard ohne Alarme heißt, Probleme werden in der Arbeitszeit entdeckt. Ein Alarm ohne Dashboard heißt, das Team ist blind für schleichende Verschlechterung, bis der Alarm auslöst. Nutze beides zusammen.