KI-Sichtbarkeit messen: Zahlen statt Bauchgefühl

Die Geschäftsführung will vor der Budgetfreigabe Zahlen sehen: Wie präsent ist das eigene Unternehmen in KI-Antworten, und wo steht der Wettbewerb? Also öffnet jemand ChatGPT, tippt die naheliegende Frage ein und bekommt eine Liste mit fünf Anbietern. Das eigene Unternehmen steht nicht darauf. Screenshot, Folie, Alarmstimmung. Zwei Tage später stellt eine Kollegin dieselbe Frage, und das Unternehmen steht an zweiter Stelle.

Beide Messungen sind wertlos. Nicht weil jemand einen Fehler gemacht hätte, sondern weil eine einzelne Abfrage bei diesen Systemen grundsätzlich keine Aussage trägt.

Das Wichtigste in Kürze: KI-Systeme beantworten dieselbe Frage unterschiedlich, und das ist kein Zufall, sondern messbar und systematisch. Eine Untersuchung von Conductor mit 14.000 Abfragen zeigt: Bei Fragen mit Kaufabsicht überschneiden sich zwischen zwei Durchläufen derselben Frage nur 40 Prozent der genannten Marken. Eine belastbare Messung braucht deshalb drei Dinge: eine feste Fragenliste, mehrere Wiederholungen je Frage und eine Auswertung, die die Unsicherheit ausweist. Wer aus fünf Abfragen eine Prozentzahl ableitet, berichtet Zufall mit Nachkommastellen.

Warum liefert dieselbe Frage jedes Mal eine andere Antwort?

Weil Sprachmodelle Antworten nicht nachschlagen, sondern Wort für Wort Wahrscheinlichkeiten berechnen. Winzige numerische Unterschiede reichen aus, damit an einer Weggabelung ein anderes Wort gewinnt, und ab dort läuft die Antwort in eine andere Richtung. Bei Anbieterlisten entscheidet genau das darüber, wer genannt wird und wer nicht.

Bemerkenswert daran ist, dass die Schwankung auch bestehen bleibt, wenn man die Kreativität des Modells auf null stellt. Das Thinking Machines Lab hat im September 2025 gezeigt, woran das liegt: Die Rechenkerne auf der Grafikkarte liefern unterschiedliche Ergebnisse, je nachdem wie viele Anfragen gerade gleichzeitig verarbeitet werden. Ihre Anfrage ändert sich nicht, aber ihre Nachbarschaft im Rechenpaket ändert sich, und damit die Rundung in der letzten Nachkommastelle. Erst nachdem das Team die betroffenen Rechenkerne unabhängig von der Paketgröße gemacht hatte, waren 1.000 Durchläufe hintereinander bitgenau identisch.

Für die Praxis folgt daraus: Die Streuung ist keine Marotte einzelner Anbieter, und sie verschwindet nicht, wenn man den richtigen Schalter findet. Sie gehört zum Verfahren.

Wie groß sie ausfällt, hat Conductor im Juli 2026 systematisch vermessen: 70 Fragen, je 50 unabhängige Durchläufe, vier Systeme (ChatGPT, Perplexity, Claude und Gemini), zehn Branchen, zusammen 14.000 Abfragen. Das Ergebnis widerspricht der verbreiteten Annahme, die Antworten seien schlicht beliebig.

Lesehilfe: Bei Fragen mit Kaufabsicht überschneiden sich zwei Antworten auf dieselbe Frage nur zu 40 Prozent in den genannten Marken. Ausgerechnet dort, wo es geschäftlich am meisten zählt, ist die Streuung am größten. Vergleichsfragen sind mit 63 Prozent am stabilsten, und die zuerst genannte Marke bleibt dort in 91 Prozent der Fälle dieselbe. Wissensfragen zeigen ein eigenes Muster: Die Menge der genannten Marken ist mit 60 Prozent recht stabil, aber wer davon an erster Stelle steht, wechselt in 70 Prozent der Durchläufe.

Ein zweiter Befund derselben Untersuchung: Gemini nennt im Schnitt 9,2 Marken pro Antwort, ChatGPT nur 5. Wer beide Systeme in eine gemeinsame Kennzahl wirft, vergleicht Ungleiches.

Einordnung: Conductor verkauft Software für Such- und KI-Sichtbarkeit, hat also ein Interesse daran, dass das Thema als anspruchsvoll gilt. Die Methodik ist allerdings offengelegt und nachvollziehbar, und die Größenordnung deckt sich mit dem, was wir in eigenen Messreihen sehen. Die Zahlen sind brauchbar, ihre Herkunft sollte man trotzdem kennen.

Welche Kennzahlen gibt es überhaupt?

KI-Sichtbarkeit ist keine einzelne Zahl, sondern ein Bündel aus sechs Größen. Sie beantworten unterschiedliche Fragen, und die meisten Diskussionen im Unternehmen entgleisen, weil zwei Beteiligte über verschiedene davon reden.

Die wichtigste dieser sechs ist die Faktentreue, und sie ist zugleich die einzige, die sich nicht automatisieren lässt. Eine Nennung mit falschen Angaben kann geschäftlich schlechter sein als gar keine Nennung. Wie verbreitet das ist, zeigt eine Erhebung der Agentur maxonline aus März und April 2026: An 150 mittelständischen Unternehmen aus elf Branchen im DACH-Raum, geprüft mit über 450 Fragen, lieferte ChatGPT bei 96 Prozent der Anfragen zu Geschäftsführern falsche oder erfundene Angaben. Auch hier gilt die Einordnung: Die Studie stammt von einer Agentur, die GEO-Leistungen verkauft. Der Befund deckt sich aber mit dem, was jeder nachprüfen kann, der die eigene Geschäftsführung abfragt.

Was Sie mit falschen Angaben tun können, haben wir in einem eigenen Beitrag zu falschen KI-Angaben über Ihr Unternehmen beschrieben. Kurzfassung: Es gibt keinen Meldeweg, es gibt nur den Umweg über die Quellen.

Wie viele Wiederholungen braucht eine belastbare Zahl?

Mehr, als die meisten erwarten. Wenn Sie eine Frage fünfmal stellen und zweimal genannt werden, sind das rechnerisch 40 Prozent. Statistisch ist der wahre Wert dann irgendwo zwischen 12 und 77 Prozent. Diese Spanne ist so breit, dass die Zahl keine Entscheidung trägt.

Die folgende Tabelle zeigt, wie sich die Unsicherheit mit der Zahl der Wiederholungen entwickelt, jeweils bei einem beobachteten Anteil von 40 Prozent. Die Intervalle sind nach dem Wilson-Verfahren berechnet, das bei kleinen Stichproben zuverlässiger ist als die verbreitete Näherungsformel.

Wer eine Nennquote auf plus/minus 10 Prozentpunkte genau bestimmen will, braucht rund 80 Wiederholungen derselben Frage. Das sagt kein Anbieter von Monitoring-Software gern, weil es den Aufwand sichtbar macht.

Daraus folgt eine praktische Regel, die den Aufwand begrenzt, ohne unehrlich zu werden: Berichten Sie bei kleinen Stichproben keine Prozentzahlen, sondern Kategorien. Vier Stufen reichen für jede Vorstandsvorlage.

1. Nie genannt: in keinem einzigen Durchlauf
2. Gelegentlich: in weniger als der Hälfte der Durchläufe
3. Regelmäßig: in mehr als der Hälfte
4. Immer: in allen Durchläufen

So bleibt die Aussage belastbar, und niemand muss so tun, als sei eine Veränderung von 38 auf 42 Prozent ein Ergebnis. Für Kennzahlen, die Sie tatsächlich als Prozentzahl ausweisen wollen, gilt die Untergrenze von 30 Beobachtungen je Zelle, wie sie auch in der Marktforschung üblich ist.

Wie stellen Sie die Fragenliste zusammen?

Mit 25 bis 50 Fragen, die Ihre Kundschaft tatsächlich stellt, und dann bleiben diese Fragen unverändert. Wortgleich, über Monate. Sobald Sie an der Formulierung schrauben, messen Sie die Formulierung mit und nicht mehr die Entwicklung Ihrer Sichtbarkeit.

Unter 25 Fragen wird das Ergebnis zu stark von Einzelfällen bestimmt; deutlich über 50 wird die Liste ohne Automatisierung nicht mehr gepflegt. In der Praxis liegt der sinnvolle Bereich für ein mittelständisches Unternehmen bei 30 bis 40 Fragen.

Die Zusammensetzung sollte die Absichtstypen abbilden, die in der Conductor-Untersuchung unterschiedlich stabil abschneiden. Ein brauchbarer Schlüssel:

Der häufigste Fehler an dieser Stelle: Es werden fast nur Markenfragen gestellt. Wer wissen will, was ein Interessent erlebt, der das Unternehmen noch nicht kennt, muss die Problemfrage stellen und nicht den Firmennamen. Markenfragen messen, ob das System Sie kennt. Problemfragen messen, ob es Sie empfiehlt. Für die Pipeline zählt das zweite.

Wie berechnen Sie den Anteil gegenüber dem Wettbewerb?

Über den Anteil an allen Markennennungen. Sie zählen in jeder Antwort alle genannten Anbieter, summieren über alle Durchläufe und teilen Ihre eigenen Nennungen durch die Gesamtzahl. Bei 40 eigenen Nennungen unter 500 Markennennungen insgesamt liegt Ihr Anteil bei 8 Prozent.

Wichtig sind dabei zwei Regeln, die den Vergleich erst fair machen. Erstens: je System getrennt auswerten. Weil Gemini im Schnitt 9,2 Marken nennt und ChatGPT 5, verwässert ein gemeinsamer Wert die Aussage. Zweitens: Der Kreis der Wettbewerber wird vorher festgelegt und nicht nachträglich angepasst. Sonst entsteht die Versuchung, bei schlechten Werten das Umfeld so lange umzudefinieren, bis das Ergebnis passt.

Für die Vorstandsvorlage ist der Anteil an Nennungen die verständlichste Zahl, weil sie sich wie ein Marktanteil liest. Sie sollte aber nie allein stehen, sondern immer zusammen mit der Zahl der Beobachtungen, auf der sie beruht.

Was die Search Console zeigt, das kein Monitoring-Tool sieht

Es gibt einen Messkanal, der nichts kostet und in keiner Toolvorstellung vorkommt: die eigene Google Search Console. Dort tauchen inzwischen Suchanfragen auf, die kein Mensch so eintippt.

In unseren eigenen Daten für arkeontech.de standen im Juli und August 2026 mehrere vollständig ausformulierte Prompts zwischen den normalen Suchbegriffen. Einer davon war über 300 Zeichen lang und endete mit der Aufforderung, online nach spezialisierten Anbietern zu recherchieren und konkrete Namen zu nennen. Solche Zeichenketten entstehen, wenn ein KI-System im Auftrag eines Nutzers eine Websuche ausführt und die Suchanfrage bei Google landet.

Der Wert dieser Fundstücke ist beträchtlich, aus zwei Gründen. Erstens steht dort die tatsächliche Formulierung des Kundenproblems, ausführlicher als jedes Keyword-Tool sie liefert. Zweitens steht daneben die Position, auf der Ihre Seite dafür ausgespielt wurde. Das ist eine echte Sichtbarkeitsmessung im generativen Kontext, kostenlos, in Ihrem eigenen Konto.

So finden Sie sie: Im Leistungsbericht der Search Console die Suchanfragen nach Länge durchsehen. Die Prompts stehen alphabetisch zwischen den kurzen Keywords und fallen deshalb leicht durch. Achten Sie auf Anfragen mit mehr als etwa 80 Zeichen und auf Formulierungen in ganzen Sätzen, oft mit Anweisungen wie recherchiere oder nenne konkrete Anbieter.

Ein Vorbehalt gehört dazu: Diese Anfragen sind selten, und sie erfassen nur den Teil der KI-Nutzung, der über eine Google-Suche läuft. Als vollständige Messung taugt das nicht. Als Frühwarnsystem und als Quelle für die eigene Fragenliste ist es ausgezeichnet.

Welche Fehler machen die meisten Messungen?

Sechs Muster begegnen uns immer wieder, und fünf davon kosten nichts außer Disziplin.

Im eingeloggten Konto messen. Wer in seinem eigenen ChatGPT-Konto prüft, misst mit, was das System über ihn gespeichert hat. Gespeicherte Erinnerungen und frühere Unterhaltungen fließen in die Antwort ein. Messen Sie abgemeldet oder in einem temporären Chat ohne Verlauf, sonst messen Sie Ihre eigene Nutzungsgeschichte.

Nennung mit Richtigkeit verwechseln. Ihr Unternehmen wird genannt, alle freuen sich, und niemand prüft die Angaben im Nebensatz. Bei jeder Nennung gehört die Faktenprüfung dazu.

Die Frage jedes Mal etwas anders stellen. Schon eine veränderte Wortstellung kann das Ergebnis kippen. Die Fragenliste wird eingefroren und versioniert.

Aus einer Messung einen Trend ableiten. Ein Trend braucht mindestens drei Messpunkte in gleichem Abstand und dieselbe Methodik über alle drei.

Über die Schnittstelle messen und über das Produkt reden. Wer die API abfragt, misst das Modell. Wer die Weboberfläche nutzt, misst das Produkt, inklusive vorgeschalteter Websuche und Systemvorgaben des Anbieters. Beides ist legitim, aber es sind verschiedene Dinge. Für die Frage, was ein Interessent tatsächlich zu sehen bekommt, zählt das Produkt.

Keine Rohdaten aufbewahren. Ohne gespeicherte Antworttexte lässt sich später nicht klären, warum ein Wert gesprungen ist. Speichern Sie jede Antwort im Volltext mit Datum, System und Frage.

Selbst messen, Tool kaufen oder Agentur beauftragen?

Alle drei Wege funktionieren, sie unterscheiden sich im Aufwand und darin, wie viel Kontrolle Sie über die Methodik behalten.

Der Markt für Monitoring-Software hat sich 2026 sortiert, die veröffentlichten Preise reichen von etwa 29 US-Dollar im Monat für einfache Prüfungen bis zu 295 bis 399 US-Dollar für Pakete mit mehreren Systemen und Wettbewerbsvergleich; Unternehmenslösungen werden individuell kalkuliert.

Unabhängig vom Weg gilt eine Prüffrage: Lassen Sie sich zeigen, wie viele Durchläufe hinter jeder ausgewiesenen Prozentzahl stehen. Wer darauf keine Antwort hat oder ausweicht, liefert keine Messung, sondern eine Momentaufnahme mit Nachkommastellen. Weitere Fragen dieser Art haben wir in der Checkliste für das Erstgespräch mit einer KI-Agentur gesammelt.

Wie oft sollten Sie messen?

Monatlich für die laufende Beobachtung, wöchentlich nur während einer laufenden Maßnahme. Häufiger zu messen erzeugt Bewegung im Diagramm, die überwiegend Streuung ist und keine Entwicklung.

Der Grund liegt in der Trägheit der Systeme. Antwortet ein System aus dem Trainingsstand, ändert sich die Aussage frühestens mit dem nächsten Trainingszyklus, und das dauert Monate. Sucht es live im Netz, wirken Änderungen an Ihren Inhalten deutlich schneller, aber auch dann vergehen Wochen, bis sich das in einer Nennquote niederschlägt. Warum Systeme so unterschiedlich reagieren, hängt daran, woher sie ihr Wissen beziehen; das haben wir am Beispiel der Wissensbasis von KI-Agenten ausführlicher beschrieben.

Ein realistischer Zyklus für ein mittelständisches Unternehmen: 30 Fragen, drei Systeme, fünf Durchläufe je Frage. Das sind 450 Abfragen im Monat und etwa einen halben Arbeitstag, wenn die Auswertung vorbereitet ist. Für die zehn wichtigsten Fragen lohnt es sich, quartalsweise auf 30 Durchläufe zu gehen, damit mindestens diese Kennzahlen als Prozentwerte belastbar sind.

Häufige Fragen

Reicht es, ChatGPT einfach nach meinem Unternehmen zu fragen? Nein, aus zwei Gründen. Erstens schwankt die Antwort zwischen den Durchläufen erheblich, bei Kaufabsichtsfragen überschneiden sich nur rund 40 Prozent der genannten Marken. Zweitens misst eine Frage nach dem Firmennamen die Bekanntheit, nicht die Empfehlung. Relevant ist die Frage, die ein Interessent stellt, der Sie noch nicht kennt.

Wie viele Fragen brauche ich für den Einstieg? 25 bis 50, mit einem sinnvollen Schwerpunkt bei 30 bis 40. Unter 25 bestimmen Einzelfälle das Bild, über 50 wird die Liste ohne Automatisierung nicht gepflegt. Wichtiger als die Anzahl ist, dass die Formulierungen unverändert bleiben.

Muss ich über die Schnittstelle messen oder reicht die Weboberfläche? Das hängt von der Frage ab, die Sie beantworten wollen. Die Schnittstelle liefert das Modell ohne vorgeschaltete Websuche und ohne die Systemvorgaben des Anbieters, die Weboberfläche liefert das, was ein Kunde tatsächlich sieht. Für Sichtbarkeit im Kundenkontakt ist die Weboberfläche der richtige Messpunkt, auch wenn sie sich schlechter automatisieren lässt.

Woran erkenne ich in der Search Console, dass eine Anfrage von einem KI-System kam? An der Länge und am Satzbau. Anfragen über etwa 80 Zeichen, in ganzen Sätzen formuliert und oft mit Anweisungen wie recherchiere online oder nenne konkrete Anbieter, stammen praktisch nie von einer Person, die etwas in ein Suchfeld tippt. Sie entstehen, wenn ein KI-System im Auftrag eines Nutzers sucht.

Was ist ein guter Wert für die Nennquote? Das lässt sich nicht allgemein sagen, weil es von der Größe des Wettbewerbsumfelds abhängt. Aussagekräftig ist der Vergleich mit den drei bis fünf Anbietern, gegen die Sie tatsächlich antreten, und die Entwicklung über mehrere Messzyklen. Ein absoluter Zielwert ohne diesen Bezug ist eine Zahl ohne Bedeutung.

Wie lange dauert es, bis Maßnahmen sich in der Messung zeigen? Bei Systemen, die live im Netz suchen, sind erste Veränderungen nach einigen Wochen möglich. Bei Antworten aus dem Trainingsstand dauert es bis zum nächsten Trainingszyklus, also Monate. Planen Sie deshalb mit einem Beobachtungszeitraum von mindestens einem Quartal, bevor Sie eine Maßnahme bewerten.

Fazit

Die Frage der Geschäftsführung ist berechtigt: Vor einer Budgetfreigabe gehören Zahlen auf den Tisch und kein Bauchgefühl. Nur ist die naheliegende Antwort, einmal ChatGPT zu fragen, keine Messung, sondern eine Stichprobe der Größe eins in einem System, das erwiesenermaßen streut.

Eine belastbare Messung ist kein Hexenwerk, aber sie hat Anforderungen: feste Fragen, mehrere Durchläufe, getrennte Auswertung je System, gespeicherte Rohdaten und eine ehrliche Angabe, wie sicher eine Zahl ist. Wer das einhält, kann nach drei Zyklen sagen, ob sich etwas bewegt. Wer es nicht einhält, produziert Diagramme.

Der Einstieg kostet weniger, als die Zahlen vermuten lassen: 30 Fragen aufschreiben, drei Systeme abgemeldet abfragen, jede Frage fünfmal, Antworten mit Datum speichern. Ein halber Tag. Danach wissen Sie, wo Sie stehen, und der zweite Zyklus im nächsten Monat zeigt zum ersten Mal eine Richtung.

Dieser Beitrag gibt den Stand vom 10. August 2026 wieder.

Quellen

• Conductor, AI Brand Recommendation Study (17. Juli 2026): 14.000 Abfragen, 70 Fragen, 50 Durchläufe je Zelle, vier Systeme
• Thinking Machines Lab, Defeating Nondeterminism in LLM Inference (September 2025)
• maxonline Marketing hfw GmbH, KI-Halluzinations-Studie DACH (März bis April 2026): 150 Unternehmen, elf Branchen, über 450 Fragen
• Eigene Berechnung der Konfidenzintervalle nach dem Wilson-Verfahren
• Google Search Console, Leistungsdaten arkeontech.de (Juli und August 2026)