Sprachmodell können nicht zählen! Vielleicht widersprechen Sie und weisen auf die mathematischen Erfolge hin, die in letzter Zeit im Netz viral gegangen sind. Wie sagte meine KI kürzlich?

Zählen ist keine sprachliche Leistung, sondern eher eine “handwerkliche”. Zählen gibt etwas zu tun. Man muss z.B. die gezählten Elemente “markieren”, damit man sie nicht zweimal zählt.

Zählexperimente

Kürzlich wollte ich von meiner KI wissen, wie viele Elemente eine bestimmte Menge hat. Es ging um Teilmengen eines Quadrats. Z.B. ist eine Kante mit den beiden zugehörigen Ecken eine Teilmenge. Oder zwei benachbarte Kanten und die einzelne Ecke, usw. Die KI behauptete, es seien deren 114 Teilmengen, was ich anzweifelte. Danach versuchte sie es noch einmal und kam auf 48. Ich weiss nicht, ob das stimmt. Es scheint mir immer noch etwas zu hoch gegriffen.

Schon vor einem Jahr habe ich in Wer hat Angst vor Artificial Intelligence? Zählexperimente mit KI dokumentiert.

Damals ging es um die Frage, wie viele Buchstabenkombinationen man mit drei Buchstaben a, b und c, machen kann, wenn z.B. aba dassselbe wie bab ist und aa, bb und cc jeweils weggestrichen werden dürfen. Das konnte keine der KI, mit der ich das Experiment machte. LLM können nicht zählen!

Auch diesmal machte ich ein paar unsystematische Experimente. Ich leerte eine Schachtel Streichhölzer auf einen Tisch, zählte sie und ordnete sie dann möglichst zufällig an, aber dennoch so, dass sich keine Streichhölzer überkreuzten. Alle lagen flach auf dem Tisch. Ich startete mit 27 Streichhölzer. Dann fotografierte ich den Wurf und warf das Bild einem KI-Modell zum Zählen hin. Das ging, wie erwartet, schief. Wie sollte denn eine Sprachmodell zufällig herumliegende Streichhölzer zählen können? Wie? Sie hat ja keine Finger!

Zählen heisst Zuordnen

Ich wiederholte den Test mit derselben Anordnung, änderte die Anordnung der Streichhölzer, entfernte oder fügte eines hinzu, legte einen Zettel dazu, auf dem die genaue Anzahl der Streichhölzer stand oder änderte das Modell. Schliesslich erhöhte ich die Anzahl Streichhölzer auf 45. Ich arbeitete mit Google’s Gemini 3.6 Flash, 3.5 Flash Lite und 3.1 Pro sowie mit Claude Sonnet 5. Gemini Pro führte als erstes Modell die Unterteilung des Bildes ein: oben links, unten links, oben rechts, unten rechts und ein Mittelfeld. Ich weiss nicht, wie es zu diesem Trick kam. Das hat eigentlich nichts mit Sprache zu tun. Aber der Trick hat dennoch nicht funktioniert. Das Modell konnte die Felder nicht sauber abgrenzen oder verschätzte sich sogar innerhalb der einzelnen Felder. Richtig: es zählt auch innerhalb der Felder nicht. Ein Sprachmodell kann nur schätzen. Es sieht die Gegenstände auf dem Bild, sucht in seinem Tokenraum, ob es eine ähnlich Situation gibt, wo die Anzahl bekannt ist und berechnet dann, welche Anzahl die höchst wahrscheinlichste ist. Das ist also raten.

Diese Aufteilung ist zwar clever, aber weil die darin befindlichen Objekte nur mit natürlicher Sprache beschrieben, statt markiert werden, kommt es zu Missverständnissen.

Agentisches Verhalten hilft

In der Folge arbeiteten auch die Flash-Modelle mit den Trick der Bildaufteilung in Felder. Es kann ja fast nicht sein, dass sie den Trick von Pro übernommen haben, denn normalerweise weiss eine KI nicht einmal von den Inhalten verschiedener Chats. Dann habe ich im Prompt explizit erklärt, was “Zählen” heisst: Zuordnen der Gegenstände zu fortlaufenden Zahlen, beginnend mit 1 und verlangt, dass die KI jedes bereits gezählte Streichholz markiert. Wenn alle Streichhölzer markiert sind, dann sei das die Abbruchbedingung. Ich wusste natürlich, dass ein reines Sprachmodell mit dieser Anleitung überfordert ist. Wie soll es Streichhölzer markieren, wenn es doch nur sprechen kann? Diesmal arbeitete ich mit Claude Sonnet 5 und erhielt ein Bild zurück, mein Originalbild, auf dem jeder Zündkopf mit einem Punkt markiert ist und daneben stand die zugeordnete Zahl. Das ist eindeutig schon agentisches Verhalten. Ein Agent kann Aktionen durchführen, das ein Sprachmodell nicht kann. Genial! Aber leider falsch!

Die Zahlen sind etwas klein und undeutlich ausgefallen. Aber wenn man genau hinguckt, dann sieht man z.B. dass am Schaft des Streichholzes Nr. 17 ein grüner Punkt mit der Zahl 20 klebt. Es ist in der linken Bildhälfte, aber vertikal ziemlich genau in der Mitte (also mitte-links). Dieser Punkt liegt nicht auf einem Zündkopf und ist also überflüssig. Bei längerer Inspektion des Bildes findet man weitere solche Fehlleistungen.

Claude schrieb, dass “eine 100%ig sichere Zählung per Augenschein schwierig” sei und empfahl eine Aufteilung des Bildes in Sektoren. Ich verlangte eine systematische Zählung und nicht nur eine dem Augenschein nach. Dann sagte er, dass er sich jetzt Mühe geben werde, systematisch zu zählen, redete viel, sprach von Blobs (was immer das auch sein mag) und informierte mich, dass seine Ergebnisse zwischen 31 und 157 Streichhölzer schwankten.

Dann wechselte ich wieder zu Gemini 3.6 Flash. Ich versuchte, mittels Prompt-Engineering, das Modell zu einer besseren Performance zu bringen. Beim nächsten Bild waren die gezählten Streichhölzer nicht mehr markiert, denn das Hinzufügen der Zahl dient bereits als Markierung. Die Zahlen waren diesmal auch viel grösser und deutlicher zu lesen. Dadurch fällt am linken Bildrand sofort auf, dass die 1, die 2, die 3 und die 4 mindestens je zweimal vorkommen. Das erstaunte mich, denn mit einer schlichten OCR-Analyse würde sogar einem rein textbasierten Sprachmodell sofort auffallen, dass einzelne Zahlen mehrfach auftreten.

Aber, wie ich im Zusammenhang mit dem OpenAI Vorfall bei Hugging Face mehrmals betonte: KI-Agenten brechen nicht selbstständig weder aus noch ein. Das muss man ihnen sagen. Von sich würden sie ein Bild mit Streichhölzern und Zahlen nicht einmal durch eine OCR zu jagen.