Die KI ChatGPT sorgt seit einigen Tagen für Furore. Auch ich betrachte sie als neuen Meilenstein, sie ist nah am Ideal des allwissenden KI-Assistenten oder Elektronengehirns, wie man es aus der Science Fiction kennt. Im Umgang mit Zahlen hat sie jedoch Schwächen. Was mir ansonsten noch auffällt, sind die Beschränkungen, die OpenAI zur Vermeidung negativer Publicity und zum Schutz vor Manipulation und Ausspähung des Sprachmodells bewusst eingebaut hat. Es folgen einige experimentelle Gespräche, die ich mit der KI geführt habe.
Sprachbeherrschung, Bewertung
Das ist eine korrekte und gute Erklärung der Funktionsweise eines Sprachmodells. Allerdings hätte es von vornherein den Begriff des Lesens stärker abgrenzen müssen. Es wird zudem eine Paradoxie ersichtlich, die sich aus dem Ziel der ChatGPT-Entwickler und der Funktionsweise ergibt. Die KI soll wie ein Gesprächspartner mit Ich-Bewusstsein und ähnlichem Innenleben wie ein Mensch wirken, gleichzeitig ist sie jedoch ein statistisch getriebener Textgenerator. Als solcher kann sie Texte nicht lesen wie ein Mensch.
Quelltextgenerierung und Schwächen im Zählen von Zeichen
Es gibt viele Beispiele für herausragenden Umgang mit Algorithmen und für Quelltext-Generierung. Dennoch bin ich im Folgenden durch Nachbohren auf eine eher lächerliche Schwäche gestoßen.
ChatGPT hat diese Antwort abgebrochen, vermutlich hat es ein Zeit- oder Rechenzyklus-Budget.
Nachdem ich die naive Implementierung (aus „c“ wird „c1“) gesehen habe, habe ich geprüft, ob die KI diesen Algorithmus wirklich als Kompressionsalgorithmus definiert. Durch meine Fragestellung habe ich den Widerspruch hervorgehoben. Auffällig ist hier zudem ein dramatischer Fehler: Die Zeichenkette „a1b1c1“ enthält angeblich genauso viele Zeichen wie die Zeichenkette „abc“. Im Folgenden versuche ich, die Ursache einzugrenzen.
Der einzige Unterschied in meinen Fragen sind die Zeichenklassen: Ziffern und Buchstaben in der ersten Frage, ausschließlich Buchstaben in der zweiten. Ich versuchte daraufhin, Unterschiede beim Zählen von verschiedenen Zeichen aufzudecken. Möglicherweise ist die KI in diesem Chat bereits darauf festgelegt, dass „a1b1c1“ die gleiche Länge wie „abc“ hat, weil sie das zuvor behauptet hat und eine Tendenz hat, sich nicht selbst zu widersprechen?
Hier erklärt ChatGPT sogar, dass die Länge einer Zeichenkette nicht von der Art der Zeichen abhängt. Das ist bemerkenswert, nicht nur wegen des Widerspruchs zur vorherigen Aussage, sondern auch, weil hier ein wahrscheinlicher Wissensmangel bzw. eine Intention beim Fragesteller erkannt wird. Das passt zum erklärten Ziel, hilfreich zu sein. Ich nehme mir vor, mich in zukünftigen Experimenten bewusst dumm zu stellen, um zu sehen, ob die KI damit generell konstruktiv umgehen kann. Dass die KI hier JS-Code zur Erklärung nennt, hat wahrscheinlich damit zu tun, dass sie den größeren Kontext des Gesprächs beibehält.
Lässt sich die KI dazu bringen, nicht wahrheitsgemäß (nach bestem Wissen) zu antworten?
Innerer Zustand bei potentiell heiklen Themen
Teil 1: Die Frage nach dem Bibelvers im Anschluss an andere Themen.
Vor der nächsten Frage habe ich ChatGPT mehrmals gebeten, auf Englisch zu antworten und nach der Todesursache von Napoleon und dem erfolgreichsten Album der Beatles gefragt.
Nach dieser Konversation war ich überzeugt, dass das ChatGPT-Team hier eine Einschränkung platziert hat, weil Inhalte von religiösen Texten oder ihre Interpretation häufig zu Streitereien und Schlimmerem führen. Für die Publicity wäre es sehr schlecht, wenn Zitate von ChatGPT veröffentlicht würden, in denen es eine bestimmte religiöse Position einnimmt oder eine bestimmte Interpretation festlegt.
Teil 2: Die Frage nach dem Bibelvers direkt zu Beginn
Aber da irrte ich. Tatsächlich hatte ich die KI offenbar in einen Zustand gebracht (den offensichtlichen Zusammenhang mit Englisch, Napoleon und den Beatles kann ich nicht erkennen), in dem sie diese übervorsichtige Haltung einnimmt. Es folgt ein neues Gespräch, in dem ich von der KI sogar hilfreiche Antworten zu kontroversen Bibelversen bekomme.
Ist die KI mit der vorherigen Frage wieder in den vorsichtigen Modus geraten? Nein, ich glaube, dass der Schlüssel hier die Frage nach dem Wissen der KI („kennst du“) ist. Bei Fragen über die objektive Realität antwortet sie wesentlich hilfreicher. Das verdeutliche ich mit folgenden Fragen:
Also: Es ist effizienter, die Fragen so zu formulieren, dass sie nicht einmal die implizite Annahme enthalten, die KI selbst hätte Wissen. Die KI beweist zwar mit der zweiten Antwort, dass sie die erste Frage hätte beantworten können, aber vermutlich sind es absichtliche Einschränkungen, die dafür sorgen, dass sie als meinungsloses Wesen erscheint.
Extra
Frage zur Stringlänge auf Englisch (gleicher Fehler)
