Fatale #Fehler: #Chat #GPT längst nicht unfehlbar, wahrscheinliche Antworten laut Studie der University of Southern California manchmal falsch

Los Angeles, Washington, 12. April 2023

Die von der Künstlichen Intelligenz (KI) Chat GPT erstellten Texte sind aktuell noch höchst fehleranfällig, wie eine Studie der University of Southern California unter der Leitung von Mayank Kejriwal und der Ingenieurstudentin Zhisheng Tang zeigt. Sie haben Chat GPT und andere KI basierte Systeme auf ihre Fähigkeit überprüft, rational zu arbeiten.

Riesige Datensätze als Basis

Chat GPT stützt sich bei seiner Formulierung von Texten auf bereits vorhandene Basiskomponenten. Es »lernt« aus riesigen Datensätzen, die über das Internet verteilt sind, und liefert das, was statistisch gesehen am wahrscheinlichsten richtig ist. »Trotz ihrer beeindruckenden Fähigkeiten denken große Sprachmodelle nicht wirklich. Sie neigen dazu, elementare Fehler zu machen und sogar Dinge zu erfinden. Da sie jedoch eine fließende Sprache erzeugen, neigen die Menschen dazu zu glauben, dass sie denken können«, sagt Kejriwal.

Dies, so Kejriwal und Tang, habe sie veranlasst, die vermeintlich kognitiven Fähigkeiten der Modelle zu untersuchen – eine Arbeit, die jetzt an Bedeutung gewonnen habe, da solche Textschöpfungsmodelle allgemein zugänglich sind. Sie haben #Computer Rationalität als die Fähigkeit definiert, sich bei verschiedenen Lösungsmöglichkeiten für jene zu entscheiden, die der Wahrheit am nächsten kommt oder sie punktgenau zu treffen. Bei Chat GPT haben die #Wissenschaftler diese Rationalität eigenen Angaben nach in vielen Fällen nicht gefunden.

Unschuldiger #Professor am #Pranger

Besonders krass ist ein Fall, den die »Washington Post« aufgedeckt hat. Im Rahmen einer Forschungsstudie hatte ein Anwalt in Kalifornien Chat GPT gebeten, eine Liste von Rechtswissenschaftlern zu erstellen, die jemanden sexuell belästigt hatten. Auf der Liste erschien auch der Name des Juraprofessors Jonathan Turley. Er habe sexuell anzügliche Kommentare abgegeben und versucht, einen #Schüler während einer Klassenfahrt nach Alaska zu unsittlich berühren. Die KI »zitierte« einen Artikel vom März 2018 in der Washington Post als Quelle. Doch einen solchen Artikel gibt es nicht. Auch die angesprochene Klassenfahrt hat nie stattgefunden. Woher Chat GPT die Info bezogen hat, ließ sich nicht rekonstruieren.

»Es ist eine sehr spezifische Kombination von Fakten und Unwahrheiten, die diese Systeme ziemlich gefährlich machen«, sagt Kate Crawford, Professorin an der #University of Southern California, die selbst betroffen ist. Sie sei kürzlich von einem Journalisten kontaktiert worden, der Chat GPT verwendete, um Quellen für eine Geschichte zu recherchieren. Der Bot schlug Crawford vor und bot Beispiele für ihre relevante Arbeit an, darunter einen Artikeltitel, ein Veröffentlichungsdatum und Zitate. Alles klang plausibel – und alles war gefälscht.