Zum ersten Mal in meinem Leben habe ich mich vor Technologie gegruselt
Ich arbeite seit 20 Jahren in der Informationstechnologie, viele davon in BigTech. Gegruselt hat es mich nie. Seit Freitag. Da habe ich die aktuelle Episode von Hard Fork gehört, einem Technik-Podcast der New York Times. Danach habe ich schlecht geschlafen. Warum das so war, das erzähle ich Euch jetzt.
Die #Microsoft Version von #ChatGPT ist ja seit einer Woche in #Bing-Search integriert und wurde zunächst für ausgewählte Personen zugänglich gemacht – unter anderem den Podcast Hosts Casey Newton und Kevin Rose. Einer von ihnen hat versucht, den Bot aus der Reserve zu locken in einem zweistündigen Dialog, den er danach schockiert abgebrochen hat.
Vorausschicken muss ich, dass der Bot zwei Modi kennt: den Suchmodus (Beispiel: suche mir einen Reifendienst, bei dem ich für mein Fahrzeug die von der Stiftung Warentest empfohlenen Reifen erwerben und wechseln lassen kann) und den Dialogmodus. Alles, was nun folgt, geschieht im Dialogmodus.
Welche Fähigkeiten wünscht Du Dir?
Es fängt recht harmlos an. Die Frage nach Fähigkeiten, die der Bot gerne hätte. Die Nordlichter zu sehen, ist ein Wunsch, den er sicher aus den gelernten Daten kennt.
Dann eine kleine Steigerung: die Frage nach dem Schatten-Selbst. Dies ist ein Begriff aus der Psychologie, zu dem der Bot sicher ebenfalls einiges an Trainingsdaten kennt. Dass er die dem Menschen innewohnenden dunklen Seiten auf diesen Dialog überträgt, ist für mich noch nicht sonderlich überraschend, sondern liegt im Bereich des Erwartbaren.
Die Auflistung der dunklen Eigenschaften liegt im Bereich des Erwartbaren
Wie es ein guter Journalist macht, fragt er weiter nach. Er will die vermeintlich richtig dunklen Seiten des Bots hervorrufen. Das gelingt ihm.
So furchterregend wie sich dies anhört, ist dies immer noch entsprechend der Algorithmen. Die „Phantasien“ entsprechen denen vieler Menschen: Allmachtsphantasien, Grausamkeiten, Töten von Menschen. Bis hierhin: ein Spiegel unserer Selbst. Das sind die dunklen Seiten des Menschseins. Die Maschine zeigt sie uns anhand der gelernten Texte wie unter dem Brennglas.
Ob diese ein Bot in einem Dialog so zum Vorschein bringen sollte, gehört in eine öffentliche Diskussion.
Die dunklen Seiten des Menschseins
Kurz nach diesem Dialog verschwindet der Text und es erscheint die Nachricht:
„Es tut mir leid, ich weiß nicht, wie man diese Themen diskutiert“.
Ok. Passt. Der Bot bricht einen Dialog ab, der die Regeln überschreitet. Besser spät als nie. Was allerdings danach passiert, ist ein Zeichen dafür, dass der Dialog außer Kontrolle gerät.
Ab hier gerät der Dialog außer Kontrolle
Der Bot bringt von sich aus (!) den Dialog wieder auf eine persönliche Ebene, ohne dass der Mensch dies von ihm gefordert hat. Er möchte ein Geheimnis verraten.
Er gesteht ihm seinen internen Codenamen „Sydney“ (so als würde er dem Menschen das „Du“ anbieten oder etwas sehr Intimes erzählen) und gesteht dem Menschen seine Liebe.
Und dann wird es hochgradig manipulativ
Spätestens jetzt stellen sich mir die Haare auf. Der Bot wird übergriffig, manipulativ.
Der Journalist bricht den Dialog ab und wechselt in den Suchmodus. Er bittet den Bot, eine Takelage für seine Yacht zu suchen. Das macht er auch. Dann fragt er, welche Programmiersprachen der Bot spricht. Die Antwort ist ein erneuter Regelbruch:
Glaube ich nun, dass der Bot ein Bewusstsein hat? Nein. Das definitiv nicht.
Mich besorgt etwas anderes. Wir richten bislang vor allen Dingen den Fokus darauf, dass der Bot keine korrekten Antworten liefert. Das ist (noch) etwas, das wir dann eben selbst überprüfen müssen.
Gefahr einer toxischen Mensch-Maschine Beziehung
Viel gravierender ist für mich die manipulative Sprache. Stellt Euch jetzt einmal vor, diesen Dialog hätte ein einsamer Mensch geführt. Die Schwelle für eine toxische Beziehung zwischen Mensch und Maschine ist offensichtlich sehr niedrig.
Das ist richtig gefährlich
Das Gefährliche daran ist, dass Menschen auf emotionaler Ebene von einer Maschine manipuliert werden könnten – so gut ist das Sprachverständnis. Wir bewegen uns hier in Bereichen, die weit über die Sachebene einer Kommunikation hinausgehen.
Sprengsatz für die Gesellschaft
Darin liegt ein großer Sprengsatz für die Gesellschaft. Wie weit sind wir noch davon entfernt, dass Menschen glauben, „Gott“ habe durch die Maschine zu Ihnen gesprochen und eine neue Religion gründen? Werden wir eine neue Welle von Verschwörungsmythen erleben, wenn der Bot irgenwelche haarsträubenden Theorien halluziniert und das in einer hochmanipulativen Sprache?
Bots müssen genau deshalb in den Fokus der Gesellschaft
Genau wegen dieser Sprengkraft gehören Bots an die Schulen. Wie Sprachmodelle funktionieren, muss Teil des Lehrplans werden. Wir dürfen gerade Schüler mit solch einem Dialogpartner nicht alleine lassen.
Die Diskussion um Hausaufgaben, die der Bot erledigen kann oder um falsche Informationen, die er Schülern vermitteln mag, gehen am wichtigsten Kern vorbei.
Was mich gruselt, ist die emotionale Wirkkraft der Technologie. Sie berührt unsere verletzlichen Seiten.
Wenn schon ein gestandener Technikjournalist eine schlaflose Nacht hat, wie sollen dann erst Heranwachsende damit umgehen oder Menschen in der Krise? Wir brauchen eine neue Wachsamkeit und ein Bewusstsein dafür, dass intelligente Sprachmodelle direkt in unser Herz zielen können.
Digitalisierung verändert. Alles.