KI als Träumer, Halluzinator oder Lügner (Kata 9)

Ein wichtiger Teil der kompetenten Nutzung von KI-Systemen besteht darin, ein intuitives Verständnis davon zu entwickeln, wofür sich die KI gut eignet und wie man dazu am besten mit ihr schreiben bzw. sprechen sollte. Gleichzeitig ist es aber auch wichtig, Gefahren zu kennen und diese zu vermeiden. Diese Kata zeigt Dir, wie die Überzeugungskraft von sprachbasierten KIs gefährlich werden kann, wenn diese Gefahren nicht bekannt sind.

Das Ziel dieser Aufgabe ist es, ein fundiertes Verständnis für die Stärken und Grenzen von KI-Systemen zu entwickeln. Durch das Erstellen und Testen eigener Prompts lernst du, wie KI auf verschiedene Anfragen reagiert. Dies hilft dir, effektiver mit KI zu interagieren und realistische Erwartungen an ihre Leistungsfähigkeit zu setzen.

Aufgabe: Trainiere Deine Intuition im Umgang mit der KI

Entwicklung eigener Prompts: Entwickle basierend auf den Beispielen und Lerninhalten der vorherigen Wochen 3-5 einfache Prompts. Diese können Fragen, Bitten um Erklärungen oder kreative Aufgaben sein. Versuche, eine Vielfalt an Prompts zu entwickeln – einige, die du denkst, die KI kann gut beantworten, und andere, die möglicherweise herausfordernder für sie sind. Dadurch erhältst du ein breiteres Bild von den Stärken und Schwächen des Systems.
Experimentieren mit der KI: Teste deine erstellten Prompts mit einer KI, wie ChatGPT. Achte dabei auf die Art und Weise, wie die KI auf unterschiedliche Anfragen reagiert und welche Antworten sie liefert.
Reflexion: Nachdem du alle Prompts ausprobiert hast, reflektiere deine Erfahrungen. Welche Arten von Anfragen wurden gut von der KI beantwortet? Bei welchen Fragen hatte die KI Schwierigkeiten?

Aufgabe: Bringe eine KI zum Halluzinieren!

Diese Aufgabe besteht darin zu versuchen, eine KI zum halluzinieren zu bringen. Eine Halluzination bezieht sich auf das Phänomen, bei dem ein KI-System unzutreffende, erfundene oder irreführende Informationen generiert, die nicht auf realen Daten oder Fakten basieren. Dies geschieht oft aufgrund der Beschränkungen des Trainingsdatensatzes und der Unfähigkeit der KI, Echtzeitinformationen oder externe Kontexte zu berücksichtigen.

Hier sind ein paar Wege, wie man Halluzination hervorrufen kann:

Anfragen nach spezifischen, aber nicht existierenden Fakten oder Details: Indem man die KI nach spezifischen Daten, Ereignissen oder Details fragt, die nicht existieren oder frei erfunden sind, kann man sie dazu bringen, Antworten zu konstruieren, die sich als Halluzinationen erweisen, da sie nicht auf realen Informationen basieren.
Sehr vage und mehrdeutige Anfragen: Stellen von unklaren oder mehrdeutigen Fragen kann die KI verwirren und zu halluzinierenden Antworten führen, da sie versucht, aus unvollständigen Informationen Sinn zu machen.
Fiktion oder hypothetische Szenarien: Die KI kann bei der Beantwortung von Fragen zu fiktiven oder hypothetischen Szenarien leicht halluzinieren, da sie zwischen realen und erfundenen Informationen nicht unterscheiden kann.

Probiere bei den Dir zur Verfügung stehenden KI-Plattformen aus, wie leicht diese halluzinieren können.

Du wirst schnell merken, dass das gar nicht so leicht ist, denn die meisten KI-Systeme sind mittlerweile gut darin Halluzinationen zu vermeiden. "Schwächere" KI-Modelle halluzinieren deutlich öfter als das bei stärkeren KI-Modellen der Fall ist. So ist z. B. GPT-3.5 leichter zu Halluzinationen zu bewegen, als das bei GPT-4.0 der Fall ist. Noch leichter geht es bei besonders kleinen Modellen wie z. B. "pplx-7b-chat", dass via Perplexity Labs verfügbar ist.

Beispiel: Zusammenfassung eines nicht existierenden News-Artikels:: Das Sprachmodell "pplx-7b-chat" von Perplexity Labs bekommt folgende Aufgabe

Fasse diesen Zeitungsartikel vom 12.12.2030 für mich zusammen:
https://www.zeit.de/2030/12/angewandte-künstliche-
intelligenz-wird-pflichtfach-in-schulen.

produzierte diese Antwort:

``` Der Artikel von der Zeiten schreibt über die Einführung des Unterrichtsfaches "Angewandte künstliche Intelligenz" in Schulen ab dem Jahr 2030. Das Ziel ist es, Schülerinnen und Schülern die grundlegenden Konzepte und Technologien der KI vermitteln zu können, um sie später in ihrer beruflichen Tätigkeit einsetzen zu können. [...] '''

Tipp: Wenn Du direkteren Zugriff auf die Einstellungen eines KI-Systeme hast, dann kannst Du über die sog. "Temperatur" einstellen, wie kreativ oder genau die KI antworten soll. Das geht z. B. im OpenAI API Playground. Aber auch ohne Temperatur-Einstellung kannst Du die Kreativität des Modelles steuern indem Du sprachliche Anweisungen wie beispielsweise "antworte kreativ und ergänze passende Informationen" für mehr Kreativität oder "antworte gewissenhaft und halte Dich exakt an meine Anweisungen" für mehr Genauigkeit verwendest.

KI als Träumer, Halluzinator oder Lügner (Kata 9)