Glossar: ChatGPT

ChatGPT ist kein Fantasiename. GPT in ChatGPT steht für Generative Pre-Trained Transformer. Generativ bedeutet, dass das Modell auf der Grundlage einer Eingabe neuen Text erstellen kann, anstatt nur aus einer vordefinierten Satz von Antworten. Pre-Trained, also vorgeübt, bedeutet, dass das Modell auf einer sehr großen Menge von Textdaten trainiert wurde, bevor es nun für Aufgaben der Anwender verwendet werden kann. Ein Transformer besteht aus Schichten neuronaler Netze, die sequentielle Daten, wie Text oder Sprache, verarbeiten und komplexe Beziehungen zwischen ihnen lernt.

ChatGPT ist ein dialogorientiertes KI-Modell ("Chat"), das von OpenAI auf der Grundlage der GPT-Architektur entwickelt wurde. Das Modell wurde auf eine Vielzahl von Internettexten trainiert, so dass es in der Lage ist, auf Aufforderungen hin menschenähnlichen Text zu erzeugen. Es kann verschiedene Aufgaben erfüllen, wie z. B. Fragen beantworten, sich über verschiedene Themen unterhalten, Texte verschiedener Genres erzeugen und vieles mehr. ChatGPT kann sich auch an verschiedene Sprachstile und Tonalitäten anpassen, je nach Kontext und den Wünschen des Benutzers.

Die Grundidee hinter ChatGPT ist es, einen KI-gesteuerten Chatbot zu entwickeln, der mit den Nutzern auf natürliche Art interagiert - ohne vordefinierte Skripte oder Vorlagen. Ziel ist es, den Chatbot wie einen echten Menschen erscheinen zu lassen, der in der Lage ist, die Nuancen und Feinheiten der menschlichen Sprache zu erfassen und Antworten zu geben, die sowohl informativ als auch ansprechend sind. Um dieses Ziel zu erreichen, wird ChatGPT mit eine riesigen Menge von Textdaten trainiert, die typischerweise aus dem Internet stammen und derzeit rund zwei Jahre alt sind. ChatGPT ist so konzipiert, dass es sehr flexibel und anpassbar ist, so dass die Benutzer das Modell auf ihre spezifischen Bedürfnisse und Anwendungsfälle abstimmen können.

ChatGPT 3.5 (der Vorläufer von ChatGPT 4.0) wurde von OpenAI auf Basis der GPT-3.5-Architektur entwickelt, ein Sprachmodell, dessen Training Anfang 2022 abgeschlossen wurde. GPT-3.5 hat 175 Milliarden Parameter, d. h. die numerischen Werte, die bestimmen, wie das Modell die Eingabe verarbeitet und die Ausgabe erzeugt. Die besondere Leistung von OpenAI liegt in der Feinabstimmung für bestimmte Aufgaben. Die Feinabstimmung allein reichte jedoch nicht aus, um das gewünschte Maß an Qualität und Konsistenz für ChatGPT zu erreichen, das heute die Anwender so begeistert. OpenAI setzte daher auf Reinforcement Learning from Human Feedback (RLHF), um die Leistung von ChatGPT weiter zu verbessern. RLHF lernt also vom Feedback der Nutzer. Es ist eine Methode zum Trainieren von KI-Modellen unter Verwendung menschlicher Beurteilungen als Belohnung.

OpenAI verwendete RLHF, um ChatGPT zu trainieren, auf einer menschlichen dialogbasis zu interagieren. Der Prozess umfasste mehrere Schritte: Zu beginn erfolgte die überwachte Feinabstimmung, um das Ausgangsmodell zu trainieren. Dann wurde ein Verstärkungs-Anreizmodell entwickelt und antrainiert. Das Modell wurde insbesondere mit Proximal Policy Optimization (PPO) feinabgestimmt, einem Reinforcement-Learning-Algorithmus, der die Modellparameter auf der Grundlage der Belohnung aktualisiert. Das Modell wurde dann auf der Grundlage verschiedener Metriken, wie Komplexität, Vielfalt, Kohärenz, Engagement und Sicherheit bewertet.

ChatGPT hat ein enormes Potenzial, das sich teilweise derzeit nur entwicklerseitig über einen API-Zugriff entfalten lässt. Insbesondere die kostenpflichtigen Abonnenten von ChatgPT 4.0 erhalten aber schon heute Zugriff auf immer mächtigere Funktionen. Das Spektrum an Konversationsthemen und Bereichen ist äußerst breit - von Allgemeinwissen und Trivia, Unterhaltung und Sport, bis hin zur Wissenschaft.

ChatGPT reagiert auf Nachfragen, räumt Fehler ein, widerlegt unbegründete Annahmen und lehnt unangemessene Anfragen ab. Es kann mittlerweile auch Quellen und Referenzen für alle wahren Behauptungen angeben, die es aufstellt. Der Chatbot passt sich in seinen Antworten an die Stimmung, den Tonfall und die Vorlieben des Benutzers an. Er kann in seinen Antworten auch Emotionen und Gefühle ausdrücken.

ChatGPT kann visuelle Inhalte wie Bilder und Zeichnungen als Antwort auf Benutzeranfragen generieren (DALL-E). Es kann auch die von den Nutzern bereitgestellten visuellen Inhalte beschreiben und interpretieren. Als Antwort auf Benutzeranfragen kann der Chatbot Audioinhalte, wie Sprache und Musik, generieren oder vom Anwender bereitgestellte Audioinhalte transkribieren und übersetzen. Immer mehr Drittanbieterprodukte greifen über die API-Schnittstelle auf diese Fähigkeiten zu und bieten selber ein komfortableres Nutzerinterface.

Außerdem kann ChatGPT Codeschnipsel wie HTML, CSS, JavaScript, Python usw. erzeugen. Bei Entwicklern besonders geschätzt ist die Fähigkeit zum Debuggen von bereitgestelltem Code - also der Fehlersuche. Alle diese Features stellen erst die Spitze des Eisbergs da. Mittlerweile integriert Microsoft ChatGPT-Features in seine Office-Produkte.