ChatGPT wird seit seiner Veröffentlichung stetig weiterentwickelt und optimiert.
Die derzeitige Version wurde in mehreren Phasen trainiert:
1. Phase: Die Grundlage von ChatGPT ist das Sprachmodell PGT-3,5. Das Training erfolgte durch selbstüberwachtes Lernen, es ging hierbei darum, das nächste Wort eines Textausschnitts vorherzusagen.
Diese erste Phase wird als Pre-Training bezeichnet.
2. Phase: Als nächster Schritt wurde das Sprachmodell durch überwachtes Lernen auf die eigentliche Aufgabe eingestellt: Antworten auf vorher gestellte Fragen zu generieren. Diese zweite Phase wird als Fine-Tuning bezeichnet.
Abb.: Roboter.
3. Phase: Das Sprachmodell wurde im folgenden Schritt durch verstärkendes Lernen weiter optimiert. Ein weiteres Modell, das sogenannte "Reward-Model" wurde mit überwachtem Lernen trainiert, um gegebene Antworten qualitativ in Form einer Rangliste zu bewerten. Als letztes wurde ein weiterer Algorithmus genutzt - der "Proximal-Policy-Optimization-Algorithmus" -, der das Reward-Model als die zu maximierende Belohnungsfunktion einsetzte.