Base Model
Abkürzungen / Synonyme: Basismodell
Kurzdefinition
Ein grosses, auf enormen Datenmengen vortrainiertes Modell, das als Grundlage für weitere Anpassungen (wie Fine-Tuning) dient.
Ausführliche Erklärung
Ein Base Model (Basismodell) ist ein gross angelegtes, auf riesigen Datenmengen vortrainiertes Modell, das allgemeines Sprach- und Weltwissen besitzt, aber noch nicht auf das Befolgen von Anweisungen optimiert ist. Es bildet die Grundlage, auf der durch Instruction-Tuning und RLHF die fertigen Chat-/Assistenzmodelle entstehen – oder die per Fine-Tuning an spezielle Domänen angepasst werden. Ein reines Base Model neigt dazu, Text fortzusetzen, statt zu antworten.
Beispiel
Ein Base Model ergänzt die Eingabe «Die Hauptstadt der Schweiz ist» eher mit Text, während das daraus per RLHF abgeleitete Chat-Modell direkt «Bern» antwortet.
Im ausführlichen Fachartikel erklären wir Base Model mit Architektur, Praxisbeispielen und Best Practices im Detail: