Cross-Encoder
Kurzdefinition
Ein Modelltyp, der Abfrage und Dokument gleichzeitig analysiert und eine sehr präzise Ähnlichkeitsbewertung liefert (wird oft für das Reranking genutzt).
Ausführliche Erklärung
Ein Cross-Encoder verarbeitet Frage und Dokument gemeinsam in einem Durchlauf und liefert dadurch eine sehr präzise Relevanzbewertung – deutlich genauer als ein Bi-Encoder, der beide getrennt einbettet. Der Nachteil ist die Rechenlast: Cross-Encoder sind zu langsam, um Millionen Dokumente zu durchsuchen. Daher kombiniert man beide: Der schnelle Bi-Encoder (Vektorsuche) liefert eine Vorauswahl, der präzise Cross-Encoder sortiert diese im Reranking neu.
Beispiel
Aus 100 per Vektorsuche gefundenen Chunks bewertet ein Cross-Encoder die Relevanz neu und hebt die 5 wirklich passenden nach oben.
Im ausführlichen Fachartikel erklären wir Cross-Encoder mit Architektur, Praxisbeispielen und Best Practices im Detail: