---
term: "NTK-aware Scaling"
slug: "ntk-aware-scaling"
glossar_id: "G073"
variants: ["NTK-aware RoPE Scaling"]
category: "architektur-und-interne-modellbausteine"
marker: "Technik"
short: "Verfahren zur Skalierung von RoPE-Frequenzen für längere Kontexte."
sources:
  - label: "YaRN-Erklärung der Autoren"
    url: "https://blog.eleuther.ai/yarn/"
  - label: "Transformers-Dokumentation"
    url: "https://huggingface.co/docs/transformers/en/internal/rope_utils"
status: "entwurf"
updated: "2026-09-20"
---

NTK-aware Scaling bezeichnet im Kontext von Sprachmodellen eine Anpassung der RoPE-Frequenzen, mit der längere Eingabefolgen verarbeitet werden sollen, ohne alle Frequenzbereiche gleich stark zu verändern. ([YaRN-Erklärung der Autoren](https://blog.eleuther.ai/yarn/)) „NTK“ steht für Neural Tangent Kernel und verweist auf die theoretische Motivation des Ansatzes. ([YaRN-Erklärung](https://blog.eleuther.ai/yarn/))

## So kannst du dir das vorstellen

Stell dir eine Karte vor, die zugleich Nahansichten einzelner Straßen und eine grobe Übersicht über die gesamte Region enthält. Soll die Karte ein größeres Gebiet abdecken, könntest du jede Ebene gleichmäßig verkleinern. Du könntest aber auch die Übersichtsmaßstäbe stärker verändern als die Nahansichten.

Dieses zweite Bild passt zur unterschiedlichen Behandlung von Frequenzbereichen. Es soll keine exakte räumliche Aufteilung im Modell behaupten, sondern den Unterschied zu einer einheitlichen Skalierung zeigen.

## Was an RoPE verändert wird

RoPE versieht Query- und Key-Darstellungen mit positionsabhängigen Rotationen; unterschiedliche Komponentenpaare verwenden unterschiedliche Rotationsfrequenzen. ([YaRN-Erklärung](https://blog.eleuther.ai/yarn/)) Einfache Position Interpolation skaliert diese Frequenzen einheitlich, während NTK-aware Scaling die zugrunde liegende Frequenzbasis verändert. ([YaRN-Erklärung](https://blog.eleuther.ai/yarn/))

Dabei werden hohe Frequenzen vergleichsweise weniger und niedrige stärker angepasst, um lokale Unterschiede weniger stark zu beeinträchtigen. ([YaRN-Erklärung](https://blog.eleuther.ai/yarn/)) Der Name beschreibt also eine konkrete Veränderung der Positionsberechnung, keine inhaltliche Aufmerksamkeit für bestimmte Wörter.

## Statisch und dynamisch unterscheiden

Bei einer dynamischen Variante hängt die Skalierung von der aktuell verarbeiteten Folgenlänge ab; die Transformers-Dokumentation führt eine entsprechende NTK-bezogene RoPE-Variante unter `dynamic`. ([Transformers-Dokumentation](https://huggingface.co/docs/transformers/en/internal/rope_utils)) „Dynamisch“ bedeutet hier nicht, dass das Modell selbstständig die Bedeutung des Dokuments beurteilt.

Die passende Konfiguration hängt vom Modell und der verwendeten RoPE-Implementierung ab. ([Transformers-Dokumentation](https://huggingface.co/docs/transformers/en/internal/rope_utils)) Übernimm deshalb einen Skalierungsfaktor nicht ungeprüft aus einer Anleitung für ein anderes Modell. Ein guter Test sollte sowohl die verlängerte Eingabe als auch die Antwortqualität bei kurzen und langen Aufgaben abdecken.

## Verwandte Begriffe

Passend sind **RoPE**, **Position Interpolation**, **YaRN**, **Kontextfenster** und **Positional Encoding**.