---
term: "Feed-Forward Network"
slug: "feed-forward-network"
glossar_id: "G075"
variants: ["FFN","MLP Layer","Feed-Forward-Netz"]
category: "architektur-und-interne-modellbausteine"
marker: "Technik"
short: "Nichtlinearer Transformationsblock innerhalb eines Transformers."
sources:
  - label: "Vaswani et al."
    url: "https://arxiv.org/pdf/1706.03762"
  - label: "Transformer Circuits"
    url: "https://transformer-circuits.pub/2021/framework/index.html"
  - label: "Hugging Face"
    url: "https://huggingface.co/learn/computer-vision-course/unit3/vision-transformers/swin-transformer"
  - label: "Shazeer"
    url: "https://arxiv.org/pdf/2002.05202"
  - label: "Hugging Face"
    url: "https://huggingface.co/blog/moe"
status: "entwurf"
updated: "2026-09-20"
---

Ein Feed-Forward Network, kurz FFN, ist im Transformer ein Teilnetz, das die interne Darstellung jeder Position durch gelernte Umformungen und eine nichtlineare Aktivierung weiterverarbeitet. ([Vaswani et al.](https://arxiv.org/pdf/1706.03762)) In diesem Kontext wird auch die Bezeichnung MLP Layer verwendet, wobei MLP für Multilayer Perceptron steht. ([Transformer Circuits](https://transformer-circuits.pub/2021/framework/index.html), [Hugging Face](https://huggingface.co/learn/computer-vision-course/unit3/vision-transformers/swin-transformer))

## So kannst du dir das vorstellen

Stell dir einen Arbeitsablauf für Bestellungen vor. Zunächst werden passende Angaben aus verschiedenen Dokumentstellen zusammengetragen. Danach wird jede so ergänzte Position nach derselben Bearbeitungslogik umgeformt.

Der erste Schritt veranschaulicht Attention, der zweite das Feed-Forward-Netz. Die Bearbeitungslogik wird innerhalb einer Schicht für jede Position gleich angewendet, aber die Eingangsdaten unterscheiden sich. Das Bild soll Informationsaustausch und lokale Verarbeitung trennen, nicht einen festen Geschäftsprozess im Modell behaupten.

## Erst erweitern, dann weiterverarbeiten

Im ursprünglichen Transformer besteht das FFN aus zwei linearen Transformationen mit einer ReLU-Aktivierung dazwischen. ([Originalarbeit](https://arxiv.org/pdf/1706.03762)) Die erste Transformation bildet den Eingabevektor auf einen breiteren Zwischenraum ab, die zweite führt das Ergebnis auf die Modellbreite zurück. ([Originalarbeit](https://arxiv.org/pdf/1706.03762))

Eine nichtlineare Aktivierung verändert die Werte so, dass der gesamte Block nicht bloß einer einzigen linearen Umrechnung entspricht. ([Originalarbeit](https://arxiv.org/pdf/1706.03762)) Andere FFN-Varianten verwenden beispielsweise SwiGLU mit einer zusätzlichen, komponentenweisen Verknüpfung zweier berechneter Zweige. ([Shazeer](https://arxiv.org/pdf/2002.05202))

## Kein direkter Austausch zwischen Positionen

Das positionsweise FFN verwendet innerhalb einer Schicht dieselben Gewichte für alle Positionen, führt aber selbst keine Attention über verschiedene Tokens aus. ([Originalarbeit](https://arxiv.org/pdf/1706.03762)) Seine Eingaben können durch vorherige Attention trotzdem bereits Kontextinformationen anderer Positionen enthalten. ([Originalarbeit](https://arxiv.org/pdf/1706.03762))

„Positionsweise“ bedeutet deshalb nicht „ohne Kontext“. Es beschreibt, an welcher Stelle neue Informationen zwischen Positionen ausgetauscht werden und an welcher Stelle vorhandene Darstellungen lokal verarbeitet werden.

Bei vielen Mixture-of-Experts-Modellen wird gerade dieser FFN-Bereich durch mehrere auswählbare Experten-Teilnetze ersetzt. ([Hugging Face](https://huggingface.co/blog/moe)) Attention und Expertenauswahl sind dabei verschiedene Bestandteile der Architektur. ([Hugging Face](https://huggingface.co/blog/moe))

## Verwandte Begriffe

Passend sind **Transformer**, **SwiGLU**, **Hidden Size**, **Mixture of Experts** und **Residual Stream**.