Mathematische Formeln aus Bildern erkennen: Möglichkeiten und Grenzen

Wer eine Formel aus einem Lehrbuch, einer Tafelaufnahme oder einem handgeschriebenen Zettel digital verfügbar machen möchte, trifft schnell auf die Grenzen klassischer OCR. Ein allgemeines Texterkenner-System gibt für “x hoch 2 plus y hoch 2” bestenfalls “x2+y2” aus, ohne die räumliche Struktur zu verstehen. Der Bruch drei über vier wird zu “3 4” ohne Relation. Das ist mathematisch falsch und für die Weiterverarbeitung unbrauchbar.

Warum Formeln für OCR ein Sonderfall sind

Standardtexterkennung arbeitet sequenziell: Zeile für Zeile, Buchstabe für Buchstabe von links nach rechts. Mathematische Notation ist dagegen zweidimensional. Ein Bruch stellt Zähler und Nenner vertikal übereinander. Ein Summenzeichen hat Index und obere Grenze unter und über dem Sigma. Eine Wurzel überspannt mehrere Zeichen horizontal.

Diese räumlichen Beziehungen lassen sich nicht als flache Buchstabenfolge darstellen. LaTeX und MathML existieren genau deshalb: Sie kodieren die Struktur einer Formel explizit, nicht nur ihre visuelle Erscheinung.

Allgemeines OCR, auch das Tool auf dieser Seite, extrahiert Fließtext zuverlässig. Für einfache Ausdrücke wie “a = b + c” funktioniert das auch gut. Sobald Hoch- und Tiefstellungen, Brüche, Wurzeln, Integrale oder griechische Symbole ins Spiel kommen, ist ein spezialisiertes System nötig.

Was Formelerkennung leistet

Spezialisierte Math-OCR-Systeme wurden trainiert, die räumliche Struktur mathematischer Notation zu verstehen. Sie geben als Ausgabe LaTeX-Code oder MathML aus, also strukturierte Repräsentationen, die von Textverarbeitungsprogrammen, Computeralgebrasystemen oder Webbrowsern korrekt dargestellt werden können.

Mathpix Snip ist das bekannteste kommerzielle Werkzeug. Ein Screenshot oder Foto einer Formel wird in die App hochgeladen, die innerhalb von Sekunden LaTeX-Code ausgibt. Die Erkennungsrate bei gedruckten Formeln in Standardlehrbüchern liegt sehr hoch. Mathpix unterstützt auch handgeschriebene Formeln und erkennt komplexe Ausdrücke wie Matrizenoperationen oder mehrzeilige Gleichungssysteme.

pix2tex ist eine Open-Source-Alternative, die auf einem Transformer-Modell basiert und lokal ausgeführt werden kann. Die Erkennungsqualität liegt etwas unter Mathpix, reicht für viele Anwendungsfälle aber aus.

MyScript MathPad ist speziell für handgeschriebene Eingabe auf Tablets optimiert. Statt einer Bilddatei wird die Formel direkt mit dem Stift eingegeben, was eine besonders hohe Erkennungsrate ermöglicht.

Was diese Systeme nicht können

Auch spezialisierte Formelerkennung hat klare Grenzen:

Unklare Symbole: Griechische Buchstaben wie Theta, Phi oder Xi sehen in manchen Druckstilen einander ähnlich. Ähnlich verhält es sich mit dem griechischen Gamma und dem deutschen Großbuchstaben Y in bestimmten Schriftarten. Verwechslungen sind möglich.

Kontextabhängige Notation: In der Physik bedeutet ein Pfeil über einem Buchstaben einen Vektor, in anderen Disziplinen etwas anderes. Ein System ohne domänenspezifisches Training erkennt das Symbol korrekt, kann seine Bedeutung aber nicht einordnen.

Gemischte Seiten: Eine Buchseite mit Text und eingebetteten Formeln erfordert, dass das System zwischen Textbereichen und Formelbereichen unterscheidet und beide korrekt verarbeitet. Das ist technisch anspruchsvoller als reine Formelbilder.

Tabellen und Matrizen: Vektoren und Matrizen in Klammerschreibweise sind für Formelerkenner schwierig, weil die Zeilenstruktur innerhalb der Matrix mit der Zeilenstruktur des umgebenden Textes kollidiert.

Sehr kleine Schrift: Formeln in Fußnoten oder Bildunterschriften unterschreiten oft die Auflösungsgrenze für zuverlässige Erkennung.

Praktischer Workflow für Formeln aus Lehrbüchern

Wer Formeln aus Büchern oder Skripten systematisch digitalisieren möchte, kann folgenden Weg nehmen:

Zunächst wird die Seite mit hoher Auflösung gescannt, mindestens 400 dpi, besser 600 dpi. Dann wird der Fließtext mit einem allgemeinen OCR-Werkzeug extrahiert, während Formeln markiert und als separate Bilder ausgeschnitten werden. Diese Formelbilder werden anschließend mit einem spezialisierten Tool wie Mathpix verarbeitet.

Der resultierende LaTeX-Code wird in das Dokument eingefügt und dort mit einem LaTeX-Renderer oder in einem Editor wie Overleaf dargestellt und überprüft. Nachkorrekturen sind bei komplexen Formeln fast immer nötig, aber deutlich schneller als manuelles Eintippen.

Grenzen akzeptieren und sinnvoll einsetzen

Formelerkennung ist ein aktives Forschungsfeld. Die Systeme werden besser, aber eine vollständig automatische, fehlerfreie Erkennung komplexer mathematischer Literatur ist noch nicht Realität. Für einfache algebraische Ausdrücke und Standardformeln sind die aktuellen Werkzeuge aber praktisch und zeitsparend.

Allgemeines OCR bleibt für Fließtext die richtige Wahl. Das Tool gibt dabei Text schnell und zuverlässig aus. Für eingebettete Formeln ist ein spezialisierter Ansatz nötig. Wer beide Werkzeugklassen kennt und kombiniert, kommt am weitesten.