Lexikalische Analyse

Die vorgestellte Lösung hat einige gravierende Nachteile:

Leerzeichen werden in der Eingabe nicht akzeptiert.

Mehrstellige Konstanten werden nicht akzeptiert.

Zwar wäre es möglich, die Grammatik hierfür ``aufzublähen'' -- dies ist jedoch wenig praktikabel. Stattdessen wird typischerweise eine abstrakte Ebene gezogen zwischen den Zeichen der Eingabe und den Terminal-Symbolen, mit denen der Parser anschließend arbeitet.

Auf diese Weise ist es leicht möglich, eine Konstante, die aus vielen Zeichen besteht, zu einem Terminal-Symbol zusammenzufassen.