Ο λεκτικός αναλυτής

Ο λεκτικός αναλυτής παρέχει τις παρακάτω λειτουργίες:

Διαχωρίζει το εισερχόμενο κείμενο σε λεκτικές μονάδες (tokens) και το μεταφέρει με τον τρόπο αυτό στο συντακτικό αναλυτή.
Αποθηκεύει τα σύμβολα που διαβάζει σε πίνακα συμβόλων.
Αποθηκεύει άλλα στοιχεία όπως τις συμβολοσειρές σε δυναμική μνήμη.
Αναγνωρίζει λεκτικά λάθη στην είσοδο (π.χ. σύμβολα που δεν επιτρέπονται στη γλώσσα).
Αφαιρεί τα σχόλια
Συσχετίζει αριθμούς γραμμών με στοιχεία της εισόδου του.

Με τον τρόπο αυτό διαχωρίζονται οι εργασίες της λεκτικής και της συντακτικής ανάλυσης και κάθε μια υλοποιείται με τον πιο αποδοτικό τρόπο.