{"id":127,"date":"2021-07-02T22:05:13","date_gmt":"2021-07-02T22:05:13","guid":{"rendered":"https:\/\/www.louismarchand.me\/?p=127"},"modified":"2021-07-02T22:05:13","modified_gmt":"2021-07-02T22:05:13","slug":"la-creation-dun-langage-de-programmation-analyseur-lexical","status":"publish","type":"post","link":"https:\/\/www.louismarchand.me\/index.php\/2021\/07\/02\/la-creation-dun-langage-de-programmation-analyseur-lexical\/","title":{"rendered":"La cr\u00e9ation d\u2019un langage de programmation – Analyseur lexical"},"content":{"rendered":"

Cet article est le second d’une s\u00e9rie d’articles pr\u00e9sentant les \u00e9tapes de d\u00e9veloppement d’un langage de programmation. La s\u00e9rie d’articles d\u00e9bute ici<\/a>.<\/p>\n

La premi\u00e8re \u00e9tape effectu\u00e9e par un compilateur (ou un interpr\u00e9teur) est l’analyse lexicale (ou \u00ab\u00a0scanner\u00a0\u00bb ou \u00ab\u00a0lexer\u00a0\u00bb) d’un code source. L’analyseur lexical permet de transformer les informations du code source (mots cl\u00e9s, identificateurs, constantes, etc.), nomm\u00e9es lex\u00e8me, en jeton (\u00ab\u00a0token\u00a0\u00bb). Un jeton est un type d’information qui sera plus facile \u00e0 travailler et \u00e0 manipuler que du texte dans les autres \u00e9tapes de la compilation.<\/p>\n

Par exemple, le programme Java suivant:<\/p>\n

\n
\/**<\/span>\r\n * Programme exemple<\/span>\r\n * <\/span>\r\n * @author Louis Marchand (prog@tioui.com)<\/span>\r\n * @version 0.1, vendredi jui 02, 2021 16:57:14 EDT<\/span>\r\n * <\/span>\r\n * Distribu\u00e9 sous licence MIT.<\/span>\r\n *\/<\/span>\r\n\r\npublic<\/span> class<\/span> Test<\/span> {<\/span>\r\n    \/**<\/span>\r\n     * Ex\u00e9cution du programme.<\/span>\r\n     *<\/span>\r\n     * @param aArguments Les param\u00eatres du programme.<\/span>\r\n     *\/<\/span>\r\n    public<\/span> static<\/span> void<\/span> main<\/span>(<\/span>String<\/span>[]<\/span> aArguments<\/span>)<\/span> {<\/span>\r\n        System<\/span>.<\/span>out<\/span>.<\/span>println<\/span>(<\/span>\"Bonjour \u00e0 tous\"<\/span>);<\/span>        \r\n    }<\/span>\t\r\n}<\/span>\r\n<\/pre>\n<\/div>\n
sera convertie en la suite de jeton suivant:<\/p>\n
\n
COMMENTAIRE PUBLIC CLASS IDENTIFICATEUR ACCOLADE_OUVRANTE COMMENTAIRE\r\nPUBLIC STATIC VOID IDENTIFICATEUR PARENTHESE_OUVRANTE IDENTIFICATEUR\r\nCROCHET_OUVRANT CROCHET_FERMANT IDENTIFICATEUR PARENTHESE_FERMANTE\r\nACCOLADE_OUVRANTE IDENTIFICATEUR POINT IDENTIFICATEUR POINT IDENTIFICATEUR\r\nPARENTHESE_OUVRANTE CHAINE PARENTHESE_FERMANTE POINT_VIRGULE ACCOLADE_FERMANTE\r\nACCOLADE_FERMANTE\r\n<\/pre>\n<\/div>\n
Ici, bien entendu, c’est une repr\u00e9sentation imag\u00e9e en texte de ce qui est stock\u00e9 par l’analyseur lexical. En r\u00e9alit\u00e9, il s’agit d’une instance propre au langage qui sera utilis\u00e9 pour cr\u00e9er le compilateur (par exemple, une structure si le compilateur est cr\u00e9\u00e9 en C ou une classe si le compilateur est cr\u00e9\u00e9 en C++). Minimalement, un jeton peut \u00eatre tout simplement un index (entier) unique par type de lex\u00e8me diff\u00e9rent. Par contre, en g\u00e9n\u00e9ral, on garde dans le jeton certaines informations qui pourront aider les prochaines \u00e9tapes de la compilation \u00e0 s’ex\u00e9cuter comme ils se doivent. Par exemple, on peut stocker dans le jeton, le nom du fichier source, la ligne et la colonne (qui pourront \u00eatre utilis\u00e9s pour donner des messages d’erreur plus efficace lors de la compilation) ou le texte d’origine du jeton (qui pourra \u00eatre utilis\u00e9 pour interpr\u00e9ter les constantes ou les identificateurs par exemple).<\/p>\n
La cr\u00e9ation d’un analyseur lexical se fait en sp\u00e9cifiant un fichier de descriptions \u00e0 un g\u00e9n\u00e9rateur d’analyseur lexical. Un fichier de description contient une s\u00e9rie d’expression r\u00e9guli\u00e8re qui permettra de reconna\u00eetre les lex\u00e8mes du langage. Une fois ex\u00e9cuter, le g\u00e9n\u00e9rateur d’analyseur lexical cr\u00e9era du code source qui pourra \u00eatre int\u00e9gr\u00e9 dans le code source du compilateur afin d’effectuer sa t\u00e2che.<\/p>\n
Il existe une grande quantit\u00e9 de g\u00e9n\u00e9rateurs d’analyseur lexical qui peuvent cr\u00e9er du code source dans diff\u00e9rents langages de programmation. Par exemple, \u00ab\u00a0Lex\u00a0\u00bb g\u00e9n\u00e8re en C, \u00ab\u00a0Flex\u00a0\u00bb g\u00e9n\u00e8re en C ou C++, \u00ab\u00a0C# Lex\u00a0\u00bb g\u00e9n\u00e8re en C#, \u00ab\u00a0JLex\u00a0\u00bb g\u00e9n\u00e8re en Java, etc. Dans le cas du langage Triumph qui est pr\u00e9sentement en cours de d\u00e9veloppement, le compilateur sera cr\u00e9\u00e9 dans le langage de programmation Eiffel. Le g\u00e9n\u00e9rateur d’analyseur lexical qui sera utilis\u00e9 devra donc \u00eatre capable de g\u00e9n\u00e9rer du code source Eiffel. C’est pour cette raison que j’utiliserai le g\u00e9n\u00e9rateur \u00ab\u00a0gelex<\/a>\u00a0\u00bb de la s\u00e9rie d’outils Gobo<\/a>.<\/p>\n
Voici un lien vers le fichier de description que j’ai cr\u00e9\u00e9 pour le langage de programmation Triumph: ici<\/a>. Il s’agit ici d’une version initiale qui pourrait changer en cours de d\u00e9veloppement.<\/p>\n
Voici les diff\u00e9rentes sections du fichier de description:<\/p>\n