Análise Léxica e Itens Léxicos

Para desenpenhar suas tarefas um compilador deve executar dois tipo de atividades: A primeira atividade é a análise do código fonte, a segunda atividade é a síntese do programa equivalente em linguagem simbólica.

A análise é subdividida: Análise Léxica e Análise Sintáxica.

A análise léxica pode ser encarada como a primeira etapa do processo de compilação. Nesta etapa, o programa fonte é encarado como uma seqüência de caracteres que deverão ser agrupados e identificados como palavras reservadas da linguagem (Pascal, por exemplo).Inicialmente serão apresentados alguns aspectos genéricos no reconhecimento de símbolos.
As regras de formação de elementos e frases válidas de uma linguagem são expressos na gramática da linguagem. O processo de reconhecer os comandos de uma gramática é conhecido como reconhecimento de sentenças. A aplicação do conceito de reconhecimento de sentenças para agrupar as seqüências de caracteres em "palavras" é a análise léxica. Os elementos reconhecidos nessa primeira etapa da compilação são denominados itens léxicos ou tokens.Para desempenhar a análise léxica, o compilador deve ter conhecimento de quais são os tokens válidos da linguagem, assim como suas palavras chaves e regras para formação de identificadores.

Em Pascal, os itens léxicos são: and, array, begin, case, const, div, do, downto, else, end, file, for, function, goto, if, in, label, mod, not, of, or, procedure, program, record, repeat, set, then, to, type, until, var, while, with, xor.
Cada um desses itens desepenham papel diferente num algorítico. Alguns são importantes para estruturas de repetição, outros para estruturas condicionais, outros para vetores. Vocês podem encontrar maiores explicações sobre essas estruturas nos blogs em minha lista de links, façam bom proveito.

As informações deste post foram retiradas de: http://www.dca.fee.unicamp.br/cursos/EA876/apostila/HTML/node37.html