Лексические соглашения
Имеется шесть классов лексем: идентификаторы, ключевые слова, константы, строки, операции и другие разделители. Пробелы, табуляции , новые строки и комментарии (совместно, "пустые промежутки"), как описано ниже, игнорируются, за ис- ключением тех случаев, когда они служат разделителями лек- сем. Необходим какой-то пустой промежуток для разделения идентификаторов, ключевых слов и констант, которые в против- ном случае сольются. Если сделан разбор входного потока на лексемы вплоть до данного символа, то в качестве следующей лексемы берется са- мая длинная строка символов, которая еще может представлять собой лексему.
