Токен (лексический анализ)
Поделись знанием:
– Кажется, умер. А, Макеев? – равнодушно спросил доктор у фельдшера.
Фельдшер однако не подтвердил слов доктора.
– Что он такой длинный, рыжеватый? – спросил доктор.
Ростов описал наружность Денисова.
– Был, был такой, – как бы радостно проговорил доктор, – этот должно быть умер, а впрочем я справлюсь, у меня списки были. Есть у тебя, Макеев?
– Списки у Макара Алексеича, – сказал фельдшер. – А пожалуйте в офицерские палаты, там сами увидите, – прибавил он, обращаясь к Ростову.
– Эх, лучше не ходить, батюшка, – сказал доктор: – а то как бы сами тут не остались. – Но Ростов откланялся доктору и попросил фельдшера проводить его.
Токен — объект, создающийся из лексемы в процессе лексического анализа.
В прикладном программировании понятие токена и его лексема могут не различаться.
Шаблон токена — формальное описание класса лексем, которые могут создать данный тип токена.
| тип токена | примеры лексем | описание |
|---|---|---|
| num | 257 | число |
| id | Ident951 | идентификатор |
| relop | <= | операция отношения |
| string | "Cимвол" | строчная постоянная |
|
Это заготовка статьи о компьютерах. Вы можете помочь проекту, дополнив её. Это примечание по возможности следует заменить более точным. |
Напишите отзыв о статье "Токен (лексический анализ)"
Отрывок, характеризующий Токен (лексический анализ)
– Майор Денисов, – повторил Ростов; – он под Молитеном ранен был.– Кажется, умер. А, Макеев? – равнодушно спросил доктор у фельдшера.
Фельдшер однако не подтвердил слов доктора.
– Что он такой длинный, рыжеватый? – спросил доктор.
Ростов описал наружность Денисова.
– Был, был такой, – как бы радостно проговорил доктор, – этот должно быть умер, а впрочем я справлюсь, у меня списки были. Есть у тебя, Макеев?
– Списки у Макара Алексеича, – сказал фельдшер. – А пожалуйте в офицерские палаты, там сами увидите, – прибавил он, обращаясь к Ростову.
– Эх, лучше не ходить, батюшка, – сказал доктор: – а то как бы сами тут не остались. – Но Ростов откланялся доктору и попросил фельдшера проводить его.
