字句解析Lexing

• まずNUMBERのようなものを見つける必要がある

  First, our program must identify things like NUMBER

• 考え方：入力を前処理する

  Idea: preprocess the input

• 文字列を「トークン」の集合に分解する

  Turn it from a character string into a list of tokens

• トークンというのはこれ以上分解できないかたまり

  Each token is an atomic piece of input

• 例：sin, x, +, 12345

  Examples: sin, x, +, 12345

• みなさんもしていることだ

  Humans do this when they read

• 文字の羅列を単語の羅列に変換して

  First, turn the sequence of characters into a sequence of words

• その単語の意味から文の構造を理解する

  Then, try to understand the structure of the sentence based on meanings of words

• これが字句解析

  This is called lexing

Next

Copyright © 2007 M. J. Dominus