字句
出典: フリー百科事典『ウィキペディア(Wikipedia)』
字句(じく)とは、プログラミング言語においてソースコードに出現する文字列の中で意味を持つ最小単位のことであり、トークンとも言う。 main, if, $a などの関数名や変数名、{} () [] などの括弧、+-=*などの演算記号、;,:などといった区切り文字、3.14159のような定数はすべて字句に相当する。
ソースコードをコンパイルするにあたって、最初の段階でまず字句を取り出し種別に分類必要がある。この処理を字句解析と呼ぶ。 この処理のため、各種の字句はどのような文字から構成されるかが規定されている。
- (例)変数名は、英字で始まり、その後に0個以上の英字、数字または下線 (_) が続く文字列である。
通常、このような構成規則はバッカス・ナウア記法 (BNF) または正則表現で表現される。上の例を正規表現で表すと [a-zA-Z][a-zA-Z0-9_]* となる。