5.1.2 词法和正则语法

ECMAScript 的词法语法在 11 节中会给出。该语法具有符合在 10.1 中定义的 SourceCharacter 规则的 Unicode 码点作为其终止符号。它定义了一个生产的集合，开始于 goal symbol 中的 InputElementDiv、InputElementTemplateTail、或 InputElementRegExp、或 InputElementRegExpOrTemplateTail。描述了这种代码点的序列如何被转换成输入元素序列。

除了空格和注释之外的输入元素形成用于 ECMAScript 的句法语法的终止符号，并且被称为 ECMAScript tokens。这些 tokens 是ECMAScript 语言的保留字、标识符、文字和标点符号。此外，行终止符虽然不被认为是 tokens ，但也成为输入元素流的一部分并且指导自动分号插入的流程（11.9）。简单的空白和单行注释会被丢弃，并且不会出现在语法语法的输入元素流中。一个 MultiLineComment （即形式为/ * ... * /的注释，不管其是否跨越多行），如果它不包含行终止符，同样地会被简单地丢弃；但如果 MultiLineComment 包含了一行或多行的终止符号，那么它被替换为单个行终止符，其成为语法语法的输入元素流的一部分。

正则表达式语法在 21.2.1 中给出。该语法也被 SourceCharacter 定义，拥有它的终止符号代码点。它定义了一个生产的集合，开始于 goal symbol 中的 Pattern，保证代码点的序列如何被转换成正则表达式模式。

词法和正则语法的生成通过具有两个冒号“::”作为分隔标点来区分。 词法和正则语法共享一些生产。