[deliverable/tracecompass.git] / org.eclipse.linuxtools.ctf.parser / Grammar / CTFLexer.g

lexer grammar CTFLexer;

options {
  language = Java;
}

@lexer::header {
 package org.eclipse.linuxtools.ctf.parser;
}

/*
 * Lexer grammers 
 */
 
/*
 * Keywords
 */
ALIGNTOK         : 'align' ;
CONSTTOK         : 'const' ;
CHARTOK          : 'char' ;
DOUBLETOK        : 'double' ;
ENUMTOK          : 'enum' ;
EVENTTOK         : 'event' ;
FLOATINGPOINTTOK : 'floating_point' ;
FLOATTOK         : 'float' ;
INTEGERTOK       : 'integer' ;
INTTOK           : 'int' ;
LONGTOK          : 'long' ;
SHORTTOK         : 'short' ;
SIGNEDTOK        : 'signed' ;
STREAMTOK        : 'stream' ;
STRINGTOK        : 'string' ;
STRUCTTOK        : 'struct' ;
TRACETOK         : 'trace' ;
TYPEALIASTOK     : 'typealias' ;
TYPEDEFTOK       : 'typedef' ;
UNSIGNEDTOK      : 'unsigned' ;
VARIANTTOK       : 'variant' ;
VOIDTOK          : 'void' ;
BOOLTOK          : '_Bool' ;
COMPLEXTOK       : '_Complex' ;
IMAGINARYTOK     : '_Imaginary' ;
ENVTOK           : 'env' ;
CLOCKTOK         : 'clock' ;
/*
 * Callsite tokens (v1.9)
 */
CALLSITETOK      : 'callsite' ;


/*
 * Spec still to come.
 */
NANNUMBERTOK  : 'NaN' ;
INFINITYTOK   : '+inf' ;
NINFINITYTOK  : '-inf' ;

/*
 * Symbols
 */
SEPARATOR          : ',' ;
COLON              : ':' ;
ELIPSES            : '...' ;
ASSIGNMENT         : '=' ;
TYPE_ASSIGNMENT    : ':=' ;
LT                 : '<' ;
GT                 : '>' ;
OPENBRAC           : '[' ;
CLOSEBRAC          : ']' ;
LPAREN             : '(' ;
RPAREN             : ')' ;
LCURL              : '{' ;
RCURL              : '}' ;
TERM               : ';' ;
POINTER            : '*' ;
SIGN               : '+' | '-' ;
ARROW              : '->' ;
DOT                : '.' ;
fragment BACKSLASH : '\\' ;

/*
 * Boolean literals
 * - We better leave them as identifiers and numbers...
 */
/*TRUE  : 'true'  | 'TRUE' ;
FALSE : 'false' | 'FALSE' ;
ZERO  : '0' ;
ONE   : '1' ;*/


/*
 * Integer literals
 */
OCTAL_LITERAL : '0' ('0'..'7')+ INTEGER_TYPES_SUFFIX? ;

DECIMAL_LITERAL : DIGIT+ INTEGER_TYPES_SUFFIX? ;

HEX_LITERAL : HEX_PREFIX HEX_DIGIT+ INTEGER_TYPES_SUFFIX? ;
fragment HEX_DIGIT : DIGIT | ('a'..'f') | ('A'..'F') ;
fragment HEX_PREFIX : '0' ('x' | 'X') ;

/* Helpers for integer literals */
fragment DIGIT : '0'..'9' ;
fragment NONZERO_DIGIT : '1'..'9' ;


/**
 * Integer suffix for long, long long and unsigned.
 *
 * Matches all possible combination of L, LL and U.
 */ 
fragment INTEGER_TYPES_SUFFIX :
	  ('l' ('l')? | 'L' ('L')?)             // l, ll
	| ('u' | 'U')                           // u
	| ('u' | 'U') ('l' ('l')? | 'L' ('L')?) // ul, ull 
	| ('l' ('l')? | 'L' ('L')?) ('u'| 'U')  // lu, llu
	;

/**
 * Escape sequences
 */
fragment ESCAPE_SEQUENCE :
	  BACKSLASH ('\'' | '"' | '?' | BACKSLASH | 'a' | 'b' | 'f' | 'n' | 'r' | 't' | 'v' )
	| OCTAL_ESCAPE
	| UNICODE_ESCAPE
	| HEXADECIMAL_ESCAPE
	;

/**
 * Octal escape sequence
 */
fragment OCTAL_ESCAPE :
    BACKSLASH ('0'..'3') ('0'..'7') ('0'..'7')
  | BACKSLASH ('0'..'7') ('0'..'7')
  | BACKSLASH ('0'..'7')
  ;

/**
 * Hexadecimal escape sequence
 */
fragment HEXADECIMAL_ESCAPE : BACKSLASH 'x' HEX_DIGIT+ ;

/**
 * Unicode escape sequence
 */
fragment UNICODE_ESCAPE :
    BACKSLASH 'u' HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT
  | BACKSLASH 'U' HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT
  ;


/* Used in both character and string literal */
fragment STRINGPREFIX : 'L';

/*
 * Character literal
 */
CHARACTER_LITERAL : STRINGPREFIX? SINGLEQUOTE CHAR_CONTENT+ SINGLEQUOTE ;
fragment CHAR_CONTENT : (ESCAPE_SEQUENCE | ~(BACKSLASH | SINGLEQUOTE)) ;
fragment SINGLEQUOTE : '\'';

/*
 * String literal
 */
STRING_LITERAL : STRINGPREFIX? DOUBLEQUOTE STRING_CONTENT* DOUBLEQUOTE ;
fragment STRING_CONTENT : (ESCAPE_SEQUENCE | ~(BACKSLASH | DOUBLEQUOTE)) ;
fragment DOUBLEQUOTE : '"' ;

/**
 * Whitespaces
 */
WS : (' ' | '\r' | '\t' | '\u000C' | '\n') { $channel=HIDDEN; } ;

/**
 * Multiline comment
 */ 
// About the greedy option: see page 100-101 of The Definitive ANTLR reference
// COMMENT : '/*' ( options {greedy=false;} : . )* '*/' {$channel=HIDDEN;} ;
COMMENT : COMMENT_OPEN .* COMMENT_CLOSE { $channel = HIDDEN; } ;
fragment COMMENT_OPEN : '/*';
fragment COMMENT_CLOSE : '*/';

/**
 * Single line comment
 */
LINE_COMMENT : '//' ~('\n'|'\r')* '\r'? '\n' {$channel=HIDDEN;} ;

/**
 * Identifiers
 */
IDENTIFIER : NONDIGIT (NONDIGIT | DIGIT)* ;
fragment NONDIGIT : ('_') | ('A'..'Z') | ('a'..'z') ;
Commit	Line	Data
866e5b51 FC	1	lexer grammar CTFLexer;
	2
	3	options {
	4	language = Java;
	5	}
	6
	7	@lexer::header {
	8	package org.eclipse.linuxtools.ctf.parser;
	9	}
	10
	11	/*
	12	* Lexer grammers
	13	*/
	14
	15	/*
	16	* Keywords
	17	*/
	18	ALIGNTOK : 'align' ;
	19	CONSTTOK : 'const' ;
	20	CHARTOK : 'char' ;
	21	DOUBLETOK : 'double' ;
	22	ENUMTOK : 'enum' ;
	23	EVENTTOK : 'event' ;
	24	FLOATINGPOINTTOK : 'floating_point' ;
	25	FLOATTOK : 'float' ;
	26	INTEGERTOK : 'integer' ;
	27	INTTOK : 'int' ;
	28	LONGTOK : 'long' ;
	29	SHORTTOK : 'short' ;
	30	SIGNEDTOK : 'signed' ;
	31	STREAMTOK : 'stream' ;
	32	STRINGTOK : 'string' ;
	33	STRUCTTOK : 'struct' ;
	34	TRACETOK : 'trace' ;
	35	TYPEALIASTOK : 'typealias' ;
	36	TYPEDEFTOK : 'typedef' ;
	37	UNSIGNEDTOK : 'unsigned' ;
	38	VARIANTTOK : 'variant' ;
	39	VOIDTOK : 'void' ;
	40	BOOLTOK : '_Bool' ;
	41	COMPLEXTOK : '_Complex' ;
	42	IMAGINARYTOK : '_Imaginary' ;
	43	ENVTOK : 'env' ;
	44	CLOCKTOK : 'clock' ;
4c9d2941 MK	45	/*
	46	* Callsite tokens (v1.9)
	47	*/
	48	CALLSITETOK : 'callsite' ;
	49
866e5b51 FC	50
	51	/*
	52	* Spec still to come.
	53	*/
	54	NANNUMBERTOK : 'NaN' ;
	55	INFINITYTOK : '+inf' ;
	56	NINFINITYTOK : '-inf' ;
	57
	58	/*
	59	* Symbols
	60	*/
	61	SEPARATOR : ',' ;
	62	COLON : ':' ;
	63	ELIPSES : '...' ;
	64	ASSIGNMENT : '=' ;
	65	TYPE_ASSIGNMENT : ':=' ;
	66	LT : '<' ;
	67	GT : '>' ;
	68	OPENBRAC : '[' ;
	69	CLOSEBRAC : ']' ;
	70	LPAREN : '(' ;
	71	RPAREN : ')' ;
	72	LCURL : '{' ;
	73	RCURL : '}' ;
	74	TERM : ';' ;
	75	POINTER : '*' ;
	76	SIGN : '+' \| '-' ;
	77	ARROW : '->' ;
	78	DOT : '.' ;
	79	fragment BACKSLASH : '\\' ;
	80
	81	/*
	82	* Boolean literals
	83	* - We better leave them as identifiers and numbers...
	84	*/
	85	/*TRUE : 'true' \| 'TRUE' ;
	86	FALSE : 'false' \| 'FALSE' ;
	87	ZERO : '0' ;
	88	ONE : '1' ;*/
	89
	90
	91	/*
	92	* Integer literals
	93	*/
	94	OCTAL_LITERAL : '0' ('0'..'7')+ INTEGER_TYPES_SUFFIX? ;
	95
	96	DECIMAL_LITERAL : DIGIT+ INTEGER_TYPES_SUFFIX? ;
	97
	98	HEX_LITERAL : HEX_PREFIX HEX_DIGIT+ INTEGER_TYPES_SUFFIX? ;
	99	fragment HEX_DIGIT : DIGIT \| ('a'..'f') \| ('A'..'F') ;
	100	fragment HEX_PREFIX : '0' ('x' \| 'X') ;
	101
	102	/* Helpers for integer literals */
	103	fragment DIGIT : '0'..'9' ;
	104	fragment NONZERO_DIGIT : '1'..'9' ;
	105
	106
	107	/**
	108	* Integer suffix for long, long long and unsigned.
	109	*
	110	* Matches all possible combination of L, LL and U.
	111	*/
	112	fragment INTEGER_TYPES_SUFFIX :
	113	('l' ('l')? \| 'L' ('L')?) // l, ll
114	\| ('u' \| 'U') // u
115	\| ('u' \| 'U') ('l' ('l')? \| 'L' ('L')?) // ul, ull
116	\| ('l' ('l')? \| 'L' ('L')?) ('u'\| 'U') // lu, llu
117	;
118
119	/**
120	* Escape sequences
121	*/
122	fragment ESCAPE_SEQUENCE :
123	BACKSLASH ('\'' \| '"' \| '?' \| BACKSLASH \| 'a' \| 'b' \| 'f' \| 'n' \| 'r' \| 't' \| 'v' )
124	\| OCTAL_ESCAPE
125	\| UNICODE_ESCAPE
126	\| HEXADECIMAL_ESCAPE
127	;
128
129	/**
130	* Octal escape sequence
131	*/
132	fragment OCTAL_ESCAPE :
133	BACKSLASH ('0'..'3') ('0'..'7') ('0'..'7')
134	\| BACKSLASH ('0'..'7') ('0'..'7')
135	\| BACKSLASH ('0'..'7')
136	;
137
138	/**
139	* Hexadecimal escape sequence
140	*/
141	fragment HEXADECIMAL_ESCAPE : BACKSLASH 'x' HEX_DIGIT+ ;
142
143	/**
144	* Unicode escape sequence
145	*/
146	fragment UNICODE_ESCAPE :
147	BACKSLASH 'u' HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT
148	\| BACKSLASH 'U' HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT
149	;
150
151
152	/* Used in both character and string literal */
153	fragment STRINGPREFIX : 'L';
154
155	/*
156	* Character literal
157	*/
158	CHARACTER_LITERAL : STRINGPREFIX? SINGLEQUOTE CHAR_CONTENT+ SINGLEQUOTE ;
159	fragment CHAR_CONTENT : (ESCAPE_SEQUENCE \| ~(BACKSLASH \| SINGLEQUOTE)) ;
160	fragment SINGLEQUOTE : '\'';
161
162	/*
163	* String literal
164	*/
165	STRING_LITERAL : STRINGPREFIX? DOUBLEQUOTE STRING_CONTENT* DOUBLEQUOTE ;
166	fragment STRING_CONTENT : (ESCAPE_SEQUENCE \| ~(BACKSLASH \| DOUBLEQUOTE)) ;
167	fragment DOUBLEQUOTE : '"' ;
168
169	/**
170	* Whitespaces
171	*/
172	WS : (' ' \| '\r' \| '\t' \| '\u000C' \| '\n') { $channel=HIDDEN; } ;
173
174	/**
175	* Multiline comment
176	*/
177	// About the greedy option: see page 100-101 of The Definitive ANTLR reference
178	// COMMENT : '/' ( options {greedy=false;} : . ) '*/' {$channel=HIDDEN;} ;
179	COMMENT : COMMENT_OPEN .* COMMENT_CLOSE { $channel = HIDDEN; } ;
180	fragment COMMENT_OPEN : '/*';
181	fragment COMMENT_CLOSE : '*/';
182
183	/**
184	* Single line comment
185	*/
186	LINE_COMMENT : '//' ~('\n'\|'\r')* '\r'? '\n' {$channel=HIDDEN;} ;
187
188	/**
189	* Identifiers
190	*/
191	IDENTIFIER : NONDIGIT (NONDIGIT \| DIGIT)* ;
192	fragment NONDIGIT : ('_') \| ('A'..'Z') \| ('a'..'z') ;