parser.c

   1 #include <stdio.h>
   2 #include <stdarg.h>
   3
   4 #include "gmqcc.h"
   5 #include "lexer.h"
   6
   7 typedef struct {
   8     lex_file *lex;
   9     int      tok;
  10
  11     MEM_VECTOR_MAKE(ast_value*, globals);
  12     MEM_VECTOR_MAKE(ast_function*, functions);
  13     MEM_VECTOR_MAKE(ast_value*, imm_float);
  14
  15     ast_function *function;
  16     MEM_VECTOR_MAKE(ast_value*, locals);
  17     size_t blocklocal;
  18 } parser_t;
  19
  20 MEM_VEC_FUNCTIONS(parser_t, ast_value*, globals)
  21 MEM_VEC_FUNCTIONS(parser_t, ast_value*, imm_float)
  22 MEM_VEC_FUNCTIONS(parser_t, ast_value*, locals)
  23 MEM_VEC_FUNCTIONS(parser_t, ast_function*, functions)
  24
  25 void parseerror(parser_t *parser, const char *fmt, ...)
  26 {
  27         va_list ap;
  28
  29     if (parser)
  30             printf("error %s:%lu: ", parser->lex->tok->ctx.file, (unsigned long)parser->lex->tok->ctx.line);
  31         else
  32             printf("error: ");
  33
  34         va_start(ap, fmt);
  35         vprintf(fmt, ap);
  36         va_end(ap);
  37
  38         printf("\n");
  39 }
  40
  41 bool parser_next(parser_t *parser)
  42 {
  43     /* lex_do kills the previous token */
  44     parser->tok = lex_do(parser->lex);
  45     if (parser->tok == TOKEN_EOF || parser->tok >= TOKEN_ERROR)
  46         return false;
  47     return true;
  48 }
  49
  50 /* lift a token out of the parser so it's not destroyed by parser_next */
  51 token *parser_lift(parser_t *parser)
  52 {
  53     token *tok = parser->lex->tok;
  54     parser->lex->tok = NULL;
  55     return tok;
  56 }
  57
  58 #define parser_tokval(p) (p->lex->tok->value)
  59 #define parser_token(p)  (p->lex->tok)
  60 #define parser_ctx(p)    (p->lex->tok->ctx)
  61
  62 ast_value* parser_const_float(parser_t *parser, double d)
  63 {
  64     size_t i;
  65     ast_value *out;
  66     for (i = 0; i < parser->imm_float_count; ++i) {
  67         if (parser->imm_float[i]->constval.vfloat == d)
  68             return parser->imm_float[i];
  69     }
  70     out = ast_value_new(parser_ctx(parser), "#IMMEDIATE", TYPE_FLOAT);
  71     out->isconst = true;
  72     out->constval.vfloat = d;
  73     if (!parser_t_imm_float_add(parser, out)) {
  74         ast_value_delete(out);
  75         return NULL;
  76     }
  77     return out;
  78 }
  79
  80 ast_value* parser_find_global(parser_t *parser, const char *name)
  81 {
  82     size_t i;
  83     for (i = 0; i < parser->globals_count; ++i) {
  84         if (!strcmp(parser->globals[i]->name, name))
  85             return parser->globals[i];
  86     }
  87     return NULL;
  88 }
  89
  90 ast_value* parser_find_local(parser_t *parser, const char *name, size_t upto)
  91 {
  92     size_t i;
  93     for (i = parser->locals_count; i > upto;) {
  94         --i;
  95         if (!strcmp(parser->locals[i]->name, name))
  96             return parser->locals[i];
  97     }
  98     return NULL;
  99 }
 100
 101 ast_value* parser_find_var(parser_t *parser, const char *name)
 102 {
 103     ast_value *v;
 104     v         = parser_find_local(parser, name, 0);
 105     if (!v) v = parser_find_global(parser, name);
 106     return v;
 107 }
 108
 109 typedef struct {
 110     MEM_VECTOR_MAKE(ast_value*, p);
 111 } paramlist_t;
 112 MEM_VEC_FUNCTIONS(paramlist_t, ast_value*, p)
 113
 114 static ast_value *parser_parse_type(parser_t *parser, int basetype, bool *isfunc)
 115 {
 116     paramlist_t params;
 117     ast_value *var;
 118     lex_ctx   ctx = parser_ctx(parser);
 119     int vtype = basetype;
 120     int temptype;
 121
 122     MEM_VECTOR_INIT(&params, p);
 123
 124     *isfunc = false;
 125
 126     if (parser->tok == '(') {
 127         *isfunc = true;
 128         while (true) {
 129             ast_value *param;
 130             bool dummy;
 131
 132             if (!parser_next(parser)) {
 133                 MEM_VECTOR_CLEAR(&params, p);
 134                 return NULL;
 135             }
 136
 137             if (parser->tok == ')')
 138                 break;
 139
 140             temptype = parser_token(parser)->constval.t;
 141             if (!parser_next(parser)) {
 142                 MEM_VECTOR_CLEAR(&params, p);
 143                 return NULL;
 144             }
 145             param = parser_parse_type(parser, temptype, &dummy);
 146             (void)dummy;
 147
 148             if (!param) {
 149                 MEM_VECTOR_CLEAR(&params, p);
 150                 return NULL;
 151             }
 152
 153             if (!paramlist_t_p_add(&params, param)) {
 154                 MEM_VECTOR_CLEAR(&params, p);
 155                 parseerror(parser, "Out of memory while parsing typename");
 156                 return NULL;
 157             }
 158
 159             if (parser->tok == ',')
 160                 continue;
 161             if (parser->tok == ')')
 162                 break;
 163             MEM_VECTOR_CLEAR(&params, p);
 164             parseerror(parser, "Unexpected token");
 165             return NULL;
 166         }
 167         if (!parser_next(parser)) {
 168             MEM_VECTOR_CLEAR(&params, p);
 169             return NULL;
 170         }
 171     }
 172
 173     var = ast_value_new(ctx, "<unnamed>", vtype);
 174     if (!var) {
 175         MEM_VECTOR_CLEAR(&params, p);
 176         return NULL;
 177     }
 178     MEM_VECTOR_MOVE(&params, p, var, params);
 179     return var;
 180 }
 181
 182 typedef struct
 183 {
 184     size_t etype; /* 0 = expression, others are operators */
 185     ast_expression* out;
 186 } sy_elem;
 187 typedef struct
 188 {
 189     MEM_VECTOR_MAKE(sy_elem, out);
 190     MEM_VECTOR_MAKE(sy_elem, ops);
 191 } shynt;
 192 MEM_VEC_FUNCTIONS(shynt, sy_elem, out)
 193 MEM_VEC_FUNCTIONS(shynt, sy_elem, ops)
 194
 195 static sy_elem syexp(ast_expression *v) {
 196     sy_elem e;
 197     e.etype = 0;
 198     e.out = v;
 199     return e;
 200 }
 201 static sy_elem syval(ast_value *v) { return syexp((ast_expression*)v); }
 202
 203 static sy_elem syop(const oper_info *op) {
 204     sy_elem e;
 205     e.etype = 1 + (op - operators);
 206     e.out = NULL;
 207     return e;
 208 }
 209
 210 static bool parser_sy_pop(parser_t *parser, shynt *sy)
 211 {
 212     if (!sy->ops_count) {
 213         parseerror(parser, "internal error: missing operator");
 214         return false;
 215     }
 216     return true;
 217 }
 218
 219 static ast_expression* parser_expression(parser_t *parser)
 220 {
 221     ast_expression *expr = NULL;
 222     shynt sy;
 223     bool wantop = false;
 224
 225     MEM_VECTOR_INIT(&sy, out);
 226     MEM_VECTOR_INIT(&sy, ops);
 227
 228     while (true)
 229     {
 230         if (!wantop)
 231         {
 232             if (parser->tok == TOKEN_IDENT)
 233             {
 234                 /* variable */
 235                 ast_value *var = parser_find_var(parser, parser_tokval(parser));
 236                 if (!var) {
 237                     parseerror(parser, "unexpected ident: %s", parser_tokval(parser));
 238                     goto onerr;
 239                 }
 240                 if (!shynt_out_add(&sy, syval(var))) {
 241                     parseerror(parser, "out of memory");
 242                     goto onerr;
 243                 }
 244             } else if (parser->tok == TOKEN_FLOATCONST) {
 245                 ast_value *val = parser_const_float(parser, (parser_token(parser)->constval.f));
 246                 if (!val)
 247                     return false;
 248                 if (!shynt_out_add(&sy, syval(val))) {
 249                     parseerror(parser, "out of memory");
 250                     goto onerr;
 251                 }
 252             } else if (parser->tok == TOKEN_INTCONST) {
 253                 ast_value *val = parser_const_float(parser, (double)(parser_token(parser)->constval.i));
 254                 if (!val)
 255                     return false;
 256                 if (!shynt_out_add(&sy, syval(val))) {
 257                     parseerror(parser, "out of memory");
 258                     goto onerr;
 259                 }
 260             } else {
 261                 /* TODO: prefix operators */
 262                 parseerror(parser, "expected statement");
 263                 goto onerr;
 264             }
 265             wantop = true;
 266             parser->lex->flags.noops = false;
 267             if (!parser_next(parser)) {
 268                 goto onerr;
 269             }
 270         } else {
 271             if (parser->tok != TOKEN_OPERATOR) {
 272                 parseerror(parser, "expected operator or end of statement");
 273                 goto onerr;
 274             } else {
 275                 /* classify the operator */
 276                 /* TODO: suffix operators */
 277                 const oper_info *op;
 278                 const oper_info *olast = NULL;
 279                 size_t o;
 280                 for (o = 0; o < operator_count; ++o) {
 281                     if (!(operators[o].flags & OP_PREFIX) &&
 282                         !(operators[o].flags & OP_SUFFIX) && /* remove this */
 283                         !strcmp(parser_tokval(parser), operators[o].op))
 284                     {
 285                         break;
 286                     }
 287                 }
 288                 if (o == operator_count) {
 289                     /* no operator found... must be the end of the statement */
 290                     break;
 291                 }
 292                 /* found an operator */
 293                 op = &operators[o];
 294
 295                 if (sy.ops_count)
 296                     olast = &operators[sy.ops[sy.ops_count-1].etype-1];
 297
 298                 while (olast && (
 299                         (op->prec < olast->prec) ||
 300                         (op->assoc == ASSOC_LEFT && op->prec <= olast->prec) ) )
 301                 {
 302                     if (!parser_sy_pop(parser, &sy))
 303                         goto onerr;
 304                     olast = sy.ops_count ? (&operators[sy.ops[sy.ops_count-1].etype-1]) : NULL;
 305                 }
 306
 307                 if (!shynt_ops_add(&sy, syop(op)))
 308                     goto onerr;
 309             }
 310             wantop = false;
 311             parser->lex->flags.noops = true;
 312             if (!parser_next(parser)) {
 313                 goto onerr;
 314             }
 315         }
 316     }
 317
 318     while (sy.ops_count) {
 319         if (!parser_sy_pop(parser, &sy))
 320             goto onerr;
 321     }
 322
 323     parser->lex->flags.noops = true;
 324     if (!sy.out_count) {
 325         parseerror(parser, "empty expression");
 326         expr = NULL;
 327     } else
 328         expr = sy.out[0].out;
 329     MEM_VECTOR_CLEAR(&sy, out);
 330     MEM_VECTOR_CLEAR(&sy, ops);
 331     return expr;
 332
 333 onerr:
 334     parser->lex->flags.noops = true;
 335     MEM_VECTOR_CLEAR(&sy, out);
 336     MEM_VECTOR_CLEAR(&sy, ops);
 337     return NULL;
 338 }
 339
 340 static bool parser_variable(parser_t *parser, bool global);
 341 static bool parser_body_do(parser_t *parser, ast_block *block)
 342 {
 343     if (parser->tok == TOKEN_TYPENAME)
 344     {
 345         /* local variable */
 346         if (!parser_variable(parser, false))
 347             return false;
 348         return true;
 349     }
 350     else if (parser->tok == '{')
 351     {
 352         /* a block */
 353         parseerror(parser, "TODO: inner blocks");
 354         return false;
 355     }
 356     else
 357     {
 358         ast_expression *exp = parser_expression(parser);
 359         if (!exp)
 360             return false;
 361         if (!ast_block_exprs_add(block, exp))
 362             return false;
 363         return true;
 364     }
 365 }
 366
 367 static ast_block* parser_parse_block(parser_t *parser)
 368 {
 369     size_t oldblocklocal;
 370     ast_block *block = NULL;
 371
 372     oldblocklocal = parser->blocklocal;
 373     parser->blocklocal = parser->locals_count;
 374
 375     if (!parser_next(parser)) { /* skip the '{' */
 376         parseerror(parser, "expected function body");
 377         goto cleanup;
 378     }
 379
 380     block = ast_block_new(parser_ctx(parser));
 381
 382     while (parser->tok != TOKEN_EOF && parser->tok < TOKEN_ERROR)
 383     {
 384         if (parser->tok == '}')
 385             break;
 386
 387         if (!parser_body_do(parser, block)) {
 388             ast_block_delete(block);
 389             block = NULL;
 390             goto cleanup;
 391         }
 392     }
 393
 394     if (parser->tok != '}') {
 395         ast_block_delete(block);
 396         block = NULL;
 397     } else {
 398         (void)parser_next(parser);
 399     }
 400
 401 cleanup:
 402     parser->blocklocal = oldblocklocal;
 403     return block;
 404 }
 405
 406 static bool parser_variable(parser_t *parser, bool global)
 407 {
 408     bool          isfunc = false;
 409     ast_function *func = NULL;
 410     lex_ctx       ctx;
 411     ast_value    *var;
 412
 413     int basetype = parser_token(parser)->constval.t;
 414
 415     while (true)
 416     {
 417         if (!parser_next(parser)) { /* skip basetype or comma */
 418             parseerror(parser, "expected variable declaration");
 419             return false;
 420         }
 421
 422         isfunc = false;
 423         func = NULL;
 424         ctx = parser_ctx(parser);
 425         var = parser_parse_type(parser, basetype, &isfunc);
 426
 427         if (!var)
 428             return false;
 429
 430         if (parser->tok != TOKEN_IDENT) {
 431             parseerror(parser, "expected variable name\n");
 432             return false;
 433         }
 434
 435         if (global && parser_find_global(parser, parser_tokval(parser))) {
 436             ast_value_delete(var);
 437             parseerror(parser, "global already exists: %s\n", parser_tokval(parser));
 438             return false;
 439         }
 440
 441         if (!global && parser_find_local(parser, parser_tokval(parser), parser->blocklocal)) {
 442             ast_value_delete(var);
 443             parseerror(parser, "local variable already exists: %s\n", parser_tokval(parser));
 444             return false;
 445         }
 446
 447         if (!ast_value_set_name(var, parser_tokval(parser))) {
 448             parseerror(parser, "failed to set variable name\n");
 449             ast_value_delete(var);
 450             return false;
 451         }
 452
 453         if (isfunc) {
 454             /* a function was defined */
 455             ast_value *fval;
 456
 457             /* turn var into a value of TYPE_FUNCTION, with the old var
 458              * as return type
 459              */
 460             fval = ast_value_new(ctx, var->name, TYPE_FUNCTION);
 461             func = ast_function_new(ctx, var->name, fval);
 462             if (!fval || !func) {
 463                 ast_value_delete(var);
 464                 if (fval) ast_value_delete(fval);
 465                 if (func) ast_function_delete(func);
 466                 return false;
 467             }
 468
 469             fval->expression.next = (ast_expression*)var;
 470             MEM_VECTOR_MOVE(var, params, fval, params);
 471
 472             if (!parser_t_functions_add(parser, func)) {
 473                 ast_value_delete(var);
 474                 if (fval) ast_value_delete(fval);
 475                 if (func) ast_function_delete(func);
 476                 return false;
 477             }
 478
 479             var = fval;
 480         }
 481
 482         if ( ( global && !parser_t_globals_add(parser, var)) ||
 483              (!global && !parser_t_locals_add(parser, var)) )
 484         {
 485             ast_value_delete(var);
 486             return false;
 487         }
 488
 489         if (!parser_next(parser)) {
 490             ast_value_delete(var);
 491             return false;
 492         }
 493
 494         if (parser->tok == ';') {
 495             if (!parser_next(parser))
 496                 return parser->tok == TOKEN_EOF;
 497             return true;
 498         }
 499
 500         if (parser->tok == ',') {
 501             /* another var */
 502             continue;
 503         }
 504
 505         if (parser->tok != '=') {
 506             parseerror(parser, "expected '=' or ';'");
 507             return false;
 508         }
 509
 510         if (!parser_next(parser))
 511             return false;
 512
 513         if (parser->tok == '#') {
 514             if (!global) {
 515                 parseerror(parser, "cannot declare builtins within functions");
 516                 return false;
 517             }
 518             if (!isfunc || !func) {
 519                 parseerror(parser, "unexpected builtin number, '%s' is not a function", var->name);
 520                 return false;
 521             }
 522             if (!parser_next(parser)) {
 523                 parseerror(parser, "expected builtin number");
 524                 return false;
 525             }
 526             if (parser->tok != TOKEN_INTCONST) {
 527                 parseerror(parser, "builtin number must be an integer constant");
 528                 return false;
 529             }
 530             if (parser_token(parser)->constval.i <= 0) {
 531                 parseerror(parser, "builtin number must be positive integer greater than zero");
 532                 return false;
 533             }
 534
 535             func->builtin = -parser_token(parser)->constval.i;
 536         } else if (parser->tok == '{') {
 537             /* function body */
 538             ast_block *block;
 539             ast_function *old = parser->function;
 540
 541             if (!global) {
 542                 parseerror(parser, "cannot declare functions within functions");
 543                 return false;
 544             }
 545
 546             parser->function = func;
 547             block = parser_parse_block(parser);
 548             parser->function = old;
 549
 550             if (!block)
 551                 return false;
 552
 553             if (!ast_function_blocks_add(func, block)) {
 554                 ast_block_delete(block);
 555                 return false;
 556             }
 557             return true;
 558         } else {
 559             parseerror(parser, "TODO, const assignment");
 560         }
 561
 562         if (!parser_next(parser))
 563             return false;
 564
 565         if (parser->tok == ',') {
 566             /* another */
 567             continue;
 568         }
 569
 570         if (parser->tok != ';') {
 571             parseerror(parser, "expected semicolon");
 572             return false;
 573         }
 574
 575         (void)parser_next(parser);
 576
 577         return true;
 578     }
 579 }
 580
 581 static bool parser_do(parser_t *parser)
 582 {
 583     if (parser->tok == TOKEN_TYPENAME)
 584     {
 585         return parser_variable(parser, true);
 586     }
 587     else if (parser->tok == TOKEN_KEYWORD)
 588     {
 589         /* handle 'var' and 'const' */
 590         return false;
 591     }
 592     else if (parser->tok == '.')
 593     {
 594         /* entity-member declaration */
 595         return false;
 596     }
 597     else
 598     {
 599         parseerror(parser, "unexpected token: %s", parser->lex->tok->value);
 600         return false;
 601     }
 602     return true;
 603 }
 604
 605 bool parser_compile(const char *filename)
 606 {
 607     size_t i;
 608     parser_t *parser;
 609     ir_builder *ir;
 610
 611     parser = (parser_t*)mem_a(sizeof(parser_t));
 612     if (!parser)
 613         return false;
 614
 615     memset(parser, 0, sizeof(parser));
 616
 617     MEM_VECTOR_INIT(parser, globals);
 618     MEM_VECTOR_INIT(parser, locals);
 619     parser->lex = lex_open(filename);
 620
 621     if (!parser->lex) {
 622         printf("failed to open file \"%s\"\n", filename);
 623         return false;
 624     }
 625
 626     /* initial lexer/parser state */
 627     parser->lex->flags.noops = true;
 628
 629     if (parser_next(parser))
 630     {
 631         while (parser->tok != TOKEN_EOF && parser->tok < TOKEN_ERROR)
 632         {
 633             if (!parser_do(parser)) {
 634                 if (parser->tok == TOKEN_EOF)
 635                     parseerror(parser, "unexpected eof");
 636                 else
 637                     parseerror(parser, "parse error\n");
 638                 lex_close(parser->lex);
 639                 mem_d(parser);
 640                 return false;
 641             }
 642         }
 643     }
 644
 645     lex_close(parser->lex);
 646
 647     ir = ir_builder_new("gmqcc_out");
 648     if (!ir) {
 649         printf("failed to allocate builder\n");
 650         goto cleanup;
 651     }
 652
 653     for (i = 0; i < parser->imm_float_count; ++i) {
 654         if (!ast_global_codegen(parser->imm_float[i], ir)) {
 655             printf("failed to generate global %s\n", parser->imm_float[i]->name);
 656         }
 657     }
 658     for (i = 0; i < parser->globals_count; ++i) {
 659         if (!ast_global_codegen(parser->globals[i], ir)) {
 660             printf("failed to generate global %s\n", parser->globals[i]->name);
 661         }
 662     }
 663     for (i = 0; i < parser->functions_count; ++i) {
 664         if (!ast_function_codegen(parser->functions[i], ir)) {
 665             printf("failed to generate function %s\n", parser->functions[i]->name);
 666         }
 667         if (!ir_function_finalize(parser->functions[i]->ir_func)) {
 668             printf("failed to finalize function %s\n", parser->functions[i]->name);
 669         }
 670     }
 671
 672     ir_builder_dump(ir, printf);
 673
 674 cleanup:
 675     for (i = 0; i < parser->globals_count; ++i) {
 676         ast_value_delete(parser->globals[i]);
 677     }
 678     MEM_VECTOR_CLEAR(parser, globals);
 679
 680     mem_d(parser);
 681     return true;
 682 }