எழுத்து பாகுபடுத்தி
எழுத்து பாகுபடுத்தி (Scanner) - வருடி என்றும் அழைக்கப்படும். இது நிரல்மொழிமாற்றியின் முதல் அங்கம். மூல மொழியில் உள்ள நீண்ட வரிசையிலான எழுத்துக்களை பாகுபடுத்தி துண்டங்களாக ஒழுங்குபடுத்தும். இச்செயல்பாட்டை எழுத்து பகுப்பாய்வு எனலாம்.[1][2][3]
துண்டங்கள் இயற்கை மொழியில் சொற்களுக்கு இணையானது. இத்துண்டங்களை பின்வருமாறு வகைப்படுத்தலாம்:
- சிறப்பு சொற்கள்
- சிறப்பு குறிகள்
- இனங்காட்டிகள்
எழுத்து பாகுபடுத்தியின் தொழிற்பாடு அடுத்தடுத்தாக வரும் எழுத்துக்களை எப்படி அடையாளப்படுத்துவது என்பதுவே. அடிப்படையில் எழுத்து பாகுபாடுத்தி ஒரு நிலை பொறியாகும்.
நுட்பியல் சொற்கள்
தொகு- துண்டம் - Token
- நிரல் - Program
- சிறப்பு சொற்கள் - Keywords
- சிறப்பு குறிகள் - Special Symbols
- இனங்காட்டிகள் - Identifiers
- நிலைப் பொறி - State Machine
துணை நூல்கள்
தொகு- Kenneth C. Louden. (1997). Compiler Construction: Principles and Practice. Toronto: PWS Publishing Company.
மேற்கோள்கள்
தொகு- ↑ "Anatomy of a Compiler and The Tokenizer". www.cs.man.ac.uk.
- ↑ page 111, "Compilers Principles, Techniques, & Tools, 2nd Ed." (WorldCat) by Aho, Lam, Sethi and Ullman, as quoted in https://stackoverflow.com/questions/14954721/what-is-the-difference-between-token-and-lexeme
- ↑ "Structure and Interpretation of Computer Programs". mitpress.mit.edu. Archived from the original on 2012-10-30. பார்க்கப்பட்ட நாள் 2009-03-07.