|
165
|
1 using System;
|
|
163
|
2 using System.Globalization;
|
|
165
|
3 using Implab.Automaton;
|
|
163
|
4
|
|
165
|
5 namespace Implab.Formats.JSON {
|
|
163
|
6 /// <summary>
|
|
|
7 /// Сканнер (лексер), разбивающий поток символов на токены JSON.
|
|
|
8 /// </summary>
|
|
165
|
9 public class JSONScanner : Scanner<object> {
|
|
163
|
10 char[] m_stringBuffer;
|
|
165
|
11 DFAStateDescriptior<>[] m_stringDFA;
|
|
163
|
12 int[] m_stringAlphabet;
|
|
|
13
|
|
|
14 /// <summary>
|
|
|
15 /// Создает новый экземпляр сканнера
|
|
|
16 /// </summary>
|
|
|
17 public JSONScanner()
|
|
165
|
18 : base(JSONGrammar.Instance.JsonDFA.GetTransitionTable(), JSONGrammar.Instance.JsonDFA.Alphabet.GetTranslationMap()) {
|
|
163
|
19 m_stringBuffer = new char[1024];
|
|
|
20 var dfa = JSONGrammar.Instance.JsonStringDFA;
|
|
|
21 m_stringAlphabet = dfa.Alphabet.GetTranslationMap();
|
|
|
22 m_stringDFA = dfa.States;
|
|
|
23 }
|
|
|
24
|
|
|
25 /// <summary>
|
|
|
26 /// Читает следующий лексический элемент из входных данных.
|
|
|
27 /// </summary>
|
|
|
28 /// <param name="tokenValue">Возвращает значение прочитанного токена.</param>
|
|
|
29 /// <param name="tokenType">Возвращает тип прочитанного токена.</param>
|
|
|
30 /// <returns><c>true</c> - чтение произведено успешно. <c>false</c> - достигнут конец входных данных</returns>
|
|
|
31 /// <remarks>В случе если токен не распознается, возникает исключение. Значения токенов обрабатываются, т.е.
|
|
|
32 /// в строках обрабатываются экранированные символы, числа становтся типа double.</remarks>
|
|
|
33 public bool ReadToken(out object tokenValue, out JsonTokenType tokenType) {
|
|
|
34 if (ReadTokenInternal()) {
|
|
|
35 switch ((JSONGrammar.TokenType)m_currentState.tag[0]) {
|
|
|
36 case JSONGrammar.TokenType.StringBound:
|
|
|
37 tokenValue = ReadString();
|
|
|
38 tokenType = JsonTokenType.String;
|
|
|
39 break;
|
|
|
40 case JSONGrammar.TokenType.Number:
|
|
|
41 tokenValue = Double.Parse(new String(m_buffer, m_tokenOffset, m_tokenLen), CultureInfo.InvariantCulture);
|
|
|
42 tokenType = JsonTokenType.Number;
|
|
|
43 break;
|
|
|
44 default:
|
|
|
45 tokenType = (JsonTokenType)m_currentState.tag[0];
|
|
|
46 tokenValue = new String(m_buffer, m_tokenOffset, m_tokenLen);
|
|
|
47 break;
|
|
|
48 }
|
|
|
49 return true;
|
|
|
50 }
|
|
|
51 tokenValue = null;
|
|
|
52 tokenType = JsonTokenType.None;
|
|
|
53 return false;
|
|
|
54 }
|
|
|
55
|
|
|
56 string ReadString() {
|
|
|
57 int pos = 0;
|
|
|
58 Switch(m_stringDFA, m_stringAlphabet);
|
|
|
59 while (ReadTokenInternal()) {
|
|
|
60 switch ((JSONGrammar.TokenType)m_currentState.tag[0]) {
|
|
|
61 case JSONGrammar.TokenType.StringBound:
|
|
|
62 Restore();
|
|
|
63 return new String(m_stringBuffer, 0, pos);
|
|
|
64 case JSONGrammar.TokenType.UnescapedChar:
|
|
|
65 EnsureStringBufferSize(pos + m_tokenLen);
|
|
|
66 Array.Copy(m_buffer, m_tokenOffset, m_stringBuffer, pos, m_tokenLen);
|
|
|
67 pos += m_tokenLen;
|
|
|
68 break;
|
|
|
69 case JSONGrammar.TokenType.EscapedUnicode:
|
|
|
70 EnsureStringBufferSize(pos + 1);
|
|
|
71 m_stringBuffer[pos] = StringTranslator.TranslateHexUnicode(m_buffer, m_tokenOffset + 2);
|
|
|
72 pos++;
|
|
|
73 break;
|
|
|
74 case JSONGrammar.TokenType.EscapedChar:
|
|
|
75 EnsureStringBufferSize(pos + 1);
|
|
|
76 m_stringBuffer[pos] = StringTranslator.TranslateEscapedChar(m_buffer[m_tokenOffset + 1]);
|
|
|
77 pos++;
|
|
|
78 break;
|
|
|
79 default:
|
|
|
80 break;
|
|
|
81 }
|
|
|
82
|
|
|
83 }
|
|
|
84
|
|
|
85 throw new ParserException("Unexpected end of data");
|
|
|
86 }
|
|
|
87
|
|
|
88 void EnsureStringBufferSize(int size) {
|
|
|
89 if (size > m_stringBuffer.Length) {
|
|
|
90 var newBuffer = new char[size];
|
|
|
91 m_stringBuffer.CopyTo(newBuffer, 0);
|
|
|
92 m_stringBuffer = newBuffer;
|
|
|
93 }
|
|
|
94 }
|
|
|
95 }
|
|
|
96 }
|
