|
162
|
1 using Implab;
|
|
|
2 using System;
|
|
|
3 using System.Collections.Generic;
|
|
|
4 using System.IO;
|
|
|
5 using Implab.Components;
|
|
|
6
|
|
|
7 namespace Implab.Automaton {
|
|
|
8 /// <summary>
|
|
|
9 /// Базовый класс для разбора потока входных символов на токены.
|
|
|
10 /// </summary>
|
|
|
11 /// <remarks>
|
|
|
12 /// Сканнер имеет внутри буффер с симолами входного текста, по которому перемещаются два
|
|
|
13 /// указателя, начала и конца токена, при перемещении искользуется ДКА для определения
|
|
|
14 /// конца токена и допустимости текущего символа.
|
|
|
15 /// </remarks>
|
|
|
16 public abstract class Scanner<TTag> : Disposable {
|
|
|
17 struct ScannerConfig {
|
|
|
18 public DFAStateDescriptior<TTag>[] states;
|
|
|
19 public int[] alphabetMap;
|
|
164
|
20 public int initialState;
|
|
162
|
21 }
|
|
|
22
|
|
|
23 Stack<ScannerConfig> m_defs = new Stack<ScannerConfig>();
|
|
|
24
|
|
|
25 DFAStateDescriptior<TTag>[] m_states;
|
|
|
26 int[] m_alphabetMap;
|
|
164
|
27 int m_initialState;
|
|
162
|
28
|
|
|
29 protected DFAStateDescriptior<TTag> m_currentState;
|
|
|
30 int m_previewCode;
|
|
|
31
|
|
165
|
32 protected int m_tokenLen;
|
|
162
|
33 protected int m_tokenOffset;
|
|
|
34
|
|
|
35 protected char[] m_buffer;
|
|
|
36 protected int m_bufferSize;
|
|
|
37 protected int m_pointer;
|
|
|
38
|
|
|
39 TextReader m_reader;
|
|
|
40 bool m_disposeReader;
|
|
|
41 int m_chunkSize = 1024; // 1k
|
|
|
42 int m_limit = 10 * 1024 * 1024; // 10Mb
|
|
|
43
|
|
164
|
44 protected Scanner(DFAStateDescriptior<TTag>[] states, int[] alphabet, int initialState) {
|
|
162
|
45 Safe.ArgumentNotEmpty(states, "states");
|
|
|
46 Safe.ArgumentNotNull(alphabet, "alphabet");
|
|
|
47
|
|
|
48 m_states = states;
|
|
|
49 m_alphabetMap = alphabet;
|
|
164
|
50 m_initialState = initialState;
|
|
162
|
51
|
|
|
52 Feed(new char[0]);
|
|
|
53 }
|
|
|
54
|
|
|
55 /// <summary>
|
|
|
56 /// Заполняет входными данными буффер.
|
|
|
57 /// </summary>
|
|
|
58 /// <param name="data">Данные для обработки.</param>
|
|
|
59 /// <remarks>Копирование данных не происходит, переданный массив используется в
|
|
|
60 /// качестве входного буффера.</remarks>
|
|
|
61 public void Feed(char[] data) {
|
|
|
62 Safe.ArgumentNotNull(data, "data");
|
|
|
63
|
|
|
64 Feed(data, data.Length);
|
|
|
65 }
|
|
|
66
|
|
|
67 /// <summary>
|
|
|
68 /// Заполняет буффур чтения входными данными.
|
|
|
69 /// </summary>
|
|
|
70 /// <param name="data">Данные для обработки.</param>
|
|
|
71 /// <param name="length">Длина данных для обработки.</param>
|
|
|
72 /// <remarks>Копирование данных не происходит, переданный массив используется в
|
|
|
73 /// качестве входного буффера.</remarks>
|
|
|
74 public void Feed(char[] data, int length) {
|
|
|
75 Safe.ArgumentNotNull(data, "data");
|
|
|
76 Safe.ArgumentInRange(length, 0, data.Length, "length");
|
|
|
77 AssertNotDisposed();
|
|
|
78
|
|
|
79 m_pointer = -1;
|
|
|
80 m_buffer = data;
|
|
|
81 m_bufferSize = length;
|
|
|
82 Shift();
|
|
|
83 }
|
|
|
84
|
|
|
85 public void Feed(TextReader reader, bool dispose) {
|
|
|
86 Safe.ArgumentNotNull(reader, "reader");
|
|
|
87 AssertNotDisposed();
|
|
|
88
|
|
|
89 if (m_reader != null && m_disposeReader)
|
|
|
90 m_reader.Dispose();
|
|
|
91
|
|
|
92 m_reader = reader;
|
|
|
93 m_disposeReader = dispose;
|
|
|
94 m_pointer = -1;
|
|
|
95 m_buffer = new char[m_chunkSize];
|
|
|
96 m_bufferSize = 0;
|
|
|
97 Shift();
|
|
|
98 }
|
|
|
99
|
|
|
100 /// <summary>
|
|
|
101 /// Получает текущий токен в виде строки.
|
|
|
102 /// </summary>
|
|
|
103 /// <returns></returns>
|
|
|
104 protected string GetTokenValue() {
|
|
|
105 return new String(m_buffer, m_tokenOffset, m_tokenLen);
|
|
|
106 }
|
|
|
107
|
|
|
108 /// <summary>
|
|
|
109 /// Метки текущего токена, которые были назначены в регулярном выражении.
|
|
|
110 /// </summary>
|
|
|
111 protected TTag[] TokenTags {
|
|
|
112 get {
|
|
|
113 return m_currentState.tag;
|
|
|
114 }
|
|
|
115 }
|
|
|
116
|
|
|
117 /// <summary>
|
|
|
118 /// Признак конца данных
|
|
|
119 /// </summary>
|
|
|
120 public bool EOF {
|
|
|
121 get {
|
|
|
122 return m_pointer >= m_bufferSize;
|
|
|
123 }
|
|
|
124 }
|
|
|
125
|
|
|
126 /// <summary>
|
|
|
127 /// Читает следующий токен, при этом <see cref="m_tokenOffset"/> указывает на начало токена,
|
|
|
128 /// <see cref="m_tokenLen"/> на длину токена, <see cref="m_buffer"/> - массив символов, в
|
|
|
129 /// котором находится токен.
|
|
|
130 /// </summary>
|
|
|
131 /// <returns><c>false</c> - достигнут конец данных, токен не прочитан.</returns>
|
|
|
132 protected bool ReadTokenInternal() {
|
|
|
133 if (m_pointer >= m_bufferSize)
|
|
|
134 return false;
|
|
|
135
|
|
164
|
136 m_currentState = m_states[m_initialState];
|
|
162
|
137 m_tokenLen = 0;
|
|
|
138 m_tokenOffset = m_pointer;
|
|
|
139 int nextState;
|
|
|
140 do {
|
|
|
141 nextState = m_currentState.transitions[m_previewCode];
|
|
|
142 if (nextState == DFAConst.UNREACHABLE_STATE) {
|
|
|
143 if (m_currentState.final)
|
|
|
144 return true;
|
|
165
|
145
|
|
|
146 throw new ParserException(
|
|
|
147 String.Format(
|
|
|
148 "Unexpected symbol '{0}', at pos {1}",
|
|
|
149 m_buffer[m_pointer],
|
|
|
150 Position
|
|
|
151 )
|
|
|
152 );
|
|
162
|
153 }
|
|
165
|
154 m_currentState = m_states[nextState];
|
|
|
155 m_tokenLen++;
|
|
162
|
156
|
|
|
157 } while (Shift());
|
|
|
158
|
|
|
159 // END OF DATA
|
|
|
160 if (!m_currentState.final)
|
|
|
161 throw new ParserException("Unexpected end of data");
|
|
|
162
|
|
|
163 return true;
|
|
|
164 }
|
|
|
165
|
|
|
166
|
|
|
167 bool Shift() {
|
|
|
168 m_pointer++;
|
|
|
169
|
|
|
170 if (m_pointer >= m_bufferSize) {
|
|
|
171 if (!ReadNextChunk())
|
|
|
172 return false;
|
|
|
173 }
|
|
|
174
|
|
|
175 m_previewCode = m_alphabetMap[m_buffer[m_pointer]];
|
|
|
176
|
|
|
177 return true;
|
|
|
178 }
|
|
|
179
|
|
|
180 bool ReadNextChunk() {
|
|
|
181 if (m_reader == null)
|
|
|
182 return false;
|
|
|
183
|
|
|
184 // extend buffer if nesessary
|
|
|
185 if (m_pointer + m_chunkSize > m_buffer.Length) {
|
|
|
186 // trim unused buffer head
|
|
|
187 var size = m_tokenLen + m_chunkSize;
|
|
|
188 if (size >= m_limit)
|
|
|
189 throw new ParserException(String.Format("Input buffer {0} bytes limit exceeded", m_limit));
|
|
|
190 var temp = new char[size];
|
|
|
191 Array.Copy(m_buffer, m_tokenOffset, temp, 0, m_tokenLen);
|
|
|
192 m_pointer -= m_tokenOffset;
|
|
|
193 m_bufferSize -= m_tokenOffset;
|
|
|
194 m_tokenOffset = 0;
|
|
|
195 m_buffer = temp;
|
|
|
196 }
|
|
|
197
|
|
|
198 var read = m_reader.Read(m_buffer, m_tokenLen, m_chunkSize);
|
|
|
199 if (read == 0)
|
|
|
200 return false;
|
|
|
201
|
|
|
202 m_bufferSize += read;
|
|
|
203
|
|
|
204 return true;
|
|
|
205 }
|
|
|
206
|
|
|
207 /// <summary>
|
|
|
208 /// Позиция сканнера во входном буфере
|
|
|
209 /// </summary>
|
|
|
210 public int Position {
|
|
|
211 get {
|
|
|
212 return m_pointer + 1;
|
|
|
213 }
|
|
|
214 }
|
|
|
215
|
|
|
216 /// <summary>
|
|
|
217 /// Преключает внутренний ДКА на указанный, позволяет реализовать подобие захватывающей
|
|
|
218 /// группировки.
|
|
|
219 /// </summary>
|
|
|
220 /// <param name="states">Таблица состояний нового ДКА</param>
|
|
|
221 /// <param name="alphabet">Таблица входных символов для нового ДКА</param>
|
|
165
|
222 /// <param name = "initialState"></param>
|
|
164
|
223 protected void Switch(DFAStateDescriptior<TTag>[] states, int[] alphabet, int initialState) {
|
|
162
|
224 Safe.ArgumentNotNull(states, "dfa");
|
|
|
225
|
|
|
226 m_defs.Push(new ScannerConfig {
|
|
|
227 states = m_states,
|
|
164
|
228 alphabetMap = m_alphabetMap,
|
|
|
229 initialState = m_initialState
|
|
162
|
230 });
|
|
|
231
|
|
|
232 m_states = states;
|
|
|
233 m_alphabetMap = alphabet;
|
|
164
|
234 m_initialState = initialState;
|
|
162
|
235
|
|
|
236 m_previewCode = m_alphabetMap[m_buffer[m_pointer]];
|
|
|
237 }
|
|
|
238
|
|
|
239 /// <summary>
|
|
|
240 /// Восстанавливает предыдущей ДКА сканнера.
|
|
|
241 /// </summary>
|
|
|
242 protected void Restore() {
|
|
|
243 if (m_defs.Count == 0)
|
|
|
244 throw new InvalidOperationException();
|
|
|
245 var prev = m_defs.Pop();
|
|
|
246 m_states = prev.states;
|
|
|
247 m_alphabetMap = prev.alphabetMap;
|
|
164
|
248 m_initialState = prev.initialState;
|
|
162
|
249 m_previewCode = m_alphabetMap[m_buffer[m_pointer]];
|
|
|
250 }
|
|
|
251
|
|
|
252 protected override void Dispose(bool disposing) {
|
|
|
253 if (disposing) {
|
|
|
254 if (m_reader != null && m_disposeReader)
|
|
|
255 m_reader.Dispose();
|
|
|
256 m_buffer = null;
|
|
|
257 m_bufferSize = 0;
|
|
|
258 m_pointer = 0;
|
|
|
259 m_tokenLen = 0;
|
|
|
260 m_tokenOffset = 0;
|
|
|
261 }
|
|
|
262 base.Dispose(disposing);
|
|
|
263 }
|
|
|
264 }
|
|
|
265 }
|
