Mercurial > pub > ImplabNet
view Implab/Formats/JSON/JSONParser.cs @ 165:e227e78d72e4 ref20160224
DFA refactoring
author | cin |
---|---|
date | Mon, 29 Feb 2016 02:02:17 +0300 |
parents | 419aa51b04fd |
children | 92d5278d1b10 |
line wrap: on
line source
using System; using System.Diagnostics; using System.IO; using Implab.Automaton; using Implab.Automaton.RegularExpressions; using System.Linq; using Implab.Components; namespace Implab.Formats.JSON { /// <summary> /// internal /// </summary> public struct JSONParserContext { public string memberName; public JSONElementContext elementContext; } /// <summary> /// Pull парсер JSON данных. /// </summary> /// <remarks> /// Следует отметить отдельную интерпретацию свойства <see cref="Level"/>, /// оно означает текущий уровень вложенности объектов, однако закрывающий /// элемент объекта и массива имеет уровень меньше, чем сам объект. /// <code> /// { // Level = 1 /// "name" : "Peter", // Level = 1 /// "address" : { // Level = 2 /// city : "Stern" // Level = 2 /// } // Level = 1 /// } // Level = 0 /// </code> /// </remarks> public class JSONParser : Disposable { enum MemberContext { MemberName, MemberValue } struct ParserContext { DFAStateDescriptior<object> } static readonly EnumAlphabet<JsonTokenType> _alphabet = EnumAlphabet<JsonTokenType>.FullAlphabet; static readonly DFAStateDescriptior<object>[] _jsonDFA; static readonly int _jsonDFAInitialState; static readonly DFAStateDescriptior<object>[] _objectDFA; static readonly int _objectDFAInitialState; static readonly DFAStateDescriptior<object>[] _arrayDFA; static readonly int _arrayDFAInitialState; static JSONParser() { var valueExpression = Token(JsonTokenType.BeginArray, JsonTokenType.BeginObject, JsonTokenType.Literal, JsonTokenType.Number, JsonTokenType.String); var memberExpression = Token(JsonTokenType.String).Cat(Token(JsonTokenType.NameSeparator)).Cat(valueExpression); var objectExpression = memberExpression .Cat( Token(JsonTokenType.ValueSeparator) .Cat(memberExpression) .EClosure() ) .Optional() .Cat(Token(JsonTokenType.EndObject)) .Tag(null); var arrayExpression = valueExpression .Cat( Token(JsonTokenType.ValueSeparator) .Cat(valueExpression) .EClosure() ) .Optional() .Cat(Token(JsonTokenType.EndArray)) .Tag(null); var jsonExpression = valueExpression.Tag(null); _jsonDFA = CreateDFA(jsonExpression).GetTransitionTable(); _objectDFA = CreateDFA(objectExpression).GetTransitionTable(); _arrayDFA = CreateDFA(arrayExpression).GetTransitionTable(); } static Token<object> Token(params JsonTokenType[] input) { return Token<object>.New(input.Select(t => _alphabet.Translate(t)).ToArray()); } static RegularDFADefinition<JsonTokenType,object> CreateDFA(Token<object> expr) { var builder = new RegularDFABuilder<object>(); var dfa = new RegularDFADefinition<JsonTokenType,object>(_alphabet); expr.Accept(builder); builder.BuildDFA(dfa); return dfa; } JSONScanner m_scanner; MemberContext m_memberContext; JSONElementType m_elementType; object m_elementValue; /// <summary> /// Создает новый парсер на основе строки, содержащей JSON /// </summary> /// <param name="text"></param> public JSONParser(string text) : base(_jsonDFA, INITIAL_STATE, new JSONParserContext { elementContext = JSONElementContext.None, memberName = String.Empty }) { Safe.ArgumentNotEmpty(text, "text"); m_scanner = new JSONScanner(); m_scanner.Feed(text.ToCharArray()); } /// <summary> /// Создает новый экземпляр парсера, на основе текстового потока. /// </summary> /// <param name="reader">Текстовый поток.</param> /// <param name="dispose">Признак того, что парсер должен конролировать время жизни входного потока.</param> public JSONParser(TextReader reader, bool dispose) : base(_jsonDFA, INITIAL_STATE, new JSONParserContext { elementContext = JSONElementContext.None, memberName = String.Empty }) { Safe.ArgumentNotNull(reader, "reader"); m_scanner = new JSONScanner(); m_scanner.Feed(reader, dispose); } /// <summary> /// Тип текущего элемента на котором стоит парсер. /// </summary> public JSONElementType ElementType { get { return m_elementType; } } /// <summary> /// Имя элемента - имя свойства родительского контейнера. Для элементов массивов и корневого всегда /// пустая строка. /// </summary> public string ElementName { get { return m_context.info.memberName; } } /// <summary> /// Значение элемента. Только для элементов типа <see cref="JSONElementType.Value"/>, для остальных <c>null</c> /// </summary> public object ElementValue { get { return m_elementValue; } } /// <summary> /// Читает слеюудущий объект из потока /// </summary> /// <returns><c>true</c> - операция чтения прошла успешно, <c>false</c> - конец данных</returns> public bool Read() { if (m_context.current == UNREACHEBLE_STATE) throw new InvalidOperationException("The parser is in invalid state"); object tokenValue; JsonTokenType tokenType; m_context.info.memberName = String.Empty; while (m_scanner.ReadToken(out tokenValue, out tokenType)) { Move((int)tokenType); if (m_context.current == UNREACHEBLE_STATE) UnexpectedToken(tokenValue, tokenType); switch (tokenType) { case JsonTokenType.BeginObject: Switch( _objectDFA, INITIAL_STATE, new JSONParserContext { memberName = m_context.info.memberName, elementContext = JSONElementContext.Object } ); m_elementValue = null; m_memberContext = MemberContext.MemberName; m_elementType = JSONElementType.BeginObject; return true; case JsonTokenType.EndObject: Restore(); m_elementValue = null; m_elementType = JSONElementType.EndObject; return true; case JsonTokenType.BeginArray: Switch( _arrayDFA, INITIAL_STATE, new JSONParserContext { memberName = m_context.info.memberName, elementContext = JSONElementContext.Array } ); m_elementValue = null; m_memberContext = MemberContext.MemberValue; m_elementType = JSONElementType.BeginArray; return true; case JsonTokenType.EndArray: Restore(); m_elementValue = null; m_elementType = JSONElementType.EndArray; return true; case JsonTokenType.String: if (m_memberContext == MemberContext.MemberName) { m_context.info.memberName = (string)tokenValue; break; } m_elementType = JSONElementType.Value; m_elementValue = tokenValue; return true; case JsonTokenType.Number: m_elementType = JSONElementType.Value; m_elementValue = tokenValue; return true; case JsonTokenType.Literal: m_elementType = JSONElementType.Value; m_elementValue = ParseLiteral((string)tokenValue); return true; case JsonTokenType.NameSeparator: m_memberContext = MemberContext.MemberValue; break; case JsonTokenType.ValueSeparator: m_memberContext = m_context.info.elementContext == JSONElementContext.Object ? MemberContext.MemberName : MemberContext.MemberValue; break; default: UnexpectedToken(tokenValue, tokenType); break; } } if (m_context.info.elementContext != JSONElementContext.None) throw new ParserException("Unexpedted end of data"); return false; } object ParseLiteral(string literal) { switch (literal) { case "null": return null; case "false": return false; case "true": return true; default: UnexpectedToken(literal, JsonTokenType.Literal); return null; // avoid compliler error } } void UnexpectedToken(object value, JsonTokenType tokenType) { throw new ParserException(String.Format("Unexpected token {0}: '{1}'", tokenType, value)); } /// <summary> /// Признак конца потока /// </summary> public bool EOF { get { return m_scanner.EOF; } } protected override void Dispose(bool disposing) { if (disposing) { m_scanner.Dispose(); } } /// <summary> /// Переходит в конец текущего объекта. /// </summary> public void SeekElementEnd() { var level = Level - 1; Debug.Assert(level >= 0); while (Level != level) Read(); } } }