-
Notifications
You must be signed in to change notification settings - Fork 31
T_Cyjb_Compilers_Lexers_LexerTokenizer_1
CYJB edited this page Mar 23, 2024
·
3 revisions
表示词法分析器。
System.Object
Cyjb.Compilers.Lexers.LexerTokenizer(T)
Namespace: Cyjb.Compilers.Lexers
Assembly: Cyjb.Compilers.Runtime (in Cyjb.Compilers.Runtime.dll) Version: 1.0.20+d347ea0351607fb282fdf60a5301f9cccb3ab27e
C#
public sealed class LexerTokenizer<T> : ITokenizer<T>,
IDisposable, IEnumerable<Token<T>>, IEnumerable
where T : struct, new()
- T
- 词法单元标识符的类型，一般是一个枚举类型。
| 名称 | 说明 | |
|---|---|---|
 |
SharedContext | 获取或设置共享的上下文对象。 |
|
Status | 获取词法分析器的解析状态。 |
| 名称 | 说明 | |
|---|---|---|
 |
Cancel | 取消后续词法分析。 |
|
Dispose | 执行与释放或重置非托管资源相关的应用程序定义的任务。 |
|
Equals | Determines whether the specified object is equal to the current object. (继承自 Object。) |
|
GetEnumerator | 返回一个循环访问集合的枚举器。 |
|
GetHashCode | Serves as the default hash function. (继承自 Object。) |
|
GetType | Gets the Type of the current instance. (继承自 Object。) |
|
Load(SourceReader) | 加载指定的源读取器。 |
|
Load(String) | 加载指定的源码。 |
|
Load(StringView) | 加载指定的源码。 |
|
Read | 读取输入流中的下一个词法单元并提升输入流的字符位置。 |
|
Reset | 重置词法分析的状态，允许在结束/取消后继续进行分析。 |
|
ToString | Returns a string that represents the current object. (继承自 Object。) |
| 名称 | 说明 | |
|---|---|---|
 |
TokenizeError | 词法分析错误的事件。 |
-
CYJB 编译类库
- Cyjb.Compilers 命名空间
-
Cyjb.Compilers.Lexers 命名空间
- CharClass 类
- CharClassMap 类
- CharClassSet 类
- ContextData 类
- Dfa 类
- DfaData 类
- DfaState 类
- DfaStateData 类
- ILexerFactory(T) 接口
- ITerminalBuilder(T, TController) 接口
- Lexer(T) 类
-
Lexer(T, TController) 类
- Lexer(T, TController) 构造函数
- Lexer(T, TController) 属性
-
Lexer(T, TController) 方法
- Lexer(T, TController).DefineContext 方法
- Lexer(T, TController).DefineInclusiveContext 方法
- Lexer(T, TController).DefineRegex 方法
- Lexer(T, TController).DefineSymbol 方法
- Lexer(T, TController).GetCharClassDescription 方法
- Lexer(T, TController).GetData 方法
- Lexer(T, TController).GetFactory 方法
- Lexer(T, TController).GetStateDescription 方法
-
LexerController(T) 类
- LexerController(T) 构造函数
-
LexerController(T) 属性
- LexerController(T).ActionHandler 属性
- LexerController(T).Candidates 属性
- LexerController(T).Context 属性
- LexerController(T).InitialContext 属性
- LexerController(T).Kind 属性
- LexerController(T).SharedContext 属性
- LexerController(T).Source 属性
- LexerController(T).Span 属性
- LexerController(T).Start 属性
- LexerController(T).Text 属性
- LexerController(T).Value 属性
-
LexerController(T) 方法
- LexerController(T).Accept 方法
- LexerController(T).BeginContext 方法
- LexerController(T).CreateToken 方法
- LexerController(T).CreateTokenizeError 方法
- LexerController(T).Dispose 方法
- LexerController(T).EnterContext 方法
- LexerController(T).ExitContext 方法
- LexerController(T).More 方法
- LexerController(T).PopContext 方法
- LexerController(T).PushContext 方法
- LexerController(T).Reject 方法
- LexerController(T).SourceLoaded 方法
- LexerData(T) 类
- LexerFactory(T) 类
- LexerFactory(T, TController) 类
- LexerRunner(T) 类
- LexerTokenizer(T) 类
- Nfa 类
- NfaBuildResult 结构
- NfaState 类
- NfaStateType 枚举
- RejectOptions 枚举
- TerminalData(T) 类
- TrailingType 枚举
-
Cyjb.Compilers.Parsers 命名空间
- AssociativeType 枚举
- IParserFactory(T) 接口
- LRParser(T) 类
- ParseOptions 枚举
- Parser(T) 类
- Parser(T, TController) 类
- ParserAction 结构
- ParserActionType 枚举
-
ParserController(T) 类
- ParserController(T) 构造函数
- ParserController(T) 属性
-
ParserController(T) 方法
- ParserController(T).ConsumeTokens 方法
- ParserController(T).Dispose 方法
- ParserController(T).EmitParseError 方法
- ParserController(T).FilterTokens 方法
- ParserController(T).GetEnumerator 方法
- ParserController(T).GetItemAt 方法
- ParserController(T).GetNextState 方法
- ParserController(T).IndexOf 方法
- ParserController(T).PanicRecover 方法
- ParserController(T).Peek 方法
- ParserController(T).Read 方法
- ParserController(T).SyncState 方法
- ParserController(T).TokenizerLoaded 方法
- ParserController(T).TryRecover 方法
- ParserData 类
- ParserData(T) 类
- ParserFactory(T) 类
- ParserFactory(T, TController) 类
- ParserStateData(T) 类
- ProductionAction 类
- ProductionBuilder(T, TController) 类
- ProductionData(T) 类
- SymbolOptions 枚举
-
Cyjb.Compilers.RegularExpressions 命名空间
- AlternationExp 类
- AnchorExp 类
- CharClassExp 类
- ConcatenationExp 类
- EndOfFileExp 类
-
LexRegex 类
- LexRegex 构造函数
- LexRegex 属性
-
LexRegex 方法
- LexRegex.Alternate 方法
- LexRegex.AnyChar 方法
- LexRegex.BeginningOfLine 方法
- LexRegex.CheckRegex 方法
- LexRegex.Concat 方法
- LexRegex.EndOfLine 方法
- LexRegex.Equals 方法
- LexRegex.GetHashCode 方法
- LexRegex.Literal 方法
- LexRegex.LiteralIgnoreCase 方法
- LexRegex.Optional 方法
- LexRegex.Parse 方法
- LexRegex.Positive 方法
- LexRegex.Repeat 方法
- LexRegex.RepeatMaxTimes 方法
- LexRegex.RepeatMinTimes 方法
- LexRegex.Star 方法
- LexRegex.Symbol 方法
- LexRegex.SymbolIgnoreCase 方法
- LexRegex.ToString 方法
- LexRegex.Trailing 方法
- LexRegex 运算符
- LexRegex 字段
- LiteralExp 类
- QuantifierExp 类
- RegexCharClass 类
-
Cyjb.Text 命名空间
- EnumerableTokenizer(T) 类
- ITokenizer(T) 接口
- ITokenParser(T) 接口
- MissingTokenError(T) 类
- ParserNode(T) 类
- ParseStatus 枚举
- SourceMark 类
-
SourceReader 类
- SourceReader 构造函数
- SourceReader 属性
-
SourceReader 方法
- SourceReader.Accept 方法
- SourceReader.AcceptToken(T) 方法
- SourceReader.Close 方法
- SourceReader.Dispose 方法
- SourceReader.Drop 方法
- SourceReader.GetLinePositionSpan 方法
- SourceReader.GetPosition 方法
- SourceReader.GetReadedText 方法
- SourceReader.Mark 方法
- SourceReader.Peek 方法
- SourceReader.Read 方法
- SourceReader.ReadBlock 方法
- SourceReader.Release 方法
- SourceReader.Unget 方法
- SourceReader.UseLineLocator 方法
- SourceReader 字段
- Token(T) 类
- TokenCollection(T) 类
- TokenDisplayNameAttribute 类
- TokenizeError 类
- TokenizeErrorHandler(T) 委托
- TokenParseError 类
- TokenParseErrorHandler(T) 委托
- UnexpectedTokenError(T) 类