上一节:
下一节:

  Lucene - Token 类

  • 简述

    令牌表示文档中的文本或单词及其元数据（位置、开始偏移量、结束偏移量、令牌类型及其位置增量）等相关详细信息。

  • 类声明

    以下是声明 org.apache.lucene.analysis.Token 班级： 
    
public class Token
   extends TermAttributeImpl
      implements TypeAttribute, PositionIncrementAttribute, 
         FlagsAttribute, OffsetAttribute, 
         PayloadAttribute, PositionLengthAttribute

  • 字段

    以下是字段 org.apache.lucene.analysis.Token 类 -
    • static AttributeSource.AttributeFactory TOKEN_ATTRIBUTE_FACTORY - 便利工厂，返回 Token 作为基本属性的实现，并返回所有其他属性的默认 impl（附加“Impl”）。

  • 类构造函数

    下表显示了不同的类构造函数 -
    序号 构造函数和描述
    1
    Token()
    构造一个令牌将空文本。
    2
    Token(char[] startTermBuffer, int termBufferOffset, int termBufferLength, int start, int end)
    使用给定的术语缓冲区（偏移量和长度）、开始和结束偏移量构造一个令牌
    3
    Token(int start, int end)
    构造一个带有空文本和开始和结束偏移量的 Token。
    4
    Constructs a Token with null text and start & end offsets plus flags.
    5
    Constructs a Token with null text and start/ end offsets plus the Token type.
    6
    Token(String text, int start, int end)
    使用给定的术语文本和开始/结束偏移量构造一个 Token。
    7
    Token(String text, int start, int end, int flags)
    使用给定的文本、开始/结束偏移量和类型构造一个 Token。
    8
    Token(String text, int start, int end, String typ)
    使用给定的文本、开始/结束偏移量和类型构造一个 Token。

  • 类方法

    下表显示了不同的类方法 -
    序号 方法和说明
    1
    void clear()
    将术语 text、payload、flags 和 positionIncrement、startOffset、endOffset 和标记类型重置为默认值。
    2
    Object clone()
    这是一个浅克隆。
    3
    Token clone(char[] newTermBuffer, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset)
    进行克隆，但在过程中替换术语缓冲区和开始/结束偏移。
    4
    void copyTo(AttributeImpl target)
    将此属性的值复制到传入的目标属性中。
    5
    int endOffset()
    返回 Token 的结束偏移量；比源文本中与此标记相对应的最后一个字符的位置大一个。
    6
    boolean equals(Object obj)
    7
    int getFlags()
    获取已设置的任何位的位集。
    8
    Payload getPayload()
    返回此令牌的有效负载。
    9
    int getPositionIncrement()
    返回此 Token 的位置增量。
    10
    int getPositionLength()
    获取位置长度。
    11
    int hashCode()
    12
    void reflectWith(AttributeReflector reflector)
    此方法用于自省属性，它应该简单地将这个属性持有的键/值添加到给定的 AttributeReflector。
    13
    Token reinit(char[] newTermBuffer, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset)
    在 Token.DEFAULT_TYPE 上调用 clear(), CharTermAttributeImpl.copyBuffer(char[], int, int), setStartOffset(int), setEndOffset(int) setType(java.lang.String) 的简写
    14
    Token reinit(char[] newTermBuffer, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset, String newType)
    调用 clear(), CharTermAttributeImpl.copyBuffer(char[], int, int), setStartOffset(int), setEndOffset(int), setType(java.lang.String) 的简写
    15
    Token reinit(String newTerm, int newStartOffset, int newEndOffset)
    在 Token.DEFAULT_TYPE 上调用 clear()、CharTermAttributeImpl.append(CharSequence)、setStartOffset(int)、setEndOffset(int) setType(java.lang.String) 的简写
    16
    Token reinit(String newTerm, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset)
    在 Token.DEFAULT_TYPE 上调用 clear(), CharTermAttributeImpl.append(CharSequence, int, int), setStartOffset(int), setEndOffset(int) setType(java.lang.String) 的简写
    17
    Token reinit(String newTerm, int newTermOffset, int newTermLength, int newStartOffset, int newEndOffset, String newType)
    调用 clear(), CharTermAttributeImpl.append(CharSequence, int, int), setStartOffset(int), setEndOffset(int) setType(java.lang.String) 的简写
    18
    Token reinit(String newTerm, int newStartOffset, int newEndOffset, String newType)
    调用 clear(), CharTermAttributeImpl.append(CharSequence), setStartOffset(int), setEndOffset(int) setType(java.lang.String) 的简写
    19
    void reinit(Token prototype)
    将原型令牌的字段复制到这个字段中。
    20
    void reinit(Token prototype, char[] newTermBuffer, int offset, int length)
    使用不同的术语将原型令牌的字段复制到这个字段中。
    21
    void reinit(Token prototype, String newTerm)
    使用不同的术语将原型令牌的字段复制到这个字段中。
    22
    void setEndOffset(int offset)
    设置结束偏移。
    23
    void setFlags(int flags)
    24
    void setOffset(int startOffset, int endOffset)
    设置开始和结束偏移。
    25
    void setPayload(Payload payload)
    设置此令牌的有效负载。
    26
    void setPositionIncrement(int positionIncrement)
    设置位置增量。
    27
    void setPositionLength(int positionLength)
    设置位置长度。
    28
    void setStartOffset(int offset)
    设置起始偏移。
    29
    void setType(String type)
    设置词法类型。
    30
    int startOffset()
    返回此 Token 的起始偏移量，即源文本中与此标记对应的第一个字符的位置。
    31
    String type()
    返回此 Token 的词法类型。

  • 继承的方法

    这个类继承了以下类的方法 -
    • org.apache.lucene.analysis.tokenattributes.TermAttributeImpl
    • org.apache.lucene.analysis.tokenattributes.CharTermAttributeImpl
    • org.apache.lucene.util.AttributeImpl
    • java.lang.Object
上一节:
下一节: