Solr中有哪些Tokenizers

Tokenizer 负责将字段数据分解为词法单位或标记。

本节将介绍以下的 Tokenizer：

标准 Tokenizer
经典 Tokenizer
关键字 Tokenizer
信令 Tokenizer
小写 Tokenizer
N-gram Tokenizer
边缘 N-gram Tokenizer
ICU Tokenizer
路径层次 Tokenizer
正则表达式模式 Tokenizer
简化的正则表达式模式 Tokenizer
简化的正则表达式模式分割 Tokenizer
UAX29 URL 电子邮件 Tokenizer
白空间 Tokenizer

您可以在 schema.xml 中使用 <tokenizer> 元素（作为 <analyzer> 的子级）将文本字段类型的 tokenizer 配置：

<fieldType name="text" class="solr.TextField">
  <analyzer type="index">
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.StandardFilterFactory"/>
  </analyzer>
</fieldType>

类属性命名一个工厂类，它将在需要时实例化一个 tokenizer 对象。Tokenizer 工厂类实现 org.apache.solr.analysis.TokenizerFactory。TokenizerFactory 的create() 方法接受一个 Reader 并返回一个 TokenStream。当 Solr 创建 tokenizer 时，它传递一个 Reader 对象来提供文本字段的内容。

通过设置 <tokenizer> 元素的属性，可以将参数传递给 tokenizer 工厂。

<fieldType name="semicolonDelimited" class="solr.TextField">
  <analyzer type="query">
    <tokenizer class="solr.PatternTokenizerFactory" pattern="; "/>
  </analyzer>
</fieldType>

以下各节介绍此版本 Solr 中包含的 tokenizer 工厂类。

有关 Solr 的 tokenizers 的用户提示，请参阅：http://wiki.apache.org/solr/AnalyzersTokenizersTokenFilters。

标准 Tokenizer

该 tokenizer 将文本字段分割为标记，将空格和标点符号作为分隔符。分隔符字符被丢弃，但以下情况除外：

不后跟空格的句点 (点) 作为标记的一部分保留，包括因特网域名。
“@”字符是标记拆分标点符号集合，因此电子邮件地址不会保留为单个标记。

请注意，单词是以连字符分隔的。

标准分词器支持 Unicode 标准附件 UAX＃29 字边界，并且使用下列标记类型：<ALPHANUM>、<NUM>、<SOUTHEAST_ASIAN>、<IDEOGRAPHIC> 和<HIRAGANA>。

工厂类： solr.StandardTokenizerFactory

参数：

maxTokenLength：（整数，默认值为255）Solr 忽略超过由 maxTokenLength 指定的字符数的标记。

例如：

<analyzer>
  <tokenizer class="solr.StandardTokenizerFactory"/>
</analyzer>

输入： "Please, email john.doe@foo.com by 03-09, re: m37-xq."

输出： "Please", "email", "john.doe", "foo.com", "by", "03", "09", "re", "m37", "xq"

经典 Tokenizer

经典 Tokenizer 保留与 Solr 版本3.1和之前的标准 Tokenizer 相同的行为。它不使用标准 Tokenizer 使用的 Unicode 标准附录 UAX＃29 字边界规则。该 tokenizer将文本字段分割为标记，将空格和标点符号作为分隔符。分隔符字符被丢弃，但以下情况除外：

没有被空白的时间段（点）被保存为令牌的一部分。
除非在单词中有一个数字，否则单词将被拆分为连字符，在这种情况下，令牌不会被拆分，数字和连字符将被保留。
识别 Internet 域名和电子邮件地址, 并将其保留为单个标记。

工厂类： solr.ClassicTokenizerFactory

参数：

maxTokenLength：（整数，默认值为 255）Solr 忽略超过由 maxTokenLength 指定的字符数的标记。

例如：

<analyzer>
  <tokenizer class="solr.ClassicTokenizerFactory"/>
</analyzer>

输出："Please, email john.doe@foo.com by 03-09, re: m37-xq."

输入："Please", "email", "john.doe@foo.com", "by", "03-09", "re", "m37-xq"

关键字 Tokenizer

这个 tokenizer 将整个文本字段视为单个标记。

工厂类： solr.KeywordTokenizerFactory

参数：无

示例：

<analyzer>
  <tokenizer class="solr.KeywordTokenizerFactory"/>
</analyzer>

输入："Please, email john.doe@foo.com by 03-09, re: m37-xq."

输出： "Please, email john.doe@foo.com by 03-09, re: m37-xq."

信令 Tokenizer

该 tokenizer 从连续字母串创建标记，丢弃所有非字母字符。

工厂类： solr.LetterTokenizerFactory

参数：无

示例：

<analyzer>
  <tokenizer class="solr.LetterTokenizerFactory"/>
</analyzer>

输入： "I can’t."

输出："I", "can", "t"

小写 Tokenizer

通过以非字母分隔的方式标记输入流，然后将所有字母转换为小写。空白和非字母被丢弃。

工厂类： solr.LowerCaseTokenizerFactory

参数：无

示例：

<analyzer>
  <tokenizer class="solr.LowerCaseTokenizerFactory"/>
</analyzer>

输入： "I just *LOVE* my iPhone!"

输出： "i", "just", "love", "my", "iphone"

N-gram Tokenizer

读取字段文本并在给定范围内生成大小为 n-gram 的记号。

工厂类： solr.NGramTokenizerFactory

参数：

minGramSize：（整数，默认1）最小 n-gram 大小，必须> 0。

maxGramSize：（整数，默认2）最大 n-gram 大小，必须> = minGramSize。

示例：

默认行为。请注意，这个 tokenizer 操作整个领域。它不会在空格处破坏字段。因此，空格字符被包括在编码中。

<analyzer>
  <tokenizer class="solr.NGramTokenizerFactory"/>
</analyzer>

输入："hey man"

输出："h", "e", "y", " ", "m", "a", "n", "he", "ey", "y ", " m", "ma", "an"

示例：

n-gram 大小范围为4到5：

<analyzer>
  <tokenizer class="solr.NGramTokenizerFactory" minGramSize="4" maxGramSize="5"/>
</analyzer>

输入："bicycle"

输出："bicy", "bicyc", "icyc", "icycl", "cycl", "cycle", "ycle"

边缘 N-gram Tokenizer

读取字段文本并在给定范围内生成大小的边缘 n-gram 标记。

工厂类： solr.EdgeNGramTokenizerFactory

参数：

minGramSize：（整数，默认值为1）最小 n-gram 大小，必须> 0。

maxGramSize：（整数，默认值为1）最大 n-gram 大小，必须> = minGramSize。

side：（"front" 或 "back"，默认为"front"）是否从文本的开头 (front) 或从末尾 (back) 计算 n-gram。

示例：

默认行为（最小值和最大值默认为1）：

<analyzer>
  <tokenizer class="solr.EdgeNGramTokenizerFactory"/>
</analyzer>

输入： “babaloo”

输出： “b”

示例：

边缘 n-gram 范围为2到5

<analyzer>
  <tokenizer class="solr.EdgeNGramTokenizerFactory" minGramSize="2" maxGramSize="5"/>
</analyzer>

输入： “babaloo”

输出： “ba”，“bab”，“baba”，“babal”

示例：

边缘 n-gram 范围从2到5，从背面：

<analyzer>
  <tokenizer class="solr.EdgeNGramTokenizerFactory" minGramSize="2" maxGramSize="5" side="back"/>
</analyzer>

输入： “babaloo”

输出： “oo”，“loo”，“aloo”，“baloo”

ICU Tokenizer

这个 tokenizer 处理多语言文本，并根据其脚本属性对其进行标记。

您可以通过指定每个脚本规则文件来自定义此标记器的行为。要添加每个脚本规则，请添加一个 rulefiles 参数，该参数应包含以下格式的 code:rulefile 对的逗号分隔列表对象：四个字母的 ISO 15924 脚本代码，后跟一个冒号，然后是一个资源路径。例如，要指定 Latin（脚本代码 “Latn”）和 Cyrillic（脚本代码 “Cyrl”）的规则，您可以输入：Latn:my.Latin.rules.rbbi,Cyrl:my.Cyrillic.rules.rbbi。

solr.ICUTokenizerFactory 的默认配置提供了 UAX＃29 的分词规则标记（如 solr.StandardTokenizer），但也包括自定义定制为 Hebrew（专门处理双引号和单引号），为 Khmer，Lao 和 Myanmar 的音节标记，并对CJK字符进行基于字典的分词。

工厂类： solr.ICUTokenizerFactory

参数：

rulefile：以下格式的 code:rulefile 对的逗号分隔列表对象：四个字母的 ISO 15924 脚本代码，后跟一个冒号，然后是一个资源路径。

示例：

<analyzer>
  <!-- no customization -->
  <tokenizer class="solr.ICUTokenizerFactory"/>
</analyzer>

<analyzer>
  <tokenizer class="solr.ICUTokenizerFactory"
             rulefiles="Latn:my.Latin.rules.rbbi,Cyrl:my.Cyrillic.rules.rbbi"/>
</analyzer>

要使用此 tokenizer，您必须将其他 . jar 添加到 Solr 的类路径中 (如 SolrConfig 中的 Lib 指令中所述)。有关需要添加到您的 SOLR_HOME/lib 的 jar 的信息，请参见 solr/contrib/analysis-extras/README.txt。

路径层次 Tokenizer

这个 tokenizer 从文件路径层次结构中创建同义词。

工厂类： solr.PathHierarchyTokenizerFactory

参数：

delimiter：（字符，无默认值）您可以指定文件路径分隔符并将其替换为您提供的分隔符。这对于使用反斜线分隔符是非常有用的。

replace：（字符，无默认值）指定 Solr 在标记化输出中使用的分隔符。

示例：

<fieldType name="text_path" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <tokenizer class="solr.PathHierarchyTokenizerFactory" delimiter="\" replace="/"/>
  </analyzer>
</fieldType>

输入： “c：\ usr \ local \ apache”

输出： “c：”，“c：/ usr”，“c：/ usr / local”，“c：/ usr / local / apache”

正则表达式模式 Tokenizer

该 tokenizer 使用 Java 正则表达式将输入文本流分解为标记。由 pattern 参数提供的表达式可以被解释为分隔符，或者匹配应该从文本中提取的作为记号的模式。

有关 Java 正则表达式语法的更多信息，请参阅 Javadocsjava.util.regex.Pattern。

工厂类： solr.PatternTokenizerFactory

参数：

pattern：（必需的）正则表达式，如 java.util.regex.Pattern 中所定义。

group：（可选，默认为-1）指定要将哪个正则表达式组提取为标记。值-1意味着正则表达式应被视为分隔符的分隔符。非负数组（> = 0）表示匹配该正则表达式组的字符序列应转换为令牌。组0指整个正则表达式，大于零的组引用正则表达式的带括号的子表达式，从左到右计数。

示例：

用逗号分隔的列表。令牌由一系列零个或多个空格，一个逗号和零个或多个空格分隔。

<analyzer>
  <tokenizer class="solr.PatternTokenizerFactory" pattern="\s*,\s*"/>
</analyzer>

输入："fee,fie, foe , fum, foo"

输出："fee", "fie", "foe", "fum", "foo"

示例：

提取简单的大写单词。至少一个大写字母后跟零个或多个字母的序列被提取为一个标记。

<analyzer>
  <tokenizer class="solr.PatternTokenizerFactory" pattern="[A-Z][A-Za-z]*" group="0"/>
</analyzer>

输入： "Hello. My name is Inigo Montoya. You killed my father. Prepare to die."

输出："Hello", "My", "Inigo", "Montoya", "You", "Prepare"

示例：

使用可选的分号分隔符提取以 “SKU”、“Part”或 “Part Number” 开头的零件号码，区分大小写。部件号必须是全部数字，并带有可选的连字符。正则表达式捕获组通过从左到右计算左括号进行编号。组3是子表达式“[0-9 - ] +”，它匹配一个或多个数字或连字符。

<analyzer>
  <tokenizer class="solr.PatternTokenizerFactory" pattern="(SKU|Part(\sNumber)?):?\s(\[0-9-\]+)" group="3"/>
</analyzer>

输入： "SKU: 1234, Part Number 5678, Part: 126-987"

输出： "1234", "5678", "126-987"

简化的正则表达式模式 Tokenizer

这个 tokenizer 类似于上面描述的 PatternTokenizerFactory，但是使用 Lucene RegExp 模式匹配为输入流构造不同的标记。语法比 PatternTokenizerFactory 限制更多，但是标记化速度要快得多。

工厂类： solr.SimplePatternTokenizerFactory

参数：

pattern：（必需）在 RegExpjavadoc 中定义的正则表达式，标识要包含在标记中的字符。这个匹配是贪婪的，这样就可以创建一个给定点上最长的令牌匹配。空令牌永远不会被创建。

maxDeterminizedStates：（可选，默认为10000）由 regexp 计算的确定自动机的总状态计数限制。

示例：

匹配由简单的空格字符分隔的令牌：

<analyzer>
  <tokenizer class="solr.SimplePatternTokenizerFactory" pattern="[^ \t\r\n]+"/>
</analyzer>

简化的正则表达式模式分割 Tokenizer

这个 tokenizer 类似于上面描述的 SimplePatternTokenizerFactory，但是使用 Lucene RegExp 模式匹配来标识应该用于分割标记的字符序列。语法比 PatternTokenizerFactory 限制更多，但是标记化速度要快得多。

工厂类： solr.SimplePatternSplitTokenizerFactory

参数：

pattern：（必需）在 RegExpjavadocs 中定义的正则表达式，标识应该分割记号的字符。该匹配是贪婪的，使得在给定点匹配最长的令牌分隔符匹配。空令牌永远不会被创建。

maxDeterminizedStates：（可选，默认为10000）由 regexp 计算的确定自动机的总状态计数限制。

示例：

匹配由简单的空格字符分隔的令牌：

<analyzer>
  <tokenizer class="solr.SimplePatternSplitTokenizerFactory" pattern="[ \t\r\n]+"/>
</analyzer>

UAX29 URL 电子邮件 Tokenizer

该 tokenizer 将文本字段分割为标记，将空格和标点符号作为分隔符。分隔符字符被丢弃，但以下情况除外：

未后跟空格的句点 (点) 作为标记的一部分保留。
除非在单词中有一个数字，否则单词将被拆分为连字符，在这种情况下，令牌不会被拆分，数字和连字符将被保留。
识别并保留为单个标记如下：包含顶级域名的互联网域名在生成分词器时根据 IANA 根区数据库中的白名单进行验证电子邮件地址：file://、http(s):// 和 ftp:// URLs，IPv4 和 IPv6 地址

该 UAX29 URL 的电子邮件标记生成器支持 Unicode 标准附件 UAX#29 字边界与以下标记类型：<ALPHANUM>、<NUM>、<URL>、<EMAIL>、<SOUTHEAST_ASIAN>、<IDEOGRAPHIC> 和 <HIRAGANA>。

工厂类： solr.UAX29URLEmailTokenizerFactory

参数：

maxTokenLength：（整数，默认值为255）Solr 忽略超过由 maxTokenLength 指定的字符数的标记。

示例：

<analyzer>
  <tokenizer class="solr.UAX29URLEmailTokenizerFactory"/>
</analyzer>

输入："Visit http://accarol.com/contact.htm?from=external&a=10 or e-mail bob.cratchet@accarol.com"

输出： "Visit", "http://accarol.com/contact.htm?from=external&a=10", "or", "e", "mail", "bob.cratchet@accarol.com"

白空间 Tokenizer

简单的 tokenizer，将文本流分割成空白字符，并返回非空白字符序列作为标记。请注意，标记中将包含任何标点符号。

工厂类： solr.WhitespaceTokenizerFactory

参数：： rule 指定如何为标记化目的定义空白。有效值如下：

java：（默认）使用 Character.isWhitespace（int）
unicode：使用 Unicode 的 WHITESPACE 属性

示例：

<analyzer>
  <tokenizer class="solr.WhitespaceTokenizerFactory" rule="java" />
</analyzer>

输入："To be, or what?"

输出："To", "be,", "or", "what?"

w3cschool 编程狮，随时随地学编程

Solr中有哪些Tokenizers

标准 Tokenizer

经典 Tokenizer

关键字 Tokenizer

信令 Tokenizer

小写 Tokenizer

N-gram Tokenizer

边缘 N-gram Tokenizer

ICU Tokenizer

路径层次 Tokenizer

正则表达式模式 Tokenizer

简化的正则表达式模式 Tokenizer

简化的正则表达式模式分割 Tokenizer

UAX29 URL 电子邮件 Tokenizer

白空间 Tokenizer

Solr入门

Solr版本升级说明

升级Solr集群

Solr控制脚本参考

使用Solr管理用户界面

Solr特定于集合的工具

Solr核心专用工具

Solr文档、字段和模式设计

Solr字段类型

Solr的架构API

Solr分析器、标记器和过滤器

Solr索引和基本数据操作

Solr使用索引处理程序上传数据

Solr如何处理搜索请求

Solr查询语法和解析

Solr函数查询的使用

Solr分面搜索（Faceting）及其参数介绍

如何对Solr查询进行重新排序

Solr如何使用并行SQL接口

具有良好配置的Solr实例

Solr：配置solrconfig.xml文件

Solr核心和solr.xml

Solr配置API

Solr插件

管理Solr

保护Solr

Solr身份验证和授权插件

SolrCloud

SolrCloud的工作原理

SolrCloud韧性

SolrCloud配置和参数

使用SolrCloud的Collections API

跨数据中心复制（CDCR）

SolrCloud Autoscaling（自动缩放）

Solr遗留的缩放和分发

Solr索引复制

Solr客户端API

Solr快速教程

如何使用AsciiDoc