请问opengauss6.0.5企业版,是否集成有Jieba分词器?如果没有,如何安装Jieba分词器分词器。
多谢各位知道的朋友指点。
请问opengauss6.0.5企业版,是否集成有Jieba分词器?如果没有,如何安装Jieba分词器分词器。
多谢各位知道的朋友指点。
补充,如果集成有,如何启用Jieba分词器?
openGauss已经启用Jieba分词器,且是内置集成的,只需创建BM25索引即可创建分词
bm25索引生成后,是否可以获取分词的信息,比如分词在原文本的偏移量和长度。利用偏移量和长度,可以快速定位分词在原文本中的定位,可以实现快速的高亮显示功能。目前opengauss提供的高亮获取函数ts_headline(),是对原文本重新扫描获取信息,没利用先前建索引时保留的分词数据。对系统的压力太大。
所以建索引时需要自定义分词配置,后续才可利用索引信息,搞快速的高亮显示功能。有可能接近Lucene的性能
刚用opengauss一小段时间,还不熟悉opengauss,以上只是个人的粗浅认识。
openGauss 现有 BM25 索引在分词阶段就丢弃了 offset/length 信息,这点导致要对原文重新扫描,造成对系统压力过大;建索引时保留 offset,后续做 Lucene 风格高亮我感觉应该是一个正确的方向。