ElasticSearch搜索实例含高亮显示及搜索的特殊字符过滤

 

应用说明见代码注解。

1.简单搜索实例展示:

    public void search() throws IOException {
        // 自定义集群结点名称
        String clusterName = "elasticsearch_pudongping";

        // 获取客户端
        Client client = ESClient.initClient(clusterName);

        // 创建查询索引,参数productindex表示要查询的索引库为productindex
        SearchRequestBuilder searchRequestBuilder = client
                .prepareSearch("productindex");

        // 设置查询索引类型,setTypes("productType1", "productType2","productType3");
        // 用来设定在多个类型中搜索
        searchRequestBuilder.setTypes("productIndex");

        // 设置查询类型 1.SearchType.DFS_QUERY_THEN_FETCH = 精确查询 2.SearchType.SCAN =
        // 扫描查询,无序
        searchRequestBuilder.setSearchType(SearchType.DFS_QUERY_THEN_FETCH);

        // 设置查询关键词
        searchRequestBuilder
                .setQuery(QueryBuilders.fieldQuery("title", "Acer"));

        // 查询过滤器过滤价格在4000-5000内 这里范围为[4000,5000]区间闭包含,搜索结果包含价格为4000和价格为5000的数据
        searchRequestBuilder.setFilter(FilterBuilders.rangeFilter("price")
                .from(4000).to(5000));

        // 分页应用
        searchRequestBuilder.setFrom(0).setSize(60);

        // 设置是否按查询匹配度排序
        searchRequestBuilder.setExplain(true);

        // 执行搜索,返回搜索响应信息
        SearchResponse response = searchRequestBuilder.execute().actionGet();

        SearchHits searchHits = response.getHits();
        SearchHit[] hits = searchHits.getHits();
        for (int i = 0; i < hits.length; i++) {
            SearchHit hit = hits[i];
            Map<String, Object> result = hit.getSource();
            // 打印map集合:{id=26, onSale=true, title=宏基Acer乐3, price=4009.0,
            // description=null, createDate=1380530123140, type=2}
            System.out.println(result);
        }
        System.out.println("search success ..");

    }

说明:

client.prepareSearch用来创建一个SearchRequestBuilder,搜索即由SearchRequestBuilder执行。

client.prepareSearch方法有参数为一个或多个index,表现在数据库中,即零个或多个数据库名,你既可以使用(下面两个都可以表示在多个索引库中查找):

client.prepareSearch().setIndices("index1","index2","index3","index4");

或者:

client.prepareSearch("index1","index2","index3","index4"); 

SearchRequestBuilder常用方法说明:

(1) setIndices(String... indices):上文中描述过,参数可为一个或多个字符串,表示要进行检索的index;

(2) setTypes(String... types):参数可为一个或多个字符串,表示要进行检索的type,当参数为0个或者不调用此方法时,表示查询所有的type;

setSearchType(SearchType searchType):执行检索的类别,值为org.elasticsearch.action.search.SearchType的元素,SearchType是一个枚举类型的类,
   其值如下所示:
   QUERY_THEN_FETCH:查询是针对所有的块执行的,但返回的是足够的信息,而不是文档内容(Document)。结果会被排序和分级,基于此,只有相关的块的文档对象会被返回。由于被取到的仅仅是这些,故而返回的hit的大小正好等于指定的size。这对于有许多块的index来说是很便利的(返回结果不会有重复的,因为块被分组了)
   QUERY_AND_FETCH:最原始(也可能是最快的)实现就是简单的在所有相关的shard上执行检索并返回结果。每个shard返回一定尺寸的结果。由于每个shard已经返回了一定尺寸的hit,这种类型实际上是返回多个shard的一定尺寸的结果给调用者。
   DFS_QUERY_THEN_FETCH:与QUERY_THEN_FETCH相同,预期一个初始的散射相伴用来为更准确的score计算分配了的term频率。
   DFS_QUERY_AND_FETCH:与QUERY_AND_FETCH相同,预期一个初始的散射相伴用来为更准确的score计算分配了的term频率。
   SCAN:在执行了没有进行任何排序的检索时执行浏览。此时将会自动的开始滚动结果集。
   COUNT:只计算结果的数量,也会执行facet。

(4) setSearchType(String searchType),与setSearchType(SearchType searchType)类似,区别在于其值为字符串型的SearchType,值可为dfs_query_then_fetch、dfsQueryThenFetch、dfs_query_and_fetch、dfsQueryAndFetch、query_then_fetch、queryThenFetch、query_and_fetch或queryAndFetch;

(5) setScroll(Scroll scroll)、setScroll(TimeValue keepAlive)和setScroll(String keepAlive),设置滚动,参数为Scroll时,直接用new Scroll(TimeValue)构造一个Scroll,为TimeValue或String时需要将TimeValue和String转化为Scroll;

(6) setTimeout(TimeValue timeout)和setTimeout(String timeout),设置搜索的超时时间;

(7) setQuery,设置查询使用的Query;

(8) setFilter,设置过滤器;

(9) setMinScore,设置Score的最小数量;

(10) setFrom,从哪一个Score开始查;

(11) setSize,需要查询出多少条结果;

检索出结果后,通过response.getHits()可以得到所有的SearchHit,得到Hit后,便可迭代Hit取到对应的Document,转化成为需要的实体。

2.搜索高亮显示

spring-boot-starter-data-elasticsearch高亮显示场景的一个Demo


org.springframework.data.elasticsearch.core.query.NativeSearchQueryBuilder
org.springframework.data.elasticsearch.core.SearchResultMapper
org.springframework.data.domain.PageImpl
org.elasticsearch.action.search.SearchResponse
org.elasticsearch.search.SearchHit
org.elasticsearch.search.highlight.HighlightField

        String preTag = "<font color='#dd4b39'>";//google的色值
        String postTag = "</font>";
        SearchQuery searchQuery = new NativeSearchQueryBuilder()
                .withQuery(queryBuilder)
                .withFilter(QueryBuilders.termQuery("status", CommConstants.ItemStatus.Normal))
                .withSort(SortBuilders.fieldSort("modifiedTime").order(SortOrder.DESC))
                .withPageable(pageable)
                .withHighlightFields(new HighlightBuilder.Field("name").preTags(preTag).postTags(postTag)
                        , new HighlightBuilder.Field("memo").preTags(preTag).postTags(postTag))
                .build();

        return elasticsearchTemplate.queryForPage(searchQuery, UserDocument.class, new SearchResultMapper() {

            @Override
            public <T> Page<T> mapResults(SearchResponse response, Class<T> clazz, Pageable pageable) {
                List<UserDocument> chunk = new ArrayList<>();
                for (SearchHit searchHit : response.getHits()) {
                    if (response.getHits().getHits().length <= 0) {
                        return null;
                    }
                    UserDocument user = new UserDocument();
                    user.setId(Long.valueOf(searchHit.getId()));
                    //name or memoe
                    HighlightField name = searchHit.getHighlightFields().get("name");
                    if (name != null) {
                        user.setName(name.fragments()[0].toString());
                    }
                    HighlightField memo = searchHit.getHighlightFields().get("memo");
                    if (memo != null) {
                        user.setMemo(memo.fragments()[0].toString());
                    }

                    chunk.add(user);
                }
                if (chunk.size() > 0) {
                    return new PageImpl<T>((List<T>) chunk);
                }
                return null;
            }
        });

 

 

@Test
public void shouldReturnHighlightedFieldsForGivenQueryAndFields() {

    //given
    String documentId = randomNumeric(5);
    String actualMessage = "some test message";
    String highlightedMessage = "some <em>test</em> message";

    SampleEntity sampleEntity = SampleEntity.builder().id(documentId)
            .message(actualMessage)
            .version(System.currentTimeMillis()).build();

    IndexQuery indexQuery = getIndexQuery(sampleEntity);

    elasticsearchTemplate.index(indexQuery);
    elasticsearchTemplate.refresh(SampleEntity.class);

    SearchQuery searchQuery = new NativeSearchQueryBuilder()
            .withQuery(termQuery("message", "test"))
            .withHighlightFields(new HighlightBuilder.Field("message"))
            .build();

    Page<SampleEntity> sampleEntities = elasticsearchTemplate.queryForPage(searchQuery, SampleEntity.class, new SearchResultMapper() {
        @Override
        public <T> Page<T> mapResults(SearchResponse response, Class<T> clazz, Pageable pageable) {
            List<SampleEntity> chunk = new ArrayList<SampleEntity>();
            for (SearchHit searchHit : response.getHits()) {
                if (response.getHits().getHits().length <= 0) {
                    return null;
                }
                SampleEntity user = new SampleEntity();
                user.setId(searchHit.getId());
                user.setMessage((String) searchHit.getSource().get("message"));
                user.setHighlightedMessage(searchHit.getHighlightFields().get("message").fragments()[0].toString());
                chunk.add(user);
            }
            if (chunk.size() > 0) {
                return new PageImpl<T>((List<T>) chunk);
            }
            return null;
        }
    });

    assertThat(sampleEntities.getContent().get(0).getHighlightedMessage(), is(highlightedMessage));
}

http://stackoverflow.com/questions/37049764/how-to-provide-highlighting-with-spring-data-elasticsearch

SearchRequestBuilder中的addHighlightedField()方法可以定制在哪个域值的检索结果的关键字上增加高亮

    public void search() throws IOException {
        // 自定义集群结点名称
        String clusterName = "elasticsearch_pudongping";

        // 获取客户端
        Client client = ESClient.initClient(clusterName);    

        // 创建查询索引,参数productindex表示要查询的索引库为productindex
        SearchRequestBuilder searchRequestBuilder = client
                .prepareSearch("productindex");

        // 设置查询索引类型,setTypes("productType1", "productType2","productType3");
        // 用来设定在多个类型中搜索
        searchRequestBuilder.setTypes("productIndex");

        // 设置查询类型 1.SearchType.DFS_QUERY_THEN_FETCH = 精确查询 2.SearchType.SCAN = 扫描查询,无序
        searchRequestBuilder.setSearchType(SearchType.DFS_QUERY_THEN_FETCH);

        // 设置查询关键词
        searchRequestBuilder
                .setQuery(QueryBuilders.fieldQuery("title", "Acer"));

        // 查询过滤器过滤价格在4000-5000内 这里范围为[4000,5000]区间闭包含,搜索结果包含价格为4000和价格为5000的数据
        searchRequestBuilder.setFilter(FilterBuilders.rangeFilter("price")
                .from(4000).to(5000));

        // 分页应用
        searchRequestBuilder.setFrom(0).setSize(60);

        // 设置是否按查询匹配度排序
        searchRequestBuilder.setExplain(true);

        //设置高亮显示
        searchRequestBuilder.addHighlightedField("title");
        searchRequestBuilder.setHighlighterPreTags("<span style=\"color:red\">");
         searchRequestBuilder.setHighlighterPostTags("</span>");
        // 执行搜索,返回搜索响应信息
        SearchResponse response = searchRequestBuilder.execute().actionGet();

        //获取搜索的文档结果
        SearchHits searchHits = response.getHits();
        SearchHit[] hits = searchHits.getHits();
        ObjectMapper mapper = new ObjectMapper();
        for (int i = 0; i < hits.length; i++) {
            SearchHit hit = hits[i];
            //将文档中的每一个对象转换json串值
            String json = hit.getSourceAsString();
            //将json串值转换成对应的实体对象
            Product product = mapper.readValue(json, Product.class);  

            //获取对应的高亮域
            Map<String, HighlightField> result = hit.highlightFields();
            //从设定的高亮域中取得指定域
            HighlightField titleField = result.get("title");
            //取得定义的高亮标签
            Text[] titleTexts =  titleField.fragments();
            //为title串值增加自定义的高亮标签
            String title = "";
            for(Text text : titleTexts){
                  title += text;
            }
            //将追加了高亮标签的串值重新填充到对应的对象
            product.setTitle(title);
            //打印高亮标签追加完成后的实体对象
            System.out.println(product);
        }
        System.out.println("search success ..");

    }

 

 

程序运行结果:

[id=8,title=宏基<span style="color:red">Acer</span>,description=宏基Acer蜂鸟系列,price=5000.0,onSale=true,type=1,createDate=Mon Sep 30 13:46:41 CST 2013]
[id=21,title=宏基<span style="color:red">Acer</span>,description=宏基Acer蜂鸟系列,price=5000.0,onSale=true,type=1,createDate=Mon Sep 30 13:48:17 CST 2013]
[id=7,title=宏基<span style="color:red">Acer</span>,description=宏基Acer蜂鸟系列,price=5000.0,onSale=true,type=1,createDate=Mon Sep 30 11:38:50 CST 2013]
[id=5,title=宏基<span style="color:red">Acer</span>乐0,description=<null>,price=4000.0,onSale=true,type=1,createDate=Mon Sep 30 16:35:23 CST 2013]
[id=12,title=宏基<span style="color:red">Acer</span>乐1,description=<null>,price=4003.0,onSale=false,type=2,createDate=Mon Sep 30 16:35:23 CST 2013]
[id=19,title=宏基<span style="color:red">Acer</span>乐2,description=<null>,price=4006.0,onSale=false,type=1,createDate=Mon Sep 30 16:35:23 CST 2013]
[id=26,title=宏基<span style="color:red">Acer</span>乐3,description=<null>,price=4009.0,onSale=true,type=2,createDate=Mon Sep 30 16:35:23 CST 2013]
[id=33,title=宏基<span style="color:red">Acer</span>乐4,description=<null>,price=4012.0,onSale=false,type=1,createDate=Mon Sep 30 16:35:23 CST 2013]

从程序执行结果中我们可以看到,我们定义的高亮标签已经追加到指定的域上了.

当搜索索引的时候,你搜索关键字包含了特殊字符,那么程序就会报错

// fieldQuery 这个必须是你的索引字段哦,不然查不到数据,这里我只设置两个字段 id ,title
String title = "title+-&&||!(){}[]^\"~*?:\\";
title = QueryParser.escape(title);// 主要就是这一句把特殊字符都转义,那么lucene就可以识别
searchRequestBuilder.setQuery(QueryBuilders.fieldQuery("title", title));

转载请注明出处:[http://www.cnblogs.com/dennisit/p/3363851.html]

 

时间: 2024-11-08 17:24:58

ElasticSearch搜索实例含高亮显示及搜索的特殊字符过滤的相关文章

《读书报告 – Elasticsearch入门 》----Part II 深入搜索(1)

Part II 深入搜索 搜索不仅仅是全文本搜索:数据的很大部分是结构化的值例如日期.数字.这部分开始解释怎样以一种高效地方式结合结构化搜索和全文本搜索. 第十二章 结构化搜索 结构化搜索_ 是指查询包含内部结构的数据.日期,时间,和数字都是结构化的:它们有明确的格式给你执行逻辑操作.一般包括比较数字或日期的范围,或确定两个值哪个大. 文本也可以被结构化.一包蜡笔有不同的颜色:红色,绿色,蓝色.一篇博客可能被打上 分布式 和 搜索的标签.电子商务产品有商品统一代码(UPCs) 或其他有着严格格式

实例解说:百度搜索下拉框与百度相关搜索原理

每天跟百度打交道的站长们与百度产品紧密接触,尤其在使用搜索功能搜索某个关键词时,都会看到其相关搜索关键词与下拉框搜索关键词.通过百度这一功能,我们在筛选关键词时可以看到拓展出一些热门的相关关键词.那么,怎么理解这两个搜索功能的属性,今天给大家解析一下百度相关搜索和下拉框搜索的原理,也可以从中了解到所谓的刷百度搜索下拉框是怎么一回事? 先在百度中直接搜索"game",这时候在地址栏可以看到http://www.baidu.com/s?wd=game&rsv_spt=1&i

搜索联系人关键字高亮显示

问题描述 搜索联系人关键字高亮显示 比如小白,我们可以通过xiaobai全拼的一部分进行搜索(现在是从头x开始搜索:关键字%)我们怎么能通过用户输入的关键字,比如xi就只高亮小,xiaob小白两个字都高亮,怎么判断,求教 解决方案 参考:http://www.jb51.net/article/42962.htm 把上面代码放在文本框的onblur里 解决方案二: 按关键字搜索后将关键字高亮显示!搜索完后,让搜索后的关键字高亮显示搜索完后,让搜索后的关键字高亮显示 解决方案三: 你去学习下字典树,

iOS 9 Core Spotlight搜索实例代码_IOS

前言 感觉 Spotlight 这个功能还是蛮有用的,能提升用户活跃,增加应用内容曝光几率. 正文 一.实现(iOS 9.0) 1.1 添加索引 var searchableItems = [CSSearchableItem]() for app in apps { let searchableItemAttributeSet = CSSearchableItemAttributeSet(itemContentType: kUTTypeText as String) searchableItem

Thinkphp搜索时首页分页和搜索页保持条件分页的方法_php实例

本文实例讲述了Thinkphp实现搜索时首页分页和搜索页保持条件分页的方法.分享给大家供大家参考.具体实现方法如下: 在做搜索查询时突然发现在首页用的分页代码在搜索页使用时出现错误,首页分页代码(代码中标注start与end部分为分页代码) 复制代码 代码如下: public function index(){   $res=D('Info');// 实例化Data数据对象   /**********start************/   import('ORG.Util.Page');//

php实现搜索多关键词高亮显示程序代码

项目结构: 开始搜索:   这里搜索关键字("大""这") 开始搜索:   这里搜索关键字("大""这") 搜索结果:  高亮显示 项目所需数据库结构: 数据库连接文件  代码如下 复制代码 <?php $conn = @ mysql_connect("localhost", "root", "") or die("数据库链接错误"); my

C++实现广度优先搜索实例_C 语言

本文主要叙述了图的遍历算法中的广度优先搜索(Breadth-First-Search)算法,是非常经典的算法,可供C++程序员参考借鉴之用.具体如下: 首先,图的遍历是指从图中的某一个顶点出发,按照某种搜索方法沿着图中的边对图中的所有顶点访问一次且仅访问一次.注意到树是一种特殊的图,所以树的遍历实际上也可以看作是一种特殊的图的遍历.图的遍历主要有两种算法:广度优先搜索(Breadth-First-Search)和深度优先搜索(Depth-First-Search). 一.广度优先搜索(BFS)的

Android实现搜索功能并本地保存搜索历史记录_Android

本文实例为大家分享了Android实现搜索功能,并且需要显示搜索的历史记录,供大家参考,具体内容如下 效果图: 本案例实现起来很简单,所以可以直接拿来嵌入项目中使用,涉及到的知识点: - 数据库的增删改查操作 - ListView和ScrollView的嵌套冲突解决 - 监听软键盘回车按钮设置为搜索按钮 - 使用TextWatcher( )实时筛选 - 已搜索的关键字再次搜索不重复添加到数据库 - 刚进入页面设置软键盘不因为EditText而自动弹出 代码 RecordSQLiteOpenHel

Android实现搜索功能并本地保存搜索历史记录

本文实例为大家分享了Android实现搜索功能,并且需要显示搜索的历史记录,供大家参考,具体内容如下 效果图: 本案例实现起来很简单,所以可以直接拿来嵌入项目中使用,涉及到的知识点: - 数据库的增删改查操作 - ListView和ScrollView的嵌套冲突解决 - 监听软键盘回车按钮设置为搜索按钮 - 使用TextWatcher( )实时筛选 - 已搜索的关键字再次搜索不重复添加到数据库 - 刚进入页面设置软键盘不因为EditText而自动弹出 代码 RecordSQLiteOpenHel