java高级--Elasticsearch

                1.8 安装kibana

             kibana是es数据的前端展现，数据分析时，可以方便地看到数据。作为开发人员，可以方便访问es----可以理解为navcate         

下载 Elastic 产品 | Elastic

历史版本下载： Past Releases of Elastic Stack Software | Elastic

        

1、下载，解压kibana。

2、启动Kibana：bin\kibana.bat

3、浏览器访问 http://localhost:5601 进入Dev Tools界面。像plsql一样支持代码提示。

4、发送get请求，查看集群状态GET _cluster/health。相当于浏览器访问。

                 如果出现如下错误        

        Could not create APM Agent configuration: Request Timeout after 30000ms

                重写启动es就可以用了

                1.9 ES中常用的概念

        集群

            集群这一概念已经遍及天下了，在Elasticsearch中也不例外，可以将多台Elasticsearch节点组成集群使用，可以在任意一台节点上进行搜索。

        节点

                节点是一台Elasticsearch服务器，可以存储、查询、创建索引，也可以与其它节点一共组成一个集群。

        索引---数据库

                索引是具有某种相似特性的文档集合，熟悉mysql的应该不会对于这个名词陌生，Elasticsearch使用的是倒排索引。

        文档---一条记录

                一个文档是一个可以被索引的基础信息单元。

        分片

                单个索引包含数据太大的话，将会降低索引速度。为此，Elasticsearch提供了将索引细分成多个片段的能力，就是分片。

        副本

                副本是ElasticSearch索引分片的备份，主要应对与节点故障时保存数据的可用性。副本与它的原始分片不会在同一个节点上，以此来保存单节点故障时的高可用。

注意: ES6.0以后Type这个概念模糊了，7.0以后不在使用Type. 默认索引的type都是_doc

 索引----数据库

类型---表

文档---一条记录

字段---列 

Elasticsearch 是面向文档型数据库，一条数据在这里就是一个文档。 为了方便大家理解，我们将 Elasticsearch 里存储文档数据和关系型数据库 MySQL 存储数据的概念进行一个类比

  

ES 里的 Index 可以看做一个库，而 Types 相当于表， Documents 则相当于表的行。这里 Types 的概念已经被逐渐弱化， Elasticsearch 6.X 中，一个 index 下已经只能包含一个type， Elasticsearch 7.X 中, Type 的概念已经被删除了。_doc

                 二、ES中常用的API接口

        ES中提高了很多API接口，而这些接口是按照Restful风格定义的。

        ---风格: 根据不同的操作提供不同的提交方式，而且可以在地址上传递参数 /{id}

  

         2.1、创建索引

语法：

        PUT /索引名称

          {

                "mappings": {

                "properties":{

                "字段名"：{"type":数据类型},

                "字段名": {"type":数据类型}

          }

     }

}

数据类型:

字符串类型: text keywords

数字类型: long、Integer、short、byte、double、float、half float、scaled float

日期类型: date

布尔类型: boolean

二进制类型: .........

  

         2.2、获取索引的结构

语法：

              GET /索引名称

        2.3、查询ES中所有的索引

语法：

        GET /_cat/indices?v

        2.4、删除索引

语法：

        DELETE /索引名称

        2.5、添加文档

                添加记录-----数据库

                添加时指定了id

语法:

        put /索引名称/_doc/1

        {

                "name":"张学友",

                "age": 18

        }

        

         

                添加时不知道id

POST /索引名称/_doc

        {

}

        

        2.6、根据id查询文档

语法：

        GET /索引/_doc/id值

        2.7、文档的修改

       1、 修改全部字段，如果某些字段没有指定，则消失

         2、修改部分字段，没有给定的字段保留为原来的值

        三、条件查询

                我们上面关于文档的查询 都是通过id查询，我们可能需要根据其他条件进行查询。

        3.1、在地址栏传递参数查询

                GET /索引名/_search?q=参数名:值

        3.2、传递json数据进行查询       

                ES提供一个接口---该接口需要传递json数据。 根据你 的json数据进行查询。一般不会使用地址栏传递参数。

GET /索引/_doc/

        {

                "query": {

                        "match":{ // term:精准匹配 match:模糊匹配 range:范围匹配

                        "name":"值"

        }

        }

}

         

match和term的区别?

倒排索引: 根据主键查询 内容，而倒排索引是根据内容查询主键值

        3.3、查询部分字段的内容

                select 列名 from 表名

        3.4、排序查询

                select * from 表名 order by

        3.5、分页查询

        select * from 表名 limit 起始记录, 条数

        3.6、多条件查询

上面的查询都是使用的单条件查询。

select * from 表名 where name="" and age=19

• must 相当于 and

• should 相当于 or

• must_not 相当于 not (... and ...)

 

         3.7、高亮查询

        对查询的关键字以特殊字符包裹，到前端后，就可以为特殊字符增加css.

        

        四、Springboot整合ES.[数据库]

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.3.12.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.ykq</groupId>
    <artifactId>qy158-springboot-es</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>qy158-springboot-es</name>
    <description>Demo project for Spring Boot</description>
    <properties>
        <java.version>17</java.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <configuration>
                    <excludes>
                        <exclude>
                            <groupId>org.projectlombok</groupId>
                            <artifactId>lombok</artifactId>
                        </exclude>
                    </excludes>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>

        4.1、创建一个配置类

                springboot整合es时，会把对应ES的操作都封装到一个RestHighLevelClient类中。 所以该配置类的作用就是为了能够获取RestHighLevelClient工具类。 

@SpringBootTest
class SpringbootEsApplicationTests {
    //创建索引
    @Autowired
    private RestHighLevelClient client;

    //创建索引
    @Test
    void testCreateIndex() throws IOException {
        //获取对应索引操作的类对象IndicesClient
        IndicesClient indices = client.indices();
        //获取创建索引的请求对象---封装了关于索引的信息。
        CreateIndexRequest indexRequest=new CreateIndexRequest("qy158-index");
        CreateIndexResponse indexResponse = indices.create(indexRequest, RequestOptions.DEFAULT);
        System.out.println("是否创建成功:"+indexResponse.isAcknowledged());
    }

        4.2、关于对索引的操作

            索引的删除

//判断索引是否存在
    @Test
    public void testExist() throws IOException {
        IndicesClient indices = client.indices();
        GetIndexRequest getIndexRequest=new GetIndexRequest("qy158-index");
        boolean exists = indices.exists(getIndexRequest, RequestOptions.DEFAULT);
        System.out.println("是否存在 = " + exists);
    }

    //删除索引
    @Test
    public void deleteIndex() throws IOException {
        IndicesClient indices = client.indices();
        DeleteIndexRequest deleteIndexRequest=new DeleteIndexRequest("qy160");
        AcknowledgedResponse delete = indices.delete(deleteIndexRequest, RequestOptions.DEFAULT);
        System.out.println("是否删除 = " + delete.isAcknowledged());
    }

        4.3 、关于对文档的操作---CRUD

                CRUD操作

 //添加文档
    @Test
    public void testSaveDoc() throws IOException {
        IndexRequest indexRequest = new IndexRequest("qy158-index");
        indexRequest.id("1");
        User user=new User("王俊凯","上海","男",21);
        indexRequest.source(JSON.toJSONString(user), XContentType.JSON);
        IndexResponse indexResponse = client.index(indexRequest, RequestOptions.DEFAULT);
        System.out.println("结果 = " + indexResponse);
    }

    //根据id查询文档
    @Test
    public void testGet() throws IOException {
        GetRequest getRequest=new GetRequest("qy158-index","1");
        GetResponse getResponse = client.get(getRequest, RequestOptions.DEFAULT);

        Map<String, Object> map = getResponse.getSourceAsMap();
        System.out.println("map = " + map);
        System.out.println(map.get("name"));
    }

    //删除文档
    @Test
    public void testDelete() throws IOException {
        DeleteRequest deleteRequest=new DeleteRequest("qy158-index","1");
        DeleteResponse delete = client.delete(deleteRequest, RequestOptions.DEFAULT);
        System.out.println(delete.getResult());
    }

    //修改文档
    @Test
    public void testUpdate() throws IOException {
        UpdateRequest updateRequest=new UpdateRequest("qy158-index","1");
        User user=new User("姚远","洛阳","男",25);
        updateRequest.doc(JSON.toJSONString(user),XContentType.JSON);

        UpdateResponse update = client.update(updateRequest, RequestOptions.DEFAULT);
        System.out.println(update.getResult());
    }

    //批量添加
    @Test
    public void testBuck() throws IOException {
        BulkRequest bulkRequest=new BulkRequest("qy158-index");
        List<User> list=new ArrayList<>();
        list.add(new User("卜佩园","洛阳","女",29));
        list.add(new User("姚约翰","洛阳","男",2));
        list.add(new User("董展展","洛阳","女",22));
        list.add(new User("刘晨晨","广州","女",23));
        list.add(new User("刘晨曦","广州","女",24));
        list.add(new User("刘晨辉","广州","女",29));
        list.add(new User("刘晨琳","广州","女",22));
        list.add(new User("刘晨哈","广州","女",42));

        for (int i=0;i<list.size();i++){
            IndexRequest indexRequest=new IndexRequest();
            indexRequest.id(i+1+"");
            indexRequest.source(JSON.toJSONString(list.get(i)),XContentType.JSON);
            bulkRequest.add(indexRequest);
        }
        BulkResponse bulk = client.bulk(bulkRequest, RequestOptions.DEFAULT);
    }

        4.4、文档的高级搜索

                   高级的分页，排序，高亮

//高级搜索
    @Test
    public void testHighSearch() throws IOException {
        //搜索请求对象
        SearchRequest searchRequest=new SearchRequest("qy158-index");

        //构建一个条件类对象
        SearchSourceBuilder searchSourceBuilder=new SearchSourceBuilder();
        //match匹配
        MatchQueryBuilder matchQueryBuilder = QueryBuilders.matchQuery("name", "刘");
        searchSourceBuilder.query(matchQueryBuilder);
        //排序
        searchSourceBuilder.sort("age", SortOrder.DESC);
        //分页
        searchSourceBuilder.from(0);
        searchSourceBuilder.size(3);
        //高亮
        HighlightBuilder highlightBuilder=new HighlightBuilder();
        highlightBuilder.field("name");
        highlightBuilder.preTags("<font color='red'>");
        highlightBuilder.postTags("</font>");
        searchSourceBuilder.highlighter(highlightBuilder);

        //把条件对象封装到哦searchRequest对象中。
        searchRequest.source(searchSourceBuilder);

        SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);

        SearchHits hits = searchResponse.getHits();
        SearchHit[] hits1 = hits.getHits();
        for (SearchHit hit:hits1){
            Map<String, Object> sourceAsMap = hit.getSourceAsMap();
            System.out.println("sourceAsMap = " + sourceAsMap);


            Map<String, HighlightField> highlightFields = hit.getHighlightFields();
            sourceAsMap.put("name",highlightFields.get("name").getFragments()[0]);

            System.out.println(sourceAsMap);
        }

    }