一、简介

借助官网介绍

Elasticsearch简介
您知道，用于搜索（和分析）
Elasticsearch是Elastic Stack核心的分布式搜索和分析引擎。Logstash和Beats有助于收集，聚合和丰富您的数据并将其存储在Elasticsearch中。使用Kibana，您可以交互式地探索，可视化和共享对数据的见解，并管理和监视堆栈。Elasticsearch是建立索引，搜索和分析魔术的地方。
Elasticsearch为所有类型的数据提供实时搜索和分析。无论您是结构化文本还是非结构化文本，数字数据或地理空间数据，Elasticsearch都能以支持快速搜索的方式有效地对其进行存储和索引。您不仅可以进行简单的数据检索，还可以聚合信息来发现数据中的趋势和模式。随着数据和查询量的增长，Elasticsearch的分布式特性使您的部署可以随之无缝地增长

学习理解

ES一般作为搜索引擎存在。现在官网上ELK协议栈作为了一个整体，还有其他的相关工具。已经有了其他方向的实践和探索
在生产实践中主要用来大数据的存储索引分析。可以和neo4j整合生成节点图。与hive整合作为存储映射，与深度学习相关整合作为相似性搜索使用

二、架构和基本概念

ES概述

Elasticsearch是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)。然而它
不仅仅是存储，还会索引(index)每个文档的内容使之可以被搜索。在Elasticsearch中，你可以对文档（而非成行成列
的数据）进行索引、搜索、排序、过滤。
Elasticsearch比传统关系型数据库如下：
Relational DB ‐> Databases ‐> Tables ‐> Rows ‐> Columns
Elasticsearch ‐> Indices ‐> Types ‐> Documents ‐> Fields

因为大家对于上面的Elasticsearch比传统关系型数据库的理解其实并不符合真实含义（type并不是标的含义）为了避免混淆在ES7之后已经不再将type作为一种类型了可能之后会消失在ES7中默认了type并且一个索引只有一个type

架构

Elasticsearch安装以及语法学习-风君子博客

Gateway是ES用来存储索引的文件系统，支持多种类型。
Gateway的上层是一个分布式的lucene框架。
Lucene之上是ES的模块，包括：索引模块、搜索模块、映射解析模块等
ES模块之上是 Discovery、Scripting和第三方插件。
Discovery是ES的节点发现模块，不同机器上的ES节点要组成集群需要进行消息通信，集群内部需要选举master节点，
这些工作都是由Discovery模块完成。支持多种发现机制，如 Zen 、EC2、gce、Azure。
Scripting用来支持在查询语句中插入javascript、python等脚本语言，scripting模块负责解析这些脚本，使用脚本
语句性能稍低。ES也支持多种第三方插件。
再上层是ES的传输模块和JMX.传输模块支持多种传输协议，如 Thrift、memecached、http，默认使用http。JMX是
java的管理框架，用来管理ES应用。
最上层是ES提供给用户的接口，可以通过RESTful接口和ES集群进行交互。

核心概念

索引 index

一个索引就是一个拥有几分相似特征的文档的集合。

类型 type

一个索引中可以有多个类型但是在ES6时就只能有一个了在ES7中已经默认一个不可更改了

文档document

一个文档是一个可被索引的基础信息单元文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个到处存在的互联网数据交互格式。

字段 field

是一个文档的多个表现形式也可以理解为文档是一行数据而字段是一行中的某个字段 在现实使用中一般都是将一个索引数据作为二维表形式来使用

映射 mapping

mapping是处理数据的方式和规则方面做一些限制，如某个字段的数据类型、默认值、分析器、是否被索引等等，一般写入索引数据时ES会自动推断数据类型。但是现实生产不推荐。应先建立mapping来确定字段的各个维度。

设置 settings

settings

集群、节点、分片复制

集群是由多台装有ES的服务器组成的系统来对外提供服务
节点为每台装有ES的服务器
分片复制在大数据中是个常用概念目的是提升存储以及保证数据安全。分片是每个索引的存储可以分成多个部分存储在不同的节点上复制是对于每个部分的备份

三、安装

安装Elasticsearch

集群模式每一台都要安装ES。配置文件每一台都要相同除了一些关于本机的配置来组成集群
es-head以及kibana和tomcat安装一台即可

1.创建es普通用户

ES不能用root用户启动，只能用普通用户

#创建用户
useradd es
#创建一个es用户的目录
mkdir ‐p /data/es
chown ‐R es /data/es
#设置密码
passwd es

2.为es用户添加sudo权限

visudo

#添加内容:
es ALL=(ALL) ALL

使用es用户登录完成下面步骤

3.下载上传安装包并解压

进入官网下载 https://www.elastic.co/cn/
最好将ES以及kibana一起下载了相关版本要对应

我下载的为7.6.0版本
对于ES的相关安装我安装了ES，Kibana,ES-head,IK分词器，tomcat
相关资源在我的网盘中

链接：https://pan.baidu.com/s/1GQIXFP8xPW0mWisTZoZQXA
提取码：sf1g

我都解压到了/data/es目录下
Elasticsearch安装以及语法学习-风君子博客

4.修改配置文件

集群要每一台都安装并且配置
进入es的配置文件目录：
Elasticsearch安装以及语法学习-风君子博客

vim elasticsearch.yml

# ======================== Elasticsearch Configuration =========================
#
# NOTE: Elasticsearch comes with reasonable defaults for most settings.
#       Before you set out to tweak and tune the configuration, make sure you
#       understand what are you trying to accomplish and the consequences.
#
# The primary way of configuring a node is via this file. This template lists
# the most important settings you may want to configure for a production cluster.
#
# Please consult the documentation for further information on configuration options:
# https://www.elastic.co/guide/en/elasticsearch/reference/index.html
#
# ---------------------------------- Cluster -----------------------------------
#
# Use a descriptive name for your cluster:
#集群名字
cluster.name: my-es
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#节点名称
node.name: etl-oracle
#
# Add custom attributes to the node:
#
#node.attr.rack: r1
#
# ----------------------------------- Paths ------------------------------------
#
# Path to directory where to store the data (separate multiple locations by comma):
#数据存储地址
path.data: /data/es/elasticsearch-7.6.0/datas
#
# Path to log files:
#log文件地址
path.logs: /data/es/elasticsearch-7.6.0/logs
#
# ----------------------------------- Memory -----------------------------------
#
# Lock the memory on startup:
#内存配置
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
#
# Make sure that the heap size is set to about half the memory available
# on the system and that the owner of the process is allowed to use this
# limit.
#
# Elasticsearch performs poorly when the system is swapping the memory.
#
# ---------------------------------- Network -----------------------------------
#
# Set the bind address to a specific IP (IPv4 or IPv6):
#本机ip地址
network.host: ip
#
# Set a custom port for HTTP:
#
http.port: 9200
#
# For more information, consult the network module documentation.
#允许跨域
http.cors.enabled: true
http.cors.allow-origin: "*"
# --------------------------------- Discovery ----------------------------------
#我的是单机的此处添加类型为单机
discovery.type: single-node
# Pass an initial list of hosts to perform discovery when this node is started:
# The default list of hosts is ["127.0.0.1", "[::1]"]
#集群类型需要修改以下的配置 集群每一台的节点的ip
#如果要在其他主机上形成包含节点的群集，则必须使用discovery.seed_hosts设置提供群集中其他节点的列表
#discovery.seed_hosts: ["host1", "host2"]
#
# Bootstrap the cluster using an initial set of master-eligible nodes:
#集群类型需要修改以下的配置 集群每一台的节点的ip
#当您第一次启动全新的Elasticsearch集群时，会出现一个集群引导步骤，该步骤确定在第一次选举中计票的主要合#格节点集。 在开发模式下，如果未配置发现设置，则此步骤由节点本身自动执行。 由于此自动引导本质上是不安全#的，因此当您在生产模式下启动全新集群时，必须明确列出符合条件的节点的名称或IP地址，这些节点的投票应在第#一次选举中计算。 使用cluster.initial_master_nodes设置设置此列表。
#cluster.initial_master_nodes: ["node-1", "node-2"]
#
# For more information, consult the discovery and cluster formation module documentation.
#
# ---------------------------------- Gateway -----------------------------------
#
# Block initial recovery after a full cluster restart until N nodes are started:
#
#gateway.recover_after_nodes: 3
#
# For more information, consult the gateway module documentation.
#
# ---------------------------------- Various -----------------------------------
#
# Require explicit names when deleting indices:
#
#action.destructive_requires_name: true

vim jvm.option

#根据自己服务器配置设置内存
-Xms4g
-Xmx4g

Elasticsearch安装以及语法学习-风君子博客

5.修改服务器的一些配置解决启动的错误

问题一 : 普通用户打开文件的最大数据限制
报错信息: max file descriptors [4096] for elasticsearch process likely too low, increase to at least
[65536]
错误原因: ES因为需要大量的创建索引文件，需要大量的打开系统的文件，所以我们需要解除linux系统当中打开文件最大数目的限制，不然ES启动就会抛错

sudo vim /etc/security/limits.conf

#添加如下内容: 
#es为你创建的普通用户
es soft nofile 65536
es hard nofile 131072
es soft nproc 2048
es hard nproc 4096

问题二: 普通用户启动线程数限制
报错信息: max number of threads [1024] for user [es] likely too low, increase to at least [4096]
报错原因: 无法创建本地线程问题,用户最大可创建线程数太小

sudo vi /etc/security/limits.d/90‐nproc.conf

#es
es soft nproc 4096

问题三: 普通用户调大虚拟内存
错误信息: max virtual memory areas vm.max_map_count [65530] likely too low, increase to at
least [262144]
错误原因: 最大虚拟内存太小

sudo sysctl ‐w vm.max_map_count=262144
#注意: 此命令每次启动es前, 都得执行一下才行

备注：以上三个问题解决完成之后，重新连接secureCRT或者重新连接xshell生效需要保存、退出、重新登录才可生效

问题4
启动时可能还会报错关于elasticsearch-env文件的。当时没有记录错误但是修改方案在下面

#修改大概116行的为下面代码
116   done <<< `env`

Elasticsearch安装以及语法学习-风君子博客

6.启动命令

#集群模式每台都要启动
nohup /data/es/elasticsearch-7.6.0/bin/elasticsearch 2>&1 &

访问页面：

http://ip:9200/?pretty 每台可查看

想要查看日志的话就去配置中设置的日志地址找my-es.log

安装Elasticsearch-head

因为es自带的页面也就是上述的访问页面太丑没法看所以安装Elasticsearch-head

1.安装node.js

node.js是一种运行环境用来运行javascript语言相当于运行java的jvm

可以在上面的分享资源中找到。
我安装的是node-v16.11.1-linux-x64.tar.gz

解压：
Elasticsearch安装以及语法学习-风君子博客

创建软连接：

sudo ln ‐s /data/node-v16.11.1-linux-x64/bin/node /usr/local/bin/node
sudo ln ‐s /data/node-v16.11.1-linux-x64/bin/npm /usr/local/bin/npm

查看是否成功：
Elasticsearch安装以及语法学习-风君子博客

2.安装es-head

可以下载源码自己编译
也可以用我的资源包里面的
编译会出现各种不可预料的情形推荐直接用资源包解压来用

上传解压：
Elasticsearch安装以及语法学习-风君子博客
修改配置文件：

vim Gruntfile.js

//找到以下代码：
//修改一行： hostname: 'ip',
connect: {server: {options: {hostname: 'ip',port: 9100,base: '.',keepalive: true}}
}

cd /data/es/elasticsearch-head/_site
vim app.js

//将localhost改为ip
this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://ip:9200";

Elasticsearch安装以及语法学习-风君子博客
启动停止命令

#进入目录
cd /data/es/elasticsearch-head/node_modules/grunt/bin
#前台启动 注意要用./执行 sh执行可能会报错
./grunt server
#后台启动 先后台命令启动 再退出ssh连接才真正后台启动了 其他前端后台启动也是这样
nohup ./grunt server >/dev/null 2>&1 &
exit
#杀掉
netstat ‐nltp | grep 910
kill -9 pid

访问页面：
http://ip:9100/
Elasticsearch安装以及语法学习-风君子博客
我的是单台机器所以健康值为黄色的正常集群启动后健康值为绿色才对

安装Kibana

1.简介

Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。你用Kibana来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互。你可以轻松地执行高级数据分析，并且以各种图标、表格和地图的形式可视化数据。

2.上传解压

要与ES的版本保持一致可以在官网也可以在我分享的资源中获取

Elasticsearch安装以及语法学习-风君子博客

3.修改配置文件

vim /data/es/kibana-7.6.0-linux-x86_64/config/kibana.yml

#修改以下内容
kibana.ymlserver.host: "ip"
elasticsearch.hosts: ["http://ip:9200"]

Elasticsearch安装以及语法学习-风君子博客

4.启动命令

#进入bin目录
#启动
nohup sh kibana >/dev/null 2>&1 &
#停止
##查看进程号
ps ‐ef | grep node
##然后使用kill ‐9杀死进程即可

5.访问页面

http://192.168.101.45:5601/

Elasticsearch安装以及语法学习-风君子博客

一般在上图开发工具中进行开发

安装ik分词器

注意：集群模式每一台都需要安装

搜索的核心需求是全文检索，全文检索简单来说就是要在大量文档中找到包含某个单词出现的位置，在传统关系型数据库中，数据检索只能通过 like 来实现而在es中是通过分词来实现的
ES对于文本搜索的一个重要的功能就是分词，分词就是将传入ES中可分析字段中的数据进行词的切分。然后对于相关词建立倒排索引。
倒排索引扽为两部分一部分就是单词词典一部分为倒排列表倒排索引可以这么理解：ES中存储单元是文档。而文档有一个唯一的id。倒排索引通过对于内容进行分词将词作为搜索的key 文档id作为我们要获取的value。
与之相对应的是正排索引也就是正排索引以文档id作为key 以文档内容作为获取的value
ES在搜索时根据分词分出的词来去倒排索引中获取响应的文档id 再通过文档id去正排索引中获取文档内容

对于ES中的分词器来说有以下几种：

分词器	用途
Standard Analyzer	标准分词器，适用于英语等
Simple Analyzer	简单分词器，基于非字母字符进行分词，单词会被转为小写字母
Whitespace Analyzer	空格分词器，安装空格进行切分
Stop Analyzer	和简单分词器类似，但是增加了停用词的功能
Keyword Analyzer	关键词分词器，输入文本等于输出文本
Pattern Analyzer	利用正则表达式对文本进行切分，支持停用词
Language Analyzer	针对特定语言的分词器
Fingerprint Analyzer	指纹分析分词器，通过创建标记进行重复检测

对于ES的文本分析来说有几种自带的分词器对于中文的切分不友好所以安装IK分词器插件来支持对于中文的词切分

1.下载安装解压

可以再githup上下载：https://github.com/medcl/elasticsearch-analysis-ik
注意：要下载对应版本的我的是7.6.0
也可以在上面分享的资源中获取

cd /data/es/elasticsearch-7.6.0/plugins
mkdir ik
#将压缩包解压到ik目录下

Elasticsearch安装以及语法学习-风君子博客

2.重新启动es

#停止
ps ‐ef|grep elasticsearch|grep bootstravelap |awk '{print $2}' |xargs kill ‐9
#启动
nohup /data/es/elasticsearch-7.6.0/bin/elasticsearch 2>&1 &

说明：ik带有两个分词器:
ikmaxword : 会将文本做最细粒度的拆分; 尽可能多的拆分出词语
句子：我爱我的祖国
结果：我|爱|我的|祖|国|祖国
ik_smart : 会做最粗粒度的拆分；已被分出的词语将不会再次被其它词语占有
句子：我爱我的祖国
结果：我|爱|我|的|祖国

3.测试

#测试ik分词器
GET _analyze
{"analyzer": "ik_max_word","text": "你在干什么~"
}

Elasticsearch安装以及语法学习-风君子博客

4.热词更新

注意：配置热词服务只需要一台服务器安装即可
对于ik分词来说我们使用的是已经分好的词库了。如果说有些网络上的热词，热梗或者某些行业的专业术语等等想要识别的话就需要更新词库。
更新词库又不想重启es的就配置热词更新

查看ik自带的词库：
Elasticsearch安装以及语法学习-风君子博客
可见词典都是.dic格式文件而且每个词分为一行

配置热词服务器：

#进入目录
cd /data/es/elasticsearch-7.6.0/plugins/ik/config
#修改配置文件
vim IKAnalyzer.cfg.xml
#修改下面内容
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties><comment>IK Analyzer 扩展配置</comment><!--用户可以在这里配置自己的扩展字典 --><entry key="ext_dict"></entry><!--用户可以在这里配置自己的扩展停止词字典--><entry key="ext_stopwords"></entry><!--用户可以在这里配置远程扩展字典 --><entry key="remote_ext_dict">自己的词典地址</entry><!--用户可以在这里配置远程扩展停止词字典--><entry key="remote_ext_stopwords">自己的词典地址</entry>
</properties>

设置热词服务器：
下载上传解压tomcat。可自己下载亦可以用我得资源
Elasticsearch安装以及语法学习-风君子博客

#进入目录
cd /data/es/apache-tomcat-9.0.56/webapps/ROOT
#新建词典文件
vim hot.dic
#文件内容 可自行写入
蓝瘦香菇
黄河之水
#启动tomcat
cd /data/es/apache-tomcat-9.0.56/bin
sh startup.sh

访问页面：
http://ip:8080/hot.dic
如果是乱码也无所谓只要hot.dic是utf8格式就可以

将http://ip:8080/hot.dic配置到上面的ik配置文件中即可

配置热词服务器：

#进入目录
cd /data/es/elasticsearch-7.6.0/plugins/ik/config
#修改配置文件
vim IKAnalyzer.cfg.xml
#修改下面内容
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties><comment>IK Analyzer 扩展配置</comment><!--用户可以在这里配置自己的扩展字典 --><entry key="ext_dict"></entry><!--用户可以在这里配置自己的扩展停止词字典--><entry key="ext_stopwords"></entry><!--用户可以在这里配置远程扩展字典 --><entry key="remote_ext_dict">http://ip:8080/hot.dic</entry><!--用户可以在这里配置远程扩展停止词字典--><entry key="remote_ext_stopwords">http://ip:8080/hotstop.dic</entry>
</properties>

重启es

#停止
ps ‐ef|grep elasticsearch|grep bootstravelap |awk '{print $2}' |xargs kill ‐9
#启动
nohup /data/es/elasticsearch-7.6.0/bin/elasticsearch 2>&1 &

这样ES就会每隔1分钟去读取我们的远程词典来更新词库了
查看日志：
Elasticsearch安装以及语法学习-风君子博客
测试分词器：

#测试ik分词器
GET _analyze
{"analyzer": "ik_max_word","text": "黄河之水天上来~"
}

Elasticsearch安装以及语法学习-风君子博客
可以配置停止词典停止词典配置上的话就不会再去分词停止词典中的词了

#######################################################
######################至此安装完成######################
#######################################################

四、ES的使用以及语法

下面均以ES7语法在kibana中来实现（其他的版本可以自己添加type）：

ES一个很大的优势就是提供了rest api供用户操作数据

HTTP	用途
PUT	用于创建
GET	用于获取
POST	用于更新有些查询可以和GET一样用
Delete	用于删除

基本语句

1.集群管理

_cat相关查看集群
比如aliases别名 health健康状态 nodes节点 indices索引等等

Elasticsearch安装以及语法学习-风君子博客

2.索引相关操作

索引相关操作指定HTTP url中第一位就是索引比如 PUT /索引名

#创建空索引
PUT /testindex
#创建索引指定mapping和setting
#mapping可以指定字段类型 setting可以设置分片副本
#text类型可分词模糊查询 keyword关键词查询
PUT /testindex
{"settings": {"number_of_shards": 1,"number_of_replicas": 1}, "mappings": {"properties": {"address":{"type":"text"},"remark":{"type":"text"}}}
}
#删除索引
DELETE /testindex
#查看索引的setting
GET /testindex/_settings
#查看索引的mapping
GET /testindex/_mapping

3.文档数据相关操作

文档作为ES中存储的数据格式我们对其进行相关增删改查操作

新增一条文档

#首先创建索引
PUT /testindex
#插入一条数据 指定文档id
PUT /testindex/_doc/1
{"country": "中国","province": "北京","City": "北京","address1": "东长安街"
}

可以通过es-head插件来直观的查看插入的数据
流程为：基本查询 – 搜索创建的文档 – 选择方法 must match_all(自动的) –搜索
值显示为索引名称 type 文档唯一id 所得分数之后就是我们插入的字段了
测试时可以获取所有（must match_all）但是生产不可如此可能会造成GC
查看es-head插件
Elasticsearch安装以及语法学习-风君子博客

#创建文档不指定id
#此时只能使用POST来创建
POST /testindex/_doc/
{"country": "中国","province": "北京","City": "北京","address1": "东长安街"
}