0%

Centos7-ELK-Deploy

18年年初的笔记,被我翻出来了。

EL(B)K平台

Elastic Stack(旧称ELK Stack),是一种能够从任意数据源抽取数据,并实时对数据进行搜索、分析和可视化展现的数据分析框架。(hadoop同一个开发人员)

elastic 官网

EL(B)K是啥技术

  • java 开发的开源的全文搜索引擎工具。
  • 基于lucence搜索引擎的。
  • 采用 restful - api 标准的。
  • 高可用、高扩展的分布式框架。
  • 实时数据分析的。

E

Elasticsearch 是基于 JSON 的分布式搜索和分析引擎,专为实现水平扩展、高可用和管理便捷性而设计。

L

Logstash 是动态数据收集管道,拥有可扩展的插件生态系统,能够与 Elasticsearch 产生强大的协同作用。

B

Beats 是轻量型采集器的平台,从边缘机器向 Logstash 和 Elasticsearch 发送数据。

K

Kibana 能够以图表的形式呈现数据,并且具有可扩展的用户界面,供您全方位配置和管理 Elastic Stack。

下载程序

下载Logstash

1
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.6.3.tar.gz

下载Elasticsearch

1
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.3.tar.gz

下载Kibana

1
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.6.3-linux-x86_64.tar.gz

测试运行

Logstash

  • 解压
1
tar -zxvf logstash-5.6.3.tar.gz
  • 默认解压后是没有配置文件的,需要手动创建一个。文件名logstarsh.conf这里只是让它正常启动。填写基本配置。
1
2
3
4
5
6
7
8
9
10
input{
stdin{ }

}
output{
stdout{
codec => rubydebug
}

}
  • 尝试启动logstash并验证是否配置成功,在logstash的解压目录下执行命令:./bin/logstash -f logstash.conf,出现如下截图表明配置成功,从启动信息中也能看出日志路径,端口等信息

img

  • 演示启动成功。在交互命令中输入 hello world 会被输出成消息。

Elasticsearch

  • 解压
1
tar -zxvf elasticsearch-5.6.3.tar.gz
  • 默认自带一个配置文件,需要修改内容。elasticsearch目录下/config/elasticsearch.yml。
    • path.data修改为自己本机的data路径,自定义(这个路径如果不存在的话需要手动去创建)
    • path,logs修改为自己本机的logs路径,也是自定义吧(这个路径如果不存在的话,启动elasticsearch会自动创建)
    • network.host修改为安装服务器地址
    • http.port为http访问端口,默认是9200。

img

  • 测试运行./bin/elasticsearch.

img

  • 如果使用root运行会报错,elasticsearch出于安全考虑默认是不能用root去启动的,这是出于系统安全考虑设置的条件,所以为elasticsearch创建一个用户组和用户吧。
1
2
3
4
5
6
7
8
//创建elastic 用户组及用户:
groupadd elastic
//帐号 elastic 密码 eone
useradd elastic -g elastic -p eone
//更改elasticsearch文件夹及内部文件的所属用户及组为elastic:elastic:
chown -R elastic:elastic elasticsearch-5.6.3
//切换用户
su elastic
  • 再启动。

img

1
2
3
4
5
切换到root用户编辑limit.conf文件
vi /etc/security/limits.conf
在文件末尾添加
elastic soft nofile 65536
elastic hard nofile 65536
  • 再启动

img

  • 采用了虚拟机,所临时修改下。

*此操作需要root权限

1
[root@localhost ~]# sysctl -w vm.max_map_count=2621441

查看修改结果

1
2
[root@localhost ~]# sysctl -a|grep vm.max_map_count
vm.max_map_count = 262144

访问Elasticsearch

  • 注意默认的防火墙,测试环境建议关掉。

img

  • 如果中断掉窗口或者意外退出就导致elasticsearch stop程序。
1
2
// 启动的时候添加-d 参数后台运行
./bin/elasticsearch -d

Kibana

  • 解压
1
tar -zxvf kibana-5.6.3.tar.gz
  • 修改配置文件进入kibana的解压目录的config目录下,编辑kibana.yml,server.port:5601放开,server.host修改为kibana的安装服务器,配置elasticsearch的路径端口

img