CentOS7 ELK 部署

18年年初的笔记，被我翻出来了。

EL(B)K平台

Elastic Stack（旧称ELK Stack），是一种能够从任意数据源抽取数据，并实时对数据进行搜索、分析和可视化展现的数据分析框架。（hadoop同一个开发人员）

elastic 官网

EL(B)K是啥技术

  • java 开发的开源的全文搜索引擎工具。
  • 基于lucence搜索引擎的。
  • 采用 restful - api 标准的。
  • 高可用、高扩展的分布式框架。
  • 实时数据分析的。

E

Elasticsearch 是基于 JSON 的分布式搜索和分析引擎，专为实现水平扩展、高可用和管理便捷性而设计。

L

Logstash 是动态数据收集管道，拥有可扩展的插件生态系统，能够与 Elasticsearch 产生强大的协同作用。

B

Beats 是轻量型采集器的平台，从边缘机器向 Logstash 和 Elasticsearch 发送数据。

K

Kibana 能够以图表的形式呈现数据，并且具有可扩展的用户界面，供您全方位配置和管理 Elastic Stack。

下载程序

下载Logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.6.3.tar.gz

下载Elasticsearch

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.3.tar.gz

下载Kibana

wget https://artifacts.elastic.co/downloads/kibana/kibana-5.6.3-linux-x86_64.tar.gz

测试运行

Logstash

  • 解压
tar -zxvf logstash-5.6.3.tar.gz
  • 默认解压后是没有配置文件的,需要手动创建一个。文件名logstarsh.conf这里只是让它正常启动。填写基本配置。
input{
        stdin{  }

}
output{
        stdout{
                codec => rubydebug
        }

}
  • 尝试启动logstash并验证是否配置成功，在logstash的解压目录下执行命令：./bin/logstash -f logstash.conf,出现如下截图表明配置成功,从启动信息中也能看出日志路径，端口等信息

img

  • 演示启动成功。在交互命令中输入 hello world 会被输出成消息。

Elasticsearch

  • 解压
tar -zxvf elasticsearch-5.6.3.tar.gz
  • 默认自带一个配置文件,需要修改内容。elasticsearch目录下/config/elasticsearch.yml。
    • path.data修改为自己本机的data路径，自定义(这个路径如果不存在的话需要手动去创建)
    • path,logs修改为自己本机的logs路径，也是自定义吧（这个路径如果不存在的话，启动elasticsearch会自动创建）
    • network.host修改为安装服务器地址
    • http.port为http访问端口，默认是9200。

img

  • 测试运行./bin/elasticsearch.

img

  • 如果使用root运行会报错，elasticsearch出于安全考虑默认是不能用root去启动的,这是出于系统安全考虑设置的条件,所以为elasticsearch创建一个用户组和用户吧。
//创建elastic 用户组及用户：
groupadd elastic
//帐号 elastic 密码 eone
useradd elastic -g elastic -p eone
//更改elasticsearch文件夹及内部文件的所属用户及组为elastic:elastic：
chown -R elastic:elastic elasticsearch-5.6.3
//切换用户 
su elastic
  • 再启动。

img

切换到root用户编辑limit.conf文件
vi /etc/security/limits.conf
在文件末尾添加
elastic soft nofile 65536
elastic hard nofile 65536
  • 再启动

img

  • 采用了虚拟机，所临时修改下。

*此操作需要root权限

[root@localhost ~]# sysctl -w vm.max_map_count=2621441

查看修改结果

[root@localhost ~]# sysctl -a|grep vm.max_map_count
vm.max_map_count = 262144

访问Elasticsearch

  • 注意默认的防火墙，测试环境建议关掉。

img

  • 如果中断掉窗口或者意外退出就导致elasticsearch stop程序。
// 启动的时候添加-d 参数后台运行
./bin/elasticsearch -d

Kibana

  • 解压
tar -zxvf kibana-5.6.3.tar.gz
  • 修改配置文件进入kibana的解压目录的config目录下，编辑kibana.yml，server.port：5601放开，server.host修改为kibana的安装服务器，配置elasticsearch的路径端口

img

最近更新:
Contributors: 庆峰