全国咨询/投诉热线:400-618-9090

首页技术文章正文

ELK日志收集系统部署[linux运维]

更新时间:2019-10-16 来源:黑马程序员 浏览量:

日志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志:操作系统内核、各种应用服务器等等。日志的内容、规模和用途也各不相同,很难一概而论。

Web日志中包含了大量人们——主要是产品分析人员会感兴趣的信息,最简单的,我们可以从中获取网站每类页面的PV值(PageView,页面访问量)、独立IP数(即去重之后的IP数量)等;稍微复杂一些的,可以计算得出用户所检索的关键词排行榜、用户停留时间最高的页面等;更复杂的,构建广告点击模型、分析用户行为特征等等。【推荐了解软件测试课程

今天给大家介绍一款日志分析工具:ELK

ELK由Elasticsearch、Logstash和Kibana三部分组件组成;

Elasticsearch 是基于 JSON 的分布式搜索和分析引擎,专为实现水平扩展、高可用和管理便捷性而设计

Logstash 是开源的服务器端数据处理管道,能够同时 从多个来源采集数据、转换数据,然后将数据发送到您最喜欢的 “存储库” 中。(我们的存储库当然是 Elasticsearch。)

Kibana 能够以图表的形式呈现数据,并且具有可扩展的用户界面,供您全方位配置和管理 Elastic Stack。

今天的试验是:通过ELK分析线上所有Nginx的访问日志。

一、试验拓扑图

1571217171220_ELK-1.jpg


二、软件包获得

Nginx下载http://nginx.org/en/download.html

1571217182717_ELK-2.jpg


Redis下载 https://redis.io/

1571217192082_ELK-3.jpg

Elasticsearch logstash kibana下载 https://www.elastic.co/downloads

1571217206614_ELK-4.jpg

三、开始部署

3.1)业务机部署A

业务机:192.168.1.242/24

OS:rhel6.5

涉及软件:nginx+logstash+redis+jdk


软件包准备:根据上述的提示下载软件包

[root@242 opt]# ls

jdk-8u144-linux-x64.rpm  logstash-5.5.1.tar.gz  nginx-1.13.4.tar.gz  redis-4.0.1.tar.gz

 

3.1.1)安装JDK

[root@242 opt]# rpm -ivh jdk-8u144-linux-x64.rpm

Preparing...                ####################################### [100%]

   1:jdk1.8.0_144           ######################################## [100%]

Unpacking JAR files...

        tools.jar...

        plugin.jar...

        javaws.jar...

        deploy.jar...

        rt.jar...

        jsse.jar...

        charsets.jar...

        localedata.jar...

 

设置java环境变量

[root@242 opt]# vim /root/.bash_profile    末尾追加一下内容

JAVA_HOME=/usr/java/jdk1.8.0_144

PATH=$JAVA_HOME/bin:$PATH:$HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

export PATH JAVA_HOME CLASSPATH CATALINA_HOME

 

生效配置并验证

[root@242 opt]# source /root/.bash_profile

[root@242 opt]# java -version

java version "1.8.0_144"

Java(TM) SE Runtime Environment (build 1.8.0_144-b01)

Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

 

3.1.2)安装redis

[root@242 opt]# tar xf redis-4.0.1.tar.gz

[root@242 opt]# cd redis-4.0.1

[root@242 redis-4.0.1]# make

[root@242 redis-4.0.1]# make install

 

配置redis

[root@242 redis-4.0.1]# sed -i -r '/^(bind)/s/127.0.0.1/0.0.0.0/' redis.conf

[root@242 redis-4.0.1]# sed -i -r '/^(daemonize)/s/no/yes/' redis.conf

 

启动redis

[root@242 redis-4.0.1]# redis-server redis.conf

5789:C 30 Aug 11:09:58.584 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo

5789:C 30 Aug 11:09:58.584 # Redis version=4.0.1, bits=64, commit=00000000, modified=0, pid=5789, just started

5789:C 30 Aug 11:09:58.584 # Configuration loaded

 

验证启动

 [root@242 redis-4.0.1]# lsof -i :6379

COMMAND    PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME

redis-ser 5790 root    6u  IPv4  18672      0t0  TCP *:6379 (LISTEN)

 

3.1.3)安装nginx

[root@242 opt]# tar xf nginx-1.13.4.tar.gz

[root@242 opt]# cd nginx-1.13.4

[root@242 nginx-1.13.4]# yum -y install pcre-devel zlib-devel

[root@242 nginx-1.13.4]# ./configure --prefix=/usr/local/nginx

[root@242 nginx-1.13.4]# make

[root@242 nginx-1.13.4]# make install

修改nginx配置文件,重新定义log_format 以json格式输出日志到access.log

[root@242 nginx-1.13.4]# cd /usr/local/nginx/conf/

[root@242 conf]# vim nginx.conf
1571217269340_ELK-5.jpg

启动nginx并验证

[root@242 conf]# /usr/local/nginx/sbin/nginx

[root@242 conf]# lsof -i :80

COMMAND   PID   USER   FD   TYPE DEVICE SIZE/OFF NODE NAME

nginx   10765   root    6u  IPv4  24510      0t0  TCP *:http (LISTEN)

nginx   10766 nobody    6u  IPv4  24510      0t0  TCP *:http (LISTEN)

访问一次nginx 验证日志格式是否正确

1571217282149_ELK-6.0.jpg


3.1.4)安装logstash

[root@242 opt]# tar xf logstash-5.5.1.tar.gz -C /usr/local/

[root@242 opt]# cd /usr/local/logstash-5.5.1/

[root@242 logstash-5.5.1]# mkdir conf.d

[root@242 logstash-5.5.1]# vim conf.d/nginx_to_redis

input {

    file {

        path => ["/usr/local/nginx/logs/access.log"]

        type => "nginx_log"

        codec => json

    }

}

 

output {

    redis{

        host => "192.168.1.242"

        key => 'logstash:redis'

        data_type => 'channel'

        port => '6379'

    }

    stdout {

        codec    => rubydebug

    }

}

 

启动logstash 并测试是否成功收集nginx日志到redis

[root@242 ~]# /usr/local/logstash-5.5.1/bin/logstash -f /usr/local/logstash-5.5.1/conf.d/nginx_to_redis
1571217503669_ELK日志收集系统部署.jpg

查看启动日志

[root@242 logstash-5.5.1]# tailf /usr/local/logstash-5.5.1/logs/logstash-plain.log

1571217323076_ELK-7.jpg

测试日志收集

Logstash收集日志输出

1571217334727_ELK-8.jpg

开启redis 监控

1571217349619_ELK-9.jpg


3.2)业务机部署B

业务机:192.168.1.241/24

OS:rhel6.5

涉及软件:elasticsearch+logstash+kibana

[root@241 opt]# ls

elasticsearch-5.5.1.rpm 

kibana-5.5.1-x86_64.rpm 

jdk-8u144-linux-x64.rpm 

logstash-5.5.1.tar.gz

 

3.2.1)安装jdk

     参考242设置

 

3.2.2)安装elasticsearch

  [root@241 opt]# rpm -ivh elasticsearch-5.5.1.rpm

warning: elasticsearch-5.5.1.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY

Preparing...                ######################################## [100%]

Creating elasticsearch group... OK

Creating elasticsearch user... OK

   1:elasticsearch          ######################################## [100%]

### NOT starting on installation, please execute the following statements to configure elasticsearch service to start automatically using chkconfig

 sudo chkconfig --add elasticsearch

### You can start elasticsearch service by executing

 sudo service elasticsearch start

 

配置elasticsearch

[root@241 opt]# sed -i -r '/^(#network\.host:)/cnetwork.host: 0.0.0.0' /etc/elasticsearch/elasticsearch.yml

[root@241 opt]# sed -i -r '/^(#http\.port:)/chttp.port: 9200' /etc/elasticsearch/elasticsearch.yml

[root@241 opt]# sed -i -r '/^(#bootstrap\.memory_lock:)/c\bootstrap.memory_lock: false\nbootstrap.system_call_filter: false' /etc/elasticsearch/elasticsearch.yml

优化系统

[root@241 opt]# vim /etc/security/limits.conf   末尾追加

elasticsearch          soft    nproc     10240

elasticsearch          hard    nproc     10240

*                              soft    nofile  65540

*                              hard    nofile  65540

重启计算机生效

 

启动elasticsearch

[root@241 opt]# /etc/init.d/elasticsearch start

Starting elasticsearch:                                    [  OK  ]

验证

1571217360781_ELK-10.jpg

3.2.3)安装logstash

[root@241 opt]# tar xf logstash-5.5.1.tar.gz -C /usr/local/

[root@241 opt]# cd /usr/local/logstash-5.5.1/

[root@241 logstash-5.5.1]# mkdir conf.d

[root@241 logstash-5.5.1]# vim conf.d/redis_to_elk

input {

    redis {

        port => "6379"

        host => "192.168.1.242"

        data_type => "channel"

        key => "logstash:redis"

        type => "redis-input"

  }

}

output {

    elasticsearch {

        hosts => "192.168.1.241"

        index => "logstash-%{+YYYY.MM.dd}"

        action => "index"

  }

    stdout {

       codec => rubydebug

    }

}

 

启动logstash

[root@241 logstash-5.5.1]#./bin/logstash -f conf.d/redis_to_elk

1571217371000_ELK-11.jpg

访问一次测试数据是否有redis写入到elk

1571217379583_ELK-12.jpg

3.2.4)安装kibana

[root@241 opt]# rpm -ivh kibana-5.5.1-x86_64.rpm

warning: kibana-5.5.1-x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY

Preparing...                ####################################### [100%]

   1:kibana               ####################################### [100%]

修改配置文件中的

[root@241 opt]# sed -i -r '/^(#server.host:)/c\server.host: "0.0.0.0"' /etc/kibana/kibana.yml

[root@241 opt]# /etc/init.d/kibana start

kibana started

验证启动

[root@241 opt]# netstat -ntpl |grep 5601

tcp        0      0 0.0.0.0:5601                0.0.0.0:*                   LISTEN      1993/node

 

测试通过浏览器

1571217583766_ELK日志收集系统部署1.jpg
1571217646974_ELK日志收集系统部署2.jpg
1571217653062_ELK日志收集系统部署3.jpg
1571217684229_ELK日志收集系统部署4.jpg
1571217748726_ELK日志收集系统部署5.jpg
1571217792911_ELK日志收集系统部署6.jpg
1571217850088_ELK日志收集系统部署7.jpg
1571217855092_ELK日志收集系统部署8.jpg
1571217885932_ELK日志收集系统部署10.jpg
1571217998123_ELK日志收集系统部署11.jpg
1571218004306_ELK日志收集系统部署12.jpg
1571218034004_ELK日志收集系统部署13.jpg
1571218068105_ELK日志收集系统部署14.jpg
1571218103399_ELK日志收集系统部署15.jpg
1571218159375_ELK日志收集系统部署16.jpg

javaee

http://www.itcast.cn/files/image/202012/20201209100457953.pngpython

web

ui

cloud

test

c

netmarket

pm

Linux

movies

robot

http://www.itcast.cn/subject/uizly/index.shtml?seozxuids

pythonAI

在线咨询 我要报名