ELK搭建2 – 小逸的博客

前言

elk是指 ,elasticsearch+Logstash+Kibana

上次搭建是使用旧版本，具体搭建过程

ELK 搭建

本次搭建是把logstash换了了filebeat.

logstash可以对数据进行处理，但是我们的数据格式可能多种多样，索性就不对数据做处理，直接读取并显示一行。

搭建过程和上面的过程大同小异

最主要的是elk下载的时候尽量下载同一个版本。

本次搭建依旧使用的是centos7+JDK1.8+elk 7.10.0，环境搭建不在赘述

搭建未用到logstash

1、elasticsearch

配置文件为解压后的config/elasticsearch.yml

配置为与上次搭建的配置相同即可。

注意 es不能在root 环境下运行，需要新建一个用户，然后执行

chown -R 用户:组 elasticsearch

然后运行 ./bin/elasticsearch

2、Filebeat

配置文件为filebeat.yml

# ============================== Filebeat inputs ===============================
filebeat.inputs:
- type: log
  enabled: true
  recursive_glob.enabled: true    #寻找当前目录及子目录
  paths:
    - /data/*/*.txt    #日志的目录
    #- /var/data/*txt
    #- c:\programdata\elasticsearch\logs\*
# ============================== Filebeat modules ==============================
filebeat.config.modules:    #filebeat 加载的模块可以不用管。
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
# ======================= Elasticsearch template setting =======================
setup.template.settings:     ##输出到elasticsearch的配置
  index.number_of_shards: 1   ##配置分片数为1
setup.template.name: "filebeat-7.10.0-2020.12.06-000001"  #配置索引名称c
setup.template.pattern: "filebeat-*"        
setup.ilm.enabled: false         #默认是50g+30天，满足条件就新建索引，所以关闭
output.elasticsearch.index: "filebeat-7.10.0-2020.12.06-000001" #输出到索引的名称
setup.template.overwrite: true   #覆盖模板文件为了使上面配置生效

output.elasticsearch:      #输出到elasticsearch
  # Array of hosts to connect to.
  hosts: ["localhost:9200"]   
# ================================= Processors =================================
processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~
processors:  ##过滤掉多余的索引名
- drop_fields:
    fields: ["input_type", "log.offset", "host.name", "input.type", "agent.hostname", "agent.type", "ecs.version", "agent.ephemeral_id", "agent.id", "agent.version", "fields.ics", "log.file.path", "log.flags" ]

#############结束

配置好配置文件、同elasticsearch，用刚建立的非root用户运行。

运行:

./filebeat -e

3、Kibana

配置为：config/kibana.yml

主要改了以下几处

server.port: 5601
server.host: "0.0.0.0"   设置为0.0.0.0可以远程访问。
elasticsearch.hosts: ["http://localhost:9200"]
xpack.reporting.capture.browser.chromium.disableSandbox: false  #当时运行报错加了这句。

运行同elasticsearch，用刚建立的非root用户运行。

./bin/kibana

至此搭建完成，然后我们把裤子文件放进刚才配置的地方。

浏览器打开kibana添加索引，如下图。