Bài 3: Setup Filebeat
Ở những bài trước, ta biết được Elasticsearch cần Beats và Logstash để có thể thu thập thông tin từ hệ thống rồi visualize trên Web bằng Kibana
Bài này sẽ hướng dẫn cài đặt và setup Filebeat để thu thập logging từ các máy và visualize trên Kibana Dashboard.
Cài đặt Filebeat
Bước 1: Cài đặt các gói phụ trợ cần thiết
apt-get install -y wget apt-transport-https gnupg
Bước 2: Tải và thêm PGP key của Elastic
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | gpg --dearmor -o /usr/share/keyrings/elastic-keyring.gpg
Bước3: Thêm kho lưu trữ Elastic vào hệ thống
echo "deb [signed-by=/usr/share/keyrings/elastic-keyring.gpg] https://artifacts.elastic.co/packages/8.x/apt stable main" | tee /etc/apt/sources.list.d/elastic-8.x.list
Note: Lệnh trên sử dụng Elastic phiên bản 8.x
Bước 4: Cập nhật lại danh sách gói và cài đặt Filebeat
apt-get update && apt-get install -y filebeat
Sau khi cài đặt, kiểm tra và cho phép Filebeat khởi chạy cùng với hệ thống.
# Bật tự khởi động cùng hệ thống
systemctl enable filebeat
# Khởi chạy Filebeat
systemctl start filebeat
# Kiểm tra trạng thái
systemctl status filebeat
Setup thu thập logging
Sau khi cài đặt Filebeat, cấu hình file /etc/filebeat/filebeat.yml
Thêm setup cho Kibana và output.elasticsearch
setup.kibana:
host: "localhost:5601"
output.elasticsearch:
hosts: ["localhost:5601"]
Preset: Balance
username: "elastic"
password: "<password>"
Enable module system
Cho phép filebeat thu thập log hệ thống bằng cách bật module System với command sau:
filebeat modules list && filebeat modules enable system
Cấu hình fileset
cd /etc/filebeat/modules.d
nano system.yml
Chỉnh syslog và auth
syslog:
enabled: true
auth:
enabled: true
Test lại output với filebeat test output. Kết quả trả về "OK" là thành công.
Lưu setup filebeat
filebeat setup -e
Sau khi hoàn thành quá trình setup, khởi động lại dịch vụ Filebeat:
sudo systemctl restart filebeat && sudo systemctl enable filebeat
Kiểm tra kết quả
Truy cập DASHBOARD của Kibana: http://<IP Kibana>:5601
1. Chọn DISCOVER: xem log
2. Chọn DASHBOARD
- Tìm kiếm "System"
- Chọn các Dashboard hỗ trợ
Vậy là chúng ta đã thành công cài đặt Filebeat để ghi logging hệ thống.
Kết nối với các máy chủ khác
Các máy khác thực hiện các bước cài filebeat tương tự, nhưng cần thay đổi nhỏ ở filebeat.yml
setup.kibana:
host: "<IP_VM_ELK>:5601"
output.elasticsearch:
hosts: ["<IP_VM_ELK>:5601"]
Preset: Balance
username: "elastic"
password: "<password>"
Sau khi cài đặt Filebeat và cấu hình Fileset, Filebeat sẽ tự động đẩy logging của máy lên Elasticsearch.
Link tham khảo: