Fluentd 是一个开源的数据收集器,它目前有超过 500 种的 plugin,可以连接各种数据源和数据输出组件。在接下来的实践中,Fluentd 会负责收集容器日志,然后发送给 Elasticsearch。日志处理流程如下:
这里我们用 Filebeat 将 Fluentd 收集到的日志转发给 Elasticsearch。这当然不是唯一的方案,Fluentd 有一个 pluginfluent-plugin-elasticsearch可以直接将日志发送给 Elasticsearch。条条道路通罗马,开源世界给予了我们多种可能性,可以根据需要选择合适的方案。
安装 Fluentd
同样的,最高效的实践方式是运行一个 fluentd 容器。
docker run -d -p 24224:24224 -p 24224:24224/udp -v /data:/fluentd/log fluent/fluentd
fluentd 会在 TCP/UDP 端口 24224 上接收日志数据,日志将保存在 Host 的/data目录中。
重新配置 Filebeat
编辑 Filebeat 的配置文件/etc/filebeat/filebeat.yml,将/data添加到监控路径中。
重启 Filebeat。
systemctl restart filebeat.service
监控容器日志
启动测试容器。
docker run -d
--log-driver=fluentd
--log-opt fluentd-address=localhost:24224
--log-opt tag="log-test-container-A"
busybox sh -c 'while true; do echo "This is a log message from container A"; sleep 10; done;'
docker run -d
--log-driver=fluentd
--log-opt fluentd-address=localhost:24224
--log-opt tag="log-test-container-B"
busybox sh -c 'while true; do echo "This is a log message from container B"; sleep 10; done;'
--log-driver=fluentd告诉 Docker 使用 Fluentd 的 logging driver。
--log-opt fluentd-address=localhost:24224将容器日志发送到 Fluentd 的数据接收端口。
--log-opt tag="log-test-container-A"和--log-opt tag="log-test-container-B"在日志中添加一个可选的 tag,用于区分不同的容器。
容器启动后,Kibana 很快就能够查询到容器的日志。
上篇:
阿里巴巴又开源了:蚂蚁金服分布式中间件之微服务SOFAMesh
下篇:
【prometheus】- Blackbox_exporter监控web页面
1 绝了!一键用AI生成高颜值动态PPT(附详细步骤+Prompt) 2 IT运维服务方案V3.0【拿来即用】 3 县域医院机房和数据中心建设方案(PPT) 4 从 0 到 1:使用 Loki + Promtail + Grafana 搭建日... 5 Unsloth:大模型微调的革命性工具,支持DeepSeek QwQ Gemma... 6 一文图解Agent智能体:60张图、14个技术点回顾Agent的基本认知 7 SFT 指令微调数据 如何构建? 8 快速对QWen2.5大模型进行微调 9 DeepseekR1+ollama+dify1.0.0搭建企业/个人知识库 10 使用Easy Dataset为大模型准备训练数据,在线部署 11 Kubernetes集群日志-使用Loki实现高效日志分析和查询 12 VMware VSAN 6.7 安装部署指南