Linux 日志管理 Rsyslog Loganalyzer

睫毛膏俊秀 2022-09-27 09:50:28  63919

分类专栏：资讯

Syslog常被称为系统日志或系统记录，是一种用来在互联网协议（TCP/IP）的网上中传递记录档消息的标准。这个词汇常用来指涉实际的syslog 协议，或者那些提交syslog消息的应用程序或数据库。

syslog协议属于一种主从式协议：syslog发送端会发送出一个小的文字消息（小于1024位组）到syslog接收端。接收端通常名为“syslogd”、“syslog daemon”或syslog服务器。系统日志消息可以被以UDP协议及╱或TCP协议来发送。这些数据是以明码类型被发送。不过由于SSL加密外套（例如Stunnel、sslio或sslwrap等）并非syslog协议本身的一部分，因此可以被用来透过SSL/TLS方式提供一层加密。

Rsyslog 是syslog 的升级版，一个快速处理收集系统日志的程序，提供了高性能、安全功能和模块化设计，将多种来源输入输出转换结果到目的地。

Rsyslog的传输方式有三种:

UDP 传输协议
基于传统UDP协议进行远程日志传输，也是传统syslog使用的传输协议；
可靠性比较低，但性能损耗最少
在网络情况比较差，或者接收服务器压力比较高情况下，可能存在丢日志情况。
TCP 传输协议
基于传统TCP协议明文传输，需要回传进行确认，可靠性比较高；
但在接收服务器宕机或者两者之间网络出问题的情况下，会出现丢日志情况。
RELP 传输协议
RELP（Reliable Event Logging Protocol）是基于TCP封装的可靠日志消息传输协议；
是为了解决TCP 与 UDP 协议的缺点而在应用层实现的传输协议，也是三者之中最可靠的。
对于线上服务器，为了日志安全起见，建议使用 RELP 协议进行传输。

查看系统中 Rsyslog 版本信息

Rsyslog 的主配置文件为 /etc/rsyslog.conf
Rsyslog 的配置主要有以下模块:
modules：模块，配置加载的模块，如：ModLoad imrelp 配置加载RELP传输模块
global directives：全局配置，配置ryslog守护进程的全局属性，比如主信息队列大小（MainMessageQueueSize）
rules：规则（选择器+动作），每个规则由两部分组成，selector部分和action部分，这两部分由一个或多个空格或tab分隔，selector部分指定源和日志等级，action部分指定对应的操作

常用的modules
imudp，传统方式的UDP传输，有损耗
imtcp，基于TCP明文的传输，只在特定情况下丢失信息，并被广泛使用
imrelp，RELP传输，不会丢失信息

规则（rules）

规则的选择器（selectors）由两部分组成，设施和优先级，由点号.分隔。多个选择器用;分隔，如：*.info;mail.none

facility：设施，从功能或程序上对日志收集进行分类

内建的日志设施有：
auth(security), authpriv：认证授权和安全相关的消息
kern：来自Linux内核的消息
mail：邮件服务系统的各种组件
mark：防火墙标记
cron：周期任务计划相关的信息

daemon：守护进程产生的信息
news：网络消息子系统
lpr：打印相关的日志信息
user：用户进程相关的信息
local0 to local7：保留，本地使用

priority：优先级，日志级别（由低到高）

debug：包含详细的开发情报的信息，通常只在调试一个程序时使用
info：情报信息，正常的系统消息，比如骚扰报告，带宽数据等，不需要处理
notice：不是错误情况，也不需要立即处理
warning：警告信息，不是错误，比如系统磁盘使用了85%等
err：错误，不是非常紧急，在一定时间内修复即可
crit：重要情况，如硬盘错误，备用连接丢失
alert：应该被立即改正的问题，如系统数据库被破坏，ISP连接丢失
emerg：紧急情况，需要立即通知技术人员

指定级别	功能
*	所有级别
none	没有级别
priority	此级别及高于此级别的所有级别
=priority	仅此级别

动作（action）

action是规则描述的一部分，位于选择器的后面，规则用于处理消息。总的来说，消息内容被写到一种日志文件上，但也可以执行其他动作，比如写到数据库表中或转发到其他主机。

写到mysql数据库中

实验环境
LOG Server CentOS 7.5 192.168.1.2
LOG Client CentOS 7.5 192.168.1.3

首先在 LOGServer 192.168.1.2 端安装 Rsyslog、以及RELP协议支持：rsyslog-relp
yum -y install rsyslog rsyslog-relp
编辑 /etc/rsyslog.conf 主配置文件
vim /etc/rsyslog.conf
在 MODULES 下面添加以下信息：

$ModLoad imrelp 开启RELP传输协议
$InputRELPServerRun 514 设定监听端口
编辑 /etc/sysconfig/rsyslog 开启传输端口监听
vim /etc/sysconfig/rsyslog

-r指定监听端口，-c2 使用兼容模式
SYSLOGD_OPTIONS="-r514 -c2"
确认无误启动 Rsyslog 服务
systemctl start rsyslog
查看 514 端口是否被监听
ss -alnt | grep 514
在服务器端用 tail -f /var/log/messages 追踪日志
tail -f /var/log/messages

接下来在 LOGClient 192.168.1.3 端安装配置 Rsyslog
yum -y install rsyslog rsyslog-relp
编辑 /etc/rsyslog.conf 添加以下信息：
$ModLoad omrelp 指定传输协议
*.* :omrelp:192.168.1.2:514 设置那些LOG日志被记录以及LOG服务器IP和端口
重启 Rsyslog 服务
systemctl restart rsyslog
发送一条测试日志
logger -t kern -p err "This is a testlog"

然后回到 LOG Server 192.168.1.2 端查看是否接收到刚才的测试 LOG
tail -f /var/log/messages
Mar 22 15:47:29 C75_192_168_1_3 kern: This is a testlog

Loganalyzer是一款syslog日志和其他网络时间数据的web前端，它提供了对日志的简单浏览、搜索、基本分析和一些图表报告的功能。数据可以从数据库或一般syslog文本文件中获取，所有loganalyzer不需要改变现有的记录架构。基于当前的日志数据，它可以处理syslog日志消息windows事件日志记录，支持故障排除，使用户能快速查找日志数据中看出问题的解决方案。

　　loganalyzer获取客户端日志会有两种保存模式，一种是直接读取客户端/var/log目录下的日志并保存到服务端该目录下，一种是读取后保存日志服务器数据库中，这里测试的是mariadb数据库

　　Loganalyzer基于php开发，需要搭建php运行环境

接下来在 LOGServer 192.168.1.2 端安装配置 lamp 和日志管理工具：loganalyzer
lamp 具体设置请参照拙作：https://blog.csdn.net/gaofei0428/article/details/104058580 https://blog.csdn.net/gaofei0428/article/details/104224132
yum -y install mariadb mariadb-server php php-fpm php-gd php-mysql httpd rsyslog rsyslog-mysql rsyslog-relp
导入所需要的数据库和表：
mysql -uroot -p123456 < /usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql
mysql-createDB.sql 是安装 rsyslog-mysql 生成的，可以用命令查看

rpm –ql rsyslog-mysql
添加、授权用户 rsyslog 使用 Syslog 库
mysql -uroot -p123456 -e "GRANT ALL ON Syslog.* TO 'rsyslog'@'%' IDENTIFIED BY 'rsyspass';" 需要从网络登陆，%或者 192.168.1.%，localhost只能本地登陆。
mysql -uroot -p123456 -e "flush privileges;" 立即刷新权限
编辑 /etc/rsyslog.conf 主配置文件
vim /etc/rsyslog.conf
在 MODULES 下面添加以下信息：

$ModLoad imrelp    开启RELP传输协议
$InputRELPServerRun 514   设定监听端口

$ModLoad ommysql   开启 mysql 模块
在 RULES 下面添加

rule, send to mysql
*.* :ommysql:database-server,database-name,database-userid,database-password
*.* :ommysql:192.168.1.2,Syslog,rsyslog,rsyspass
从 loganalyzer 官网下载
wget https://download.adiscon.com/loganalyzer/loganalyzer-4.1.7.tar.gz
tar xf loganalyzer-4.1.7.tar.gz
cd loganalyzer-4.1.7
cp -ar ./src/* /data/web/
cp -ar ./contrib/*.sh /data/web/
cd /data/web
chmod +x ./*.sh
./configure.sh 生成 config.php 文件，属性为 666
确认无误启动服务
systemctl start httpd
systemctl start php-fpm
systemctl restart rsyslog
打开浏览器输入 http://192.168.1.2
点击 here 开始配置
Step 1 默认即可点击 Next
Step 2 测试是否可以写入 config.php 点击 Next
Step 3 默认点击 Next
Step 7
Source Type MYSQL Native 选择 MYSQL 记录方式
Select View EventLog Fields

Database Type Options

Table type MonitorWare 默认
Database Host 192.168.1.2 MariaDB Server IP
Database Name Syslog 选择数据库
Database Tablename SystemEvents 选择表，注意大小写！
Database User rsyslog MariaDB授权用户
Database Password rsyspass 用户密码
Enable Row Counting 默认
Step 8 Finish
chmod 644 /data/web/config.php
在 LOGClient 192.168.1.3 端，编辑 /etc/rsyslog.conf 修改以下信息：
$Modload ommysql
*.* :ommysql:192.168.1.2,Syslog,rsyslog,rsyspass
logger -t kern -p err "This is a testlog"