nginx设置日志打印POST请求数据及日志分割

场景

使用nginx获取POST请求数据，并且状态码返回的只能是200，那么就意味着请求的URI必须是有效的，那么在不想被FPM处理的情况下，那么可以使用nginx的location直接匹配URI如 url, nginx直接进行处理，在地址 htttps://www.example.com/url 访问的时候也就不返回404状态码了，在使用nginx直接配置URI进行处理时，是获取不到 $request_body 数据的，解决方式可以使用中间代理或其它方式进行(具体可以参考: nginx获取request_body博客文章)，本文使用的解决方式是通过第三方模块echo进行处理的！获取到POST请求数据，将其输出到特定日志文件如 example-com-access-event-click.log中，然后再写一个脚本文件进行日志分割操作，并且将这个脚本文件添加到crontab定时任务，对于产生的日志文件应该进行定时清理几天之前的日志文件以节省系统磁盘空间！

1、安装nginx第三方模块 `echo-nginx-module`

对于已安装过nginx的服务器来说，如果想要添加第三方模块，可以下载与当前使用版本相同的nginx源码包及echo扩展源码包的方式进行重新编译安装即可！具体请继续向下看！

1.1、查看已安装nginx信息

查看当前系统已安装nginx服务器详细信息可以使用命令

$ nginx -V

可以看到具体信息类似如下

nginx version: nginx/1.17.0
built by clang 9.0.0 (clang-900.0.39.2)
built with OpenSSL 1.0.2s  28 May 2019
TLS SNI support enabled
configure arguments: --prefix=/usr/local/Cellar/nginx/1.17.0 --sbin-path=/usr/local/Cellar/nginx/1.17.0/bin/nginx --with-cc-opt='-I/usr/local/opt/pcre/include -I/usr/local/opt/openssl/include' --with-ld-opt='-L/usr/local/opt/pcre/lib -L/usr/local/opt/openssl/lib' --conf-path=/usr/local/etc/nginx/nginx.conf --pid-path=/usr/local/var/run/nginx.pid --lock-path=/usr/local/var/run/nginx.lock --http-client-body-temp-path=/usr/local/var/run/nginx/client_body_temp --http-proxy-temp-path=/usr/local/var/run/nginx/proxy_temp --http-fastcgi-temp-path=/usr/local/var/run/nginx/fastcgi_temp --http-uwsgi-temp-path=/usr/local/var/run/nginx/uwsgi_temp --http-scgi-temp-path=/usr/local/var/run/nginx/scgi_temp --http-log-path=/usr/local/var/log/nginx/access.log --error-log-path=/usr/local/var/log/nginx/error.log --with-compat --with-debug --with-http_addition_module --with-http_auth_request_module --with-http_dav_module --with-http_degradation_module --with-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_mp4_module --with-http_random_index_module --with-http_realip_module --with-http_secure_link_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-mail --with-mail_ssl_module --with-pcre --with-pcre-jit --with-stream --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_module

在 configure arguments 配置参数中可以看到 --prefix 安装目录为 /usr/local/Cellar/nginx/1.17.0(具体安装路径以你所使用系统为准)，可以在该nginx安装目录看到有一个modules文件夹，如果没有该文件夹请自行创建，这个目录用于存放待安装nginx第三方模块源码文件夹！

1.2、下载当前系统对应版本nginx源码包

如果说之前您所使用的系统编译安装nginx源码包文件还存在，那么可以在这次重新编译及添加第三方模块时直接可以用到，那么就没有必要再次下载nginx源码包，如果不存在请自行下载，具体可以到nginx官网进行下载操作!

1.3、下载nginx第三方扩展echo-nginx-module

进入到nginx安装目录modules文件夹

$ cd /usr/local/Cellar/nginx/1.17.0/modules

使用git进行克隆下载到当前modules文件夹

/usr/local/Cellar/nginx/1.17.0/modules$ git clone https://github.com/agentzh/echo-nginx-module.git

查看modules文件夹

/usr/local/Cellar/nginx/1.17.0/modules$ ll
drwxr-xr-x  13 root  admin   442B  6 20 18:18 echo-nginx-module

至此 echo-nginx-module 扩展已下载成功！

1.4、编译nginx源码进行nginx重新安装及添加echo扩展

将下载或遗留的nginx源码包进行解压

/root/soft$ tar -zxvf nginx-1.17.0.tar.gz

进入到nginx源码文件夹可以看到configure编译配置可执行文件

/root/soft$ cd nginx-1.17.0 && ll

将上面查看已安装nginx服务器详细信息中的 configure arguments 配置参数用于接下来的编译中，并添加 --add-module=/usr/local/Cellar/nginx/1.17.0/modules/echo-nginx-module 进行编译操作

/root/soft/nginx-1.17.0$ ./configure --prefix=/usr/local/Cellar/nginx/1.17.0 --sbin-path=/usr/local/Cellar/nginx/1.17.0/bin/nginx --with-cc-opt='-I/usr/local/opt/pcre/include -I/usr/local/opt/openssl/include' --with-ld-opt='-L/usr/local/opt/pcre/lib -L/usr/local/opt/openssl/lib' --conf-path=/usr/local/etc/nginx/nginx.conf --pid-path=/usr/local/var/run/nginx.pid --lock-path=/usr/local/var/run/nginx.lock --http-client-body-temp-path=/usr/local/var/run/nginx/client_body_temp --http-proxy-temp-path=/usr/local/var/run/nginx/proxy_temp --http-fastcgi-temp-path=/usr/local/var/run/nginx/fastcgi_temp --http-uwsgi-temp-path=/usr/local/var/run/nginx/uwsgi_temp --http-scgi-temp-path=/usr/local/var/run/nginx/scgi_temp --http-log-path=/usr/local/var/log/nginx/access.log --error-log-path=/usr/local/var/log/nginx/error.log --with-compat --with-debug --with-http_addition_module --with-http_auth_request_module --with-http_dav_module --with-http_degradation_module --with-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_mp4_module --with-http_random_index_module --with-http_realip_module --with-http_secure_link_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-mail --with-mail_ssl_module --with-pcre --with-pcre-jit --with-stream --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_module --add-module=/usr/local/Cellar/nginx/1.17.0/modules/echo-nginx-module

执行

/root/soft/nginx-1.17.0$ make && make install

进行安装即可！

2、设置nginx日志打印POST请求数据到特定日志文件

2.1、在nginx全局配置 `log_format` 格式

打开 nginx.conf 配置文件，添加配置 log_format 格式，如下:

http {
    ...
    log_format event_click escape=json '{ "@timestamp": "$time_iso8601", '
                       '"remote_addr": "$remote_addr",'
                       '"x_forwarded": "$http_x_forwarded_for",'
                       '"referer": "$http_referer",'
                       '"content":$request_body,'
                       '"agent": "$http_user_agent" }';

    server {
        ...
    }
    include /usr/local/etc/nginx/servers.d/*.conf;
}

2.2、在虚拟主机(server)中添加location匹配规则并将请求POST数据写入到日志文件及配置日志文件刷盘策略

进入到项目虚拟主机(server)配置文件，如example.com.conf，添加匹配规则及日志存储文件及刷盘策略，如下：

server {
    ...
    # 前端埋点记录日志
    location /url {
    	if ($request_method != POST) {
            return 405;
    	} 
       echo_read_request_body;
       access_log  /data/logs/nginx/example-com-access-event-click.log event_click buffer=32k flush=5s;
    }

    ...
}

2.3、location匹配规则说明

echo_read_request_body

可以看到 /url 匹配规则中使用 echo_read_request_body 进行读取 $request_body 数据，这样在日志文件，也就是 /data/logs/nginx/example-com-access-event-click.log 文件中才可以看到写入记录的POST请求数据

access_log

用了log_format指令在nginx全局配置了日志格式之后，需要用access_log指令指定日志文件的存放路径及刷盘策略(刷盘策略可有可无)；

access_log格式

access_log path(存放路径) format (自定义日志名称)

如：

access_log /data/logs/nginx/example-com-access-event-click.log event_click

event_click 对应于nginx全局配置 log_format 格式名称 event_click

access_log设置刷盘策略

对于上面的日志刷盘策略为 buffer=32k flush=5s 表示，buffer 满 32k 才刷盘；假如 buffer 不满 5s 钟强制刷盘。

如果不设置刷盘策略每一次写入日志都会产生一次磁盘IO操作，这样会对系统性能有略微影响，设置刷盘策略相对而言好一些！

3、切割日志

切割日志脚本

切割日志一般利用USR1信号让nginx的产生新的日志实例，脚本如下：

#!/bin/bash

# Nginx 项目日志文件夹
LogDir="/data/logs/nginx/example.com"
# Nginx 服务进程文件所在文件夹
PidDir="/usr/local/var/run"


# 获取Nginx 服务进程ID(进程ID)
Pid=`cat LogDir/nginx.pid`
# 获取前一个小时时间(格式为:2019062021)
TimeForOneHourBefore=`date -d "1 hours ago" +%Y%m%d%H`

# 以重名名方式进行日志文件切割(相当于备份一个小时的日志状态到另一个文件，然后在新产生的日志文件中继续写入日志)
for LogFile in `ls ${LogDir}/*access-event-click.log`; do
        mv ${LogFile} ${LogFile}"."${TimeForOneHourBefore}
done

# 向Nginx进程发送USR1信号让Nginx产生新的日志
kill -USR1 ${Pid}

添加切割日志脚本可执行权限

/root/shell$ chmod u+x split_example_com_event_click_nginx_logs_file_one_hour.sh

添加切割日志脚本定时任务

对于上面的nginx日志切割策略使用的是一小时一切割(当然，你可以根据自己的需求进行具体调整)，要使用crontab定时任务进行定时一小时执行一次脚本！

0 * * * * sh /root/shell/split_example_com_event_click_nginx_logs_file_one_hour.sh

要注意这个定时任务一定要用具有root权限的用户进行添加定时任务，因为 kill -USR1 ${Pid}，这个命令普通用户执行会失败，所以就不会产生 /data/logs/nginx/example-com-access-event-click.log新文件，只有用到root权限才可以！

4、清除7天前切割日志文件

对于产生的日志只有及时的进行利用或是分析才会产生它应有的意义，假设只保留最近7天的切割日志文件，清除之前无用的日志文件，以节省系统磁盘资源！

清除7天前切割日志文件脚本

#!/bin/bash

# Nginx 项目日志文件夹
LogDir="/data/logs/nginx/example.com"

# 获取7天前时间(格式为:20190613)
TimeFor7DaysBefore=`date -d "7 days ago" +%Y%m%d`

# 清除7天前的日志文件
rm -v ${LogDir}"/access-event-click.log."${TimeFor7DaysBefore}*

添加清除7天前切割日志文件脚本可执行权限

/root/shell$ chmod u+x clear_example_com_event_click_nginx_logs_file_7_days_before.sh

添加清除7天前切割日志文件脚本定时任务

对于上面的清除7天前切割日志文件脚本可以使用crontab定时任务进行定时一天执行一次脚本！

0 0 * * * sh /root/shell/clear_example_com_event_click_nginx_logs_file_7_days_before.sh