Nginx状态监控以及日志分析详解_nginx

来源:脚本之家  责任编辑:小易  

爱站SEO工具包之网站日志分析工具的使用方法。1、此工具可以自动识别IIS、Apache、Nginx日志格式,支持直接拖拽日志一个或多个文件(夹)至窗口进行分析,每一项数据都分别以“数据显示”和“图形显示”两种不同方式向用户展示数据结果。2、蜘蛛分析之(概要分析)即所有不同的蜘蛛的访问次数、停留时间、总抓取量的数据分析,(还可以单选不同蜘蛛)进行查询。蜘蛛分析之(概要分析)图表显示,(还可以单选不同蜘蛛)进行查询显示。3、蜘蛛分析之(目录抓取)即站点目录被抓取的数据量分析。可以针对对某个目录或蜘蛛进行单独查询分析,且可切换至图表显示,显示抓取量饼图,轻松了解蜘蛛抓取目录概况。4、蜘蛛分析之(页面抓取)所有页面蜘蛛抓取量分析,还可以针对某个页面或某个蜘蛛进行单独查询分析。切换至图标显示,可以显示页面抓取量饼图,快速了解抓取量最多的页面,轻松分析页面抓取情况。5、蜘蛛分析之(IP排行)分析所有蜘蛛IP地址的访问次数、抓取量和停留时长,并可以针对某个ip或蜘蛛进行单独查询分析。6、搜索引擎分析之(关键词分析)可分析出各搜索引擎来路的关键词。7、状态码分析分为用户状态码和蜘蛛状态码。通过查看网站正常状态码和问题状态码,第一时间发现网站的问题页面,及时修改,改善用户体验和蜘蛛体验。8、按时间统计,工具自动保存不同日期的日志文件数据,每一项统计功能都可以按照时间来分析,可有效查看时间段内的数据变化趋势。(还可以单选不同蜘蛛)进行查询显示。以上就是爱站SEO工具包之网站日志分析工具的详细介绍www.zgxue.com防采集请勿采集本网。

1、Nginx状态监控

由日本Murakami Giken公司研制的chip-55A型刀具破损监控仪采用声发射监控技术,实施对加工过程中刀具状态的监控,该产品与其公司生产的数控铣床配套使用,效果良好。(2)切削力信号测量法 切削力变化是切

Nginx提供了一个内置的状态信息监控页面可用于监控Nginx的整体访问情况,这个功能由ngx_http_stub_status_module模块进行实现。

二、仅这一种情况还不能断定全部结果,为此,笔者由抽样了部分日志文件,经分析百度蜘蛛电信ip段以及电信ip访客在访问网站时也会出现200 0 64这个状态码。再一个,考虑到必应的蜘蛛ip都是美国的,若网站

使用nginx -V 2>&1 | grep -o with-http_stub_status_module命令检测当前Nginx是否有status功能,如果输出ngx_http_stub_status_module则说明是有的,如果没有可以在编译时加上此模块。

(2)采集服务器的相关信息,并保存在服务器的日志文件中,供网络管理员进行定期的数据分析。主要包括:重点分区文件的变动信息、容量大小信息、服务器重新启动信息等。(3)服务器进程信息的监测。主要包括

默认情况下,status是关闭的,我们需要开启,并指定uri来访问数据。

server { listen 80; server_name default_server; location /status { stub_status on; allow 114.247.125.227; }}

allow配置只允许指定的Ip才能访问nginx status功能,去掉就是不限制。

重启Nginx之后,浏览器访问http://{IP}/status查看状态监控信息

Active connections:当前的客户端活动连接数(包含正在等待的客户端连接),相当于TCP连接状态处于Established和SYN_ACK accepts: 已接受的客户端连接总数,即已被worker进程接收的连接 handled: 已被处理的连接总数 requests: 客户端的http请求总数 Reading: 当前正在读取的http请求数(读取到http请求首部) Writing: 当前准备响应的连接数(写入到http响应首部) Waiting: 当前处于等待的空闲客户端请求数, 等待的时间为Reading和Writing之间的间隔

采集到Nginx数据之后就可以用监控工具给监控起来了。

2、日志分析

Nginx默认的日志格式配置可以在/etc/nginx/nginx.conf中找到

log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" $request_time $upstream_response_time';

打印的日志实例

39.105.66.117 - mp [11/Sep/2019:19:03:01 +0800] "POST /salesplatform-gateway/users HTTP/1.1" 200 575 "-" "Apache-HttpClient/4.5.5 (Java/1.8.0_161)" "-" 0.040 0.040

39.105.66.117 - mp [11/Sep/2019:19:03:08 +0800] "POST /salesplatform-gateway/users HTTP/1.1" 200 575 "-" "Apache-HttpClient/4.5.5 (Java/1.8.0_161)" "-" 0.008 0.008

$remote_addr: 客户端的ip地址 $remote_user: 用于记录远程客户端的用户名称 $time_local: 用于记录访问时间和时区 $request: 用于记录请求的url以及请求方法 $status: 响应状态码 $body_bytes_sent: 给客户端发送的文件主体内容字节数 $http_referer: 可以记录用户是从哪个链接访问过来的 $http_user_agent: 用户所使用的浏览器信息 $http_x_forwarded_for: 可以记录客户端IP,通过代理服务器来记录客户端的ip地址 $request_time: 指的是从接受用户请求的第一个字节到发送完响应数据的时间,即$request_time包括接收客户端请求数据的时间、后端程序响应的时间、发送响应数据给客户端的时间 $upstream_response_time: 用于接收来自上游服务器的响应的时间

常用分析命令

1、根据访问IP统计UV

awk '{print $1}' paycenteraccess.log | sort -n | uniq | wc -l

2、查询访问最频繁的IP(前10)

awk '{print $1}' /var/log/nginx/access.log | sort -n |uniq -c | sort -rn | head -n 10

3、查看某一时间段的IP访问量(1-8点)

awk '$4 >="[25/Mar/2020:01:00:00" && $4 <="[25/Mar/2020:08:00:00"' /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c| sort -nr |wc -l

4、查看访问100次以上的IP

awk '{print $1}' /var/log/nginx/access.log | sort -n |uniq -c |awk '{if($1 >100) print $0}'|sort -rn

5、查看指定ip访问过的url和访问次数

grep "39.105.67.140" /var/log/nginx/access.log|awk '{print $7}' |sort |uniq -c |sort -n -k 1 -r

6、根据访问URL统计PV

cat /var/log/nginx/access.log |awk '{print $7}' |wc -l

7、查询访问最频繁的URL(前10)

awk '{print $7}' /var/log/nginx/access.log | sort |uniq -c | sort -rn | head -n 10

8、查看访问最频的URL([排除/api/appid])(前10)

grep -v '/api/appid' /var/log/nginx/access.log|awk '{print $7}' | sort |uniq -c | sort -rn | head -n 10

9、查看页面访问次数超过100次的页面

cat /var/log/nginx/access.log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less

10、查看最近1000条记录,访问量最高的页面

tail -1000 /var/log/nginx/access.log |awk '{print $7}'|sort|uniq -c|sort -nr|less

11、统计每小时的请求数,top10的时间点(精确到小时)

awk '{print $4}' /var/log/nginx/access.log |cut -c 14-15|sort|uniq -c|sort -nr|head -n 10

12、统计每分钟的请求数,top10的时间点(精确到分钟)

awk '{print $4}' /var/log/nginx/access.log |cut -c 14-18|sort|uniq -c|sort -nr|head -n 10

13、统计每秒的请求数,top10的时间点(精确到秒)

awk '{print $4}' /var/log/nginx/access.log |cut -c 14-21|sort|uniq -c|sort -nr|head -n 10

14、查找指定时间段的日志

awk '$4 >="[25/Mar/2020:01:00:00" && $4 <="[25/Mar/2020:08:00:00"' /var/log/nginx/access.log

15、列出传输时间超过 0.6 秒的url,显示前10条

cat /var/log/nginx/access.log |awk '(substr($NF,2,5) > 0.6){print $4,$7,substr($NF,2,5)}' | awk -F '"' '{print $1,$2,$3}' |sort -k3 -rn | head -10

16、列出/api/appid请求时间超过0.6秒的时间点

cat /var/log/nginx/access.log |awk '(substr($NF,2,5) > 0.6 && $7~/\/api\/appid/){print $4,$7,substr($NF,2,5)}' | awk -F '"' '{print $1,$2,$3}' |sort -k3 -rn | head -10

17、获取前10条最耗时的请求时间、url、耗时

cat /var/log/nginx/access.log |awk '{print $4,$7,substr($NF,2,5)}' | awk -F '"' '{print $1,$2,$3}' | sort -k3 -rn | head -10

总结

到此这篇关于Nginx状态监控以及日志分析的文章就介绍到这了,更多相关Nginx状态监控及日志分析内容请搜索真格学网以前的文章或继续浏览下面的相关文章希望大家以后多多支持真格学网!

通过查看Nginx的并发连接,我们可以更清除的知道网站的负载情况。Nginx并发查看有两种方法(之所以这么说,是因为笔者只知道两种),一种是通过web界面,一种是通过命令,web查看要比命令查看显示的结果精确一些。下面介绍这两种查看方法No1、通过浏览器查看通过web界面查看时Nginx需要开启status模块,也就是安装Nginx时加上 –with-http_stub_status_module 然后配置Nginx.conf,在server点里面加入如下内容location/nginx_status {stub_status on;access_log off;allow 192.168.1.100;访问IPdeny all;}配置完后重新启动Nginx后我们可以通过浏览器访问http://localhost/status 查看,如下图解析:Active connections/当前 Nginx 正处理的活动连接数。server accepts handledrequests/总共处理了8 个连接,成功创建 8 次握手,总共处理了500个请求。Reading/nginx 读取到客户端的 Header 信息数。Writing/nginx 返回给客户端的 Header 信息数。Waiting/开启 keep-alive 的情况下,这个值等于 active –(reading+writing),意思就是 Nginx 已经处理完正在等候下一次请求指令的驻留连接No2、通过命令查看netstat-n|awk‘/^tcp/{+S[$NF]} END {for(a in S)print a,S[a]}’TIME_WAIT 17ESTABLISHED 3254LAST_ACK 236FIN_WAIT_1 648FIN_WAIT_2 581CLOSING 7CLOSE_WAIT 4916解析:CLOSED/无连接是活动的或正在进行LISTEN/服务器在等待进入呼叫SYN_RECV/一个连接请求已经到达,等待确认SYN_SENT/应用已经开始,打开一个连接ESTABLISHED/正常数据传输状态/当前并发连接数FIN_WAIT1/应用说它已经完成FIN_WAIT2/另一边已同意释放ITMED_WAIT/等待所有分组死掉CLOSING/两边同时尝试关闭TIME_WAIT/另一边已初始化一个释放LAST_ACK/等待所有分组死掉内容来自www.zgxue.com请勿采集。


  • 本文相关:
  • nginx日志配置指令详解
  • 详解用elk来分析nginx服务器日志的方法
  • nginx服务器中access_log日志分析与配置详解
  • shell脚本分析 nginx日志访问次数最多及最耗时的页面(慢查询)
  • php连接nginx服务器并解析nginx日志的方法
  • nginx日志统计分析的常用命令总结
  • nginx服务状态监控的方法
  • nginx配置检测服务状态的实现方法
  • python监控nginx端口和进程状态
  • nginx日志按天生成和定期删除日志的方法
  • nginx服务器中使用gzip压缩的相关配置解析
  • nginx服务器中限制连接数与限制请求的模块配置教程
  • nginx配置访问图片路径以及html静态页面的调取方法
  • nginx日志中添加请求的response日志(推荐)
  • nginx设置目录白名单、ip白名单的实现方法
  • 在nginx服务器中启用ssl的配置方法
  • debian系统下为php程序配置nginx服务器的基本教程
  • nginx使用replace-filter-nginx-module实现内容替换的示例
  • 利用nginx反向代理解决跨域问题详解
  • 如何监控 NGINX
  • 爱站SEO工具包之日志分析工具
  • 网站日志分析里面的用户状态码出现了500我该怎么解决
  • 如何做日志分析
  • 刀具磨损的检测与监控方法
  • 网站日志分析问题
  • 如何监控服务器运行状态
  • 如何收集 NGINX 指标
  • 网站首页网页制作脚本下载服务器操作系统网站运营平面设计媒体动画电脑基础硬件教程网络安全星外虚拟主机华众虚拟主机linuxwin服务器ftp服务器dns服务器tomcat nginxzabbix云和虚拟化服务器其它首页服务器nginx日志配置指令详解详解用elk来分析nginx服务器日志的方法nginx服务器中access_log日志分析与配置详解shell脚本分析 nginx日志访问次数最多及最耗时的页面(慢查询)php连接nginx服务器并解析nginx日志的方法nginx日志统计分析的常用命令总结nginx服务状态监控的方法nginx配置检测服务状态的实现方法python监控nginx端口和进程状态nginx日志按天生成和定期删除日志的方法nginx服务器中使用gzip压缩的相关配置解析nginx服务器中限制连接数与限制请求的模块配置教程nginx配置访问图片路径以及html静态页面的调取方法nginx日志中添加请求的response日志(推荐)nginx设置目录白名单、ip白名单的实现方法在nginx服务器中启用ssl的配置方法debian系统下为php程序配置nginx服务器的基本教程nginx使用replace-filter-nginx-module实现内容替换的示例利用nginx反向代理解决跨域问题详解nginx提示:500 internal servernginx 多站点配置方法集合权限问题导致nginx 403 forbiddenginx fastcgi错误primary scripnginx服务器的反向代理proxy_pasnginx 403 forbidden的解决办法nginx伪静态配置和常用rewrite伪nginx下301重定向域名的方法小结详解nginx服务器中配置超时时间的windows下nginx+php5的安装与配置nginx根据不同浏览器语言配置页面跳转的方使nginx服务器支持.htaccess的方法解读nginx中limit配置参数nginx源码分析线程池详解如何让nginx快速支持tls1.3协议详解nginx worker_connections配置太低导致50详解linux环境下使nginx服务器支持中文urnginx的try_files指令使用实例nginx服务器下防盗链的方法介绍常见的nginx配置误区
    免责声明 - 关于我们 - 联系我们 - 广告联系 - 友情链接 - 帮助中心 - 频道导航
    Copyright © 2017 www.zgxue.com All Rights Reserved