IT俱乐部 Linux Linux在服务器多节点下面实现快速查找日志

Linux在服务器多节点下面实现快速查找日志

Linux在服务器多节点下查找日志

最近在查找一个核心服务的后台日志,发现竟然部署了十几个节点,而且没使用ELK来做日志处理,所以查找日志非常不方便,不可能一个服务节点一个服务地找,所以通过同事间互相沟通找到一个方法,通过 $(find …)加上grep关键字来实现多节点日志模糊查找

日志部署

多节点的日志归档,是按照日期进行归类,在对应日期文件夹下面,是多个服务器节点的归类目录,在节点目录下面是业务模块命名的文件夹

举个例子:

/2024-10-17/server01-192.168.0.1/portal/catalina.out.2024-10-17
/2024-10-17/server02-192.168.0.2/portal/catalina.out.2024-10-17
/2024-10-17/server03-192.168.0.3/portal/catalina.out.2024-10-17

所以节点少,还可以一个节点一个节点查找,节点多就需要通过一条命令来查找,先cd到日期命名的目录,然后通过一条命令进行全量扫描

grep "关键字" $(find ./ -type f -name catalina.out.2024-10-17|grep portal)

Linux查看日志的几种方法

最常用查看日志方法

  • 实时日志:tail -f XXX.log
  • 搜索关键字附近日志:cat -n XXX.log | grep “关键字”

查看日志常用命令

tail

-n  是显示行号;相当于nl命令;

例子如下:

  • tail -100f test.log      实时监控100行日志
  • tail  -n  10  test.log   查询日志尾部最后10行的日志;
  • tail -n +10 test.log    查询10行之后的所有日志;

head

跟tail是相反的,tail是看后多少行日志,而head是查看日志文件的头多少行,例子如下:

  •  head -n 10  test.log   查询日志文件中的头10行日志;
  • head -n -10  test.log   查询日志文件除了最后10行的其他所有日志;

cat: 

  • tac是倒序查看,是cat单词反写;例子如下:
  • cat -n test.log |grep “debug”   查询关键字的日志(常用!~)

vim

  • 1、进入vim编辑模式:vim filename
  • 2、输入“/关键字”,按enter键查找
  • 3、查找下一个,按“n”即可
  • 退出:按ESC键后,接着再输入:号时,vi会在屏幕的最下方等待我们输入命令
  • wq! 保存退出
  • q! 不保存退出 

常见的应用场景

查看日志应用场景一:按行号查看:过滤出关键字附近的日志

(1) cat -n test.log |grep “debug”  得到关键日志的行号

(2) cat -n test.log |tail -n +92|head -n 20  选择关键字所在的中间一行. 然后查看这个关键字前10行和后10行的日志:

  • tail -n +92表示查询92行之后的日志
  • head -n 20 则表示在前面的查询结果里再查前20条记录

查看日志应用场景二:根据日期查询日志

(1) sed -n ‘/2014-12-17 16:17:20/,/2014-12-17 16:17:36/p’  test.log

特别说明:

  • 上面的两个日期必须是日志中打印出来的日志,否则无效
  • 先 grep ‘2014-12-17 16:17:20’ test.log 来确定日志中是否有该时间点
  • 查看日志应用场景三:日志内容特别多,打印在屏幕上不方便查看,分页/保存文件查看

(1)使用more和less命令,

如: cat -n test.log |grep “debug” |more     这样就分页打印了,通过点击空格键翻页

(2)使用 >xxx.txt 将其保存到文件中,到时可以拉下这个文件分析

如:cat -n test.log |grep “debug”  >debug.txt

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持IT俱乐部。

本文收集自网络,不代表IT俱乐部立场,转载请注明出处。https://www.2it.club/server/linux/16485.html
上一篇
下一篇
联系我们

联系我们

在线咨询: QQ交谈

邮箱: 1120393934@qq.com

工作时间:周一至周五,9:00-17:30,节假日休息

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

返回顶部