Perl遍历目录和使用Linux命令分析日志的代码实例分享_应用技巧

实例代码:

复制代码 代码如下:

#! /usr/bin/perl -w
$path = '/root/Documents';  # 当前工作目录
$dir = "$path/images"; # 要遍历的目录
$log_file = "$path/access_201209.log"; # nginx日志0903~0907,  filesize: 5.4G
$result_file = 'result.f';  # 放置结果的文件

if(!open $output, ">>$result_file") { # 以追加的形式打开文件
         die " Open file failed: $!";
}
&find_dir($dir);

sub find_dir() {
        my $base_dir = $_[0]; # $_[0]表示子例程(函数)的第一个参数
        if( !opendir(DIR,"$base_dir") ) {
                warn "open dir failed: $! \n";
        }
        my @father_dir = readdir(DIR); # 资源转储
        closedir(DIR);                 

        $base_dir =~ s/\/$//; # 删除目录最后面的 /
        foreach $sub_dir (@father_dir) {
                if($sub_dir =~ /^\./)  { # 过滤掉 . 和 .. 以及 隐藏文件
                        next;
                }

                if(-d "$base_dir/$sub_dir") { # 如果是目录则回调
                     &find_dir("$base_dir/$sub_dir"); # 引用递归函数,避免在内存中开辟多个副本

                }elsif (-f "$base_dir/$sub_dir") { # 如果是文件则....

                 # 文件前面保留一个空格,这样才能保证不会搜索到 theme_skin/blue/images 这样的目录
                 my $this_file = " $base_dir/$sub_dir";
                 $this_file =~ s/$path//;           # 删除掉字符串 /root/Documents

                 # 使用Linux命令,在 [$log_file文件] 中查找 [$this_file字符串] 并统计字符串出现的次数
                 my $result = `grep -c  "$this_file"  $log_file`;  # $this_file要用双引号括起来,防止图片名称中有空格造成程序错误
                 chomp  $result ;  # 删除Linux执行命令后,返回值所带有的换行符
                 print $output "$this_file :         $result \n";  # 将处理结果写入$output指定的文件

                 # 已经记录过的文件删除掉,这样每次终止脚本的时候,都能继续之前的内容进行查找
                 unlink "$base_dir/$sub_dir";
                }
        }
}

print "\n Finished \n";

# 现在打开 result.f 文件,把 /images/ 替换成 images/   这样才能在当前工作目录中删除文件
# Linux命令查找5天内被访问0次的记录,并删除
# 数字0 左右两边要有空格,防止找到文件名中含有0的记录

# 方法 1 :
# gawk -F ':' '$2 ~ / 0 / {print $1}' result.f | xargs rm -rf

# 方法 2 :  (完全等同 方法1)
# grep ' 0 ' result.f | gawk -F ':' '{print $1}' | xargs rm -rf

时间: 2024-10-24 01:57:29

Perl遍历目录和使用Linux命令分析日志的代码实例分享_应用技巧的相关文章

一个改进的ASP生成SQL命令字符串类的代码[已测]_应用技巧

复制代码 代码如下: <% class SQLString '************************************ '变量定义 '************************************ 'sTableName ---- 表名 'iSQLType ----SQL语句类型:0-增加,1-更新,2-删除,3-查询 'sWhere ---- 条件 'sOrder ---- 排序方式 'sSQL ----值 Private sTableName,iSQLType,sW

深入linux下遍历目录树的方法总结分析_C 语言

前几天需要实现对整个目录树的遍历,查阅了相关的一些资料.开始找到的原始的方法是使用readdir()与lstat()函数实现递归遍历,后来发现linux对于目录遍历这种最常用的操作已经提供了很完善的接口:ftw()与nftw().下面就这两种方法具体说明一下.1.手动实现递归1.1 stat()函数族stat函数族包括:stat,fstat以及lstat函数,都是向用户返回文件的属性信息(元数据). 复制代码 代码如下: view plaincopy to clipboardprint?#inc

PHP执行linux命令常用函数汇总_php实例

一般情况下,很少会用php去执行linux命令,不过特殊情况下,你也许会用到这些函数.以前我知道有二个函数可以执行linux命令,一个是exec,一个是shell_exec.其实有很多的,结合手册内容,介绍以下6个函数. 1,exec函数 <?php $test = "ls /tmp/test"; //ls是linux下的查目录,文件的命令 exec($test,$array); //执行命令 print_r($array); ?> 返回结果如下: [root@krlcgc

Linux(Ubuntu)下搭建ASP.NET Core环境_实用技巧

今天来学习一下ASP.NET Core 运行在Ubuntu中.无需安装mono . 环境 Ubuntu 14.04.4 LTS 服务器版 全新安装系统. 下载地址:http://mirrors.neusoft.edu.cn/ubuntu-releases/14.04.4/ubuntu-14.04.4-server-amd64.iso 你也可以下载桌面版安装. 下载地址:http://mirrors.neusoft.edu.cn/ubuntu-releases/14.04.4/ 安装DNVM 首先

Python 遍历子文件和所有子文件夹的代码实例_python

最近看ECShop到网上找资料,发现好多说明ECShop的文件结构不全面,于是想自己弄个出来.但这是个无聊耗时的工作,自己就写了个Python脚本,可以递归遍历目录下的所有文件和所有子目录,并将结果记录到一个.xml文件中(因为想使用Notepad++的代码折叠功能,所以使用.xml文件). 下面就是Python代码: # -*- coding: cp936 -*- ############################################# # Written By Qian_F

Python彩色化Linux的命令行终端界面的代码实例分享_python

先看看效果: 在linux的终端中,ANSI转义序列来控制颜色 基本规则: 前面加上\033[,结尾用\033[0m重置为原来的颜色 可以在终端中输入下面这句,就可以看到输出绿色的hello. >>echo -e '\033[0;32mhello\033[0m' 其中0;32m控制颜色. 最简单的,只要把0;32m中的2改成0-7,就对应不同颜色了. 利用这点,在python中,可以这样来. #coding=utf-8 fmt = '\033[0;3{}m{}\033[0m'.format c

linux c++ 两个实用函数实例分享

linux c++ 获取基本类型的极值 源代码 #include <iostream> #include <string.h> #include <limits> using namespace std; int main()   {       cout << "bool: \t\t" << "所占字节数:" << sizeof(bool);       cout << "

ASP.NET 缓存分析和实践浅析提高运行效率_实用技巧

向数据层.业务逻辑层.UI 或输出层添加缓存支持.内存现在非常便宜 - 因此,通过以智能的方式在整个应用程序中实现缓存,可以获得很大的性能提高. 缓存可以掩盖许多过失 缓存是一种无需大量时间和分析就可以获得"足够良好的"性能的方法. 这里再次强调,内存现在非常便宜,因此,如果您能通过将输出缓存 30 秒,而不是花上一整天甚至一周的时间尝试优化代码或数据库就可以获得所需的性能,您肯定会选择缓存解决方案(假设可以接受 30 秒的旧数据).缓存正是那些利用 20% 付出获得 80% 回报的特

Asp.Net(C#)自动执行计划任务的程序实例分析分享_实用技巧

在业务复杂的应用程序中,有时候会要求一个或者多个任务在一定的时间或者一定的时间间隔内计划进行,比如定时备份或同步数据库,定时发送电子邮件等,我们称之为计划任务.实现计划任务的方法也有很多,可以采用SQLAgent执行存储过程来实现,也可以采用Windows任务调度程序来实现,也可以使用Windows服务来完成我们的计划任务,这些方法都是很好的解决方案.但是,对于Web应用程序来说,这些方法实现起来并不是很简单的,主机服务提供商或者不能直接提供这样的服务,或者需要你支付许多额外的费用. 本文就介绍