PHP读取大文件的几种方法介绍_php实例

读取大文件一直是一个头痛的问题，我们像使用php开发读取小文件可以直接使用各种函数实现，但一到大文章就会发现常用的方法是无法正常使用或时间太长太卡了，下面我们就一起来看看关于php读取大文件问题解决办法，希望例子能帮助到各位。

场景：PHP读取超大文件，例如1G的日志文件，我这里使用的是400M的access.log文件

1、使用file直接读取

<?php
$starttime=microtime_float();

ini_set('memory_limit', '-1');
$file = 'testfile.txt';

$data = file($file);
$line = $data[count($data) - 1000];
$endtime=microtime_float();

echo count($data),"<br/>";
echo $endtime-$starttime;

function microtime_float(){
  list($usec, $sec) = explode(" ", microtime());
  return ((float)$usec + (float)$sec);
}
?>

运行结果：10127784 行   共使用了，7.8764359951s

我的电脑是3G内存，此方法不是推荐使用，因为需要把文件全部载入内存

2、使用linux命令  tail

<?php

$starttime=microtime_float();

$file = 'testfile.txt';
$file = escapeshellarg($file); // 对命令行参数进行安全转义
$line = `tail -n 100 $file`;

echo $line,"<br/>";

$endtime=microtime_float();
echo $endtime-$starttime;

function microtime_float(){
  list($usec, $sec) = explode(" ", microtime());
  return ((float)$usec + (float)$sec);
}

//end

运行结果：只使用了几毫秒、轻松搞定、这种方法不能在windows下使用

3、使用fseek函数

这种方式是最为普遍的方式，它不需要将文件的内容全部读入内容，因为PHP是C写的，所以实现的时候也类似C读取文件，通过指针的移动，所以效率是相当高效的。在使用fseek来对文件进行操作时，也有多种不同的方法，效率可能也是略有差别的，

下面是常用的几种方法

方法一：使用fopen打开文件（从文件指针资源句柄）

<?php
$starttime=microtime_float();

$file = 'testfile.txt';
$fp = fopen($file, "r+");

$line = 100;
$pos = -2;
$t =$data="";

while ($line > 0)
{
 while ($t != "\n") //换行符
 {
 fseek($fp, $pos, SEEK_END);//移动指针
 $t = fgetc($fp);//获取一个字符
 $pos--;//向前偏移
 }

 $t = "";
 $data = fgets($fp);//获取当前行的数据
 $line--;
}
fclose($fp);
echo $data,"<br/>";
$endtime=microtime_float();

echo $endtime-$starttime;

function microtime_float(){
  list($usec, $sec) = explode(" ", microtime());
  return ((float)$usec + (float)$sec);
}
?>

运行结果：0.338493108749

方法二：一块一块的读取

<?php
$starttime=microtime_float();

$file = 'testfile.txt';
$fp = fopen($file, "r");
$num = 10;
$chunk = 4096;//4K的块
$fs = sprintf("%u", filesize($file));
$readData='';
$max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : $fs;

for($len = 0; $len < $max; $len += $chunk){

 $seekSize = ($max - $len > $chunk) ? $chunk : $max - $len;
 fseek($fp, ($len + $seekSize) * -1, SEEK_END);
 $readData = fread($fp, $seekSize) . $readData;

if (substr_count($readData, "\n") >= $num + 1) {

  $ns=substr_count($readData, "\n")-$num+2;
  preg_match('/(.*?\n){'.$ns.'}/',$readData,$match);
  $data = $match[1];
  break;
}
}
fclose($fp);
echo $data,"<br/>";

$endtime=microtime_float();

echo $endtime-$starttime;

function microtime_float(){
  list($usec, $sec) = explode(" ", microtime());
  return ((float)$usec + (float)$sec);
}
?>

运行时间：0.00199198722839

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

以上是小编为您精心准备的的内容，在的博客、问答、公众号、人物、课程等栏目也有的相关内容，欢迎继续使用右上角搜索按钮进行搜索php
， 读取文件
， 读取大文件
php处理大文件
php实例化对象的方法、php 实例化类的方法、php 实例调用静态方法、php中i方法使用实例、php读取word多种方法，以便于您获取更多的相关知识。