php数组对百万数据进行排除重复数据的实现代码_php技巧

假如得到一个uid列表,数量在百万行以上,格式如下:

复制代码 代码如下:

10001000
10001001
10001002
......
10001000
......
10001111  

其实利用php数组的特性,很好进行排重,我们先来看一下php数组的定义:PHP 中的数组实际上是一个有序映射。映射是一种把 values 关联到 keys 的类型。此类型在很多方面做了优化,因此可以把它当成真正的数组,或列表(向量),散列表(是映射的一种实现),字典,集合,栈,队列以及更多可能性。数组元素的值也可以是另一个数组。树形结构和多维数组也是允许的。

  在php的数组中,键(keys)也称为索引,具有唯一性,我们正可以利用这一特性进行排重,示例代码如下:

复制代码 代码如下:

<?php
//定义一个数组,用于存放排重后的结果
$result = array();
//读取uid列表文件
$fp = fopen('test.txt', 'r');

while(!feof($fp))
{
$uid = fgets($fp);
$uid = trim($uid);
$uid = trim($uid, "\r");
$uid = trim($uid, "\n");

if($uid == '')
{
continue;
}
//以uid为key去看该值是否存在
if(empty($result[$uid]))
{
$result[$uid] = 1;
}
}

fclose($fp);

//将结果保存到文件
$content = '';
foreach($result as $k => $v)
{
$content .= $k."\n";
}
$fp = fopen('result.txt', 'w');
fwrite($fp, $content);
fclose($fp);
?>  

20多行代码,就可以对百万以上的数据进行排重,效率也不错,非常实用。手机号、email,也可以采用这种方式进行排重。

  还有,这可方法还可以用于两个文件进行排重的工作,如果你有两个uid列表文件,格式和上面的uid列表一样,示例程序如下:

复制代码 代码如下:

<?php
//定义数组,用于存放排重后的结果
$result = array();
//读取第一个uid列表文件,放入$result_1
$fp = fopen('test_1.txt', 'r');
while(!feof($fp))
{
$uid = fgets($fp);
$uid = trim($uid);
$uid = trim($uid, "\r");
$uid = trim($uid, "\n");
if($uid == '')
{
continue;
}
//以uid为key写入$result,如有重复就会覆盖
$result[$uid] = 1;
}
fclose($fp);
//读取第二个uid列表文件,并进行排重操作
$fp = fopen('test_2.txt', 'r');
while(!feof($fp))
{
$uid = fgets($fp);
$uid = trim($uid);
$uid = trim($uid, "\r");
$uid = trim($uid, "\n");
if($uid == '')
{
continue;
}
//以uid为key去看该值是否存在
if(empty($result[$uid]))
{
$result[$uid] = 1;
}
}
fclose($fp);
//$result里保存的就排重以后的结果,可以输出到文件,代码省略
?>

仔细想想,不难发现,利用数组的这一特性还可以解决我们工作中的更多问题。

时间: 2024-08-02 16:55:13

php数组对百万数据进行排除重复数据的实现代码_php技巧的相关文章

php编写批量生成不重复的卡号密码代码_php技巧

闲的蛋疼的时候,顺便加强下自己对PHP中数组操纵的一些技巧,就写了下面的一段小代码,可以随机生成卡号密码对应的数组,并且自动去重复,思路没有,纯粹瞎掰. <?php header('Content-Type:text/html; charset=utf-8'); function MakeCard() { set_time_limit(0); //处理缓冲区 ob_end_clean(); ob_implicit_flush(true); echo str_pad(" ", 25

使用JSON实现数据的跨域传输的php代码_php技巧

后台profile.php代码: 复制代码 代码如下: <?php $arr = array( 'firstname' => iconv('gb2312', 'utf-8', '非诚'), 'lastname' => iconv('gb2312', 'utf-8', '勿扰'), 'contact' => array( 'email' =>'fcwr@jb51.net', 'website' =>'http://www.jb51.net', ) ); //将一个数组JS

php去除重复字的实现代码_php技巧

方法一: 复制代码 代码如下: $text = '数组aabbccdd'; $text_filter = ''; $filter = array(); $len = mb_strlen($text, 'utf-8'); for ($i = 0; $i<$len; $i++) { $char = mb_substr($text, $i, 1, 'utf-8'); if (!isset($filter[$char])) { $text_filter .= $char; $filter[$char]

数据库时时刷新-瀑布流加载数据时出现重复数据(数据库时时更新)

问题描述 瀑布流加载数据时出现重复数据(数据库时时更新) 用瀑布流展示数据的时候,展示第一页数据时候服务器没有新的数据,当从服务器抓取第二页的数据时候,服务器刷新了数据多了2条数据,这个时候在抓取到的第二页的数据中就会有刚才抓取的第一页的数据,这个问题怎么处理啊? 解决方案 其实你做一个预加载功能,加载20条数据,显示10条数据.这样重复问题给客户的感受就没有那么强了!.你在有一个刷新功能. 解决方案二: 删除数据库中重复数据的几个方法删除数据库中重复数据的几个方法

JS数组去掉重复数据只保留一条的实现代码_javascript技巧

非常不多说,js数组去掉重复数据的代码如下所示: var arr = [1,2,3,4,5,6,1,6,7,2]; var newArr = []; for(var i =0;i<arr.length-1;i++){ if(newArr.indexOf(arr[i]) == -1){ newArr.push(arr[i]); } } 下面再给大家分享高效率去掉js数组中重复项 Array类型并没有提供去重复的方法,如果要把数组的重复元素干掉,那得自己想办法: function unique(ar

sqlserver清除完全重复的数据只保留重复数据中的第一条

--创建测试表 CREATE TABLE [dbo].[testtab]( [id] [nchar](10) NULL, [name] [nchar](10) NULL ) ; --向测试表插入测试数据 insert into testtab values('1','1'); insert into testtab values('1','1'); insert into testtab values('2','2'); insert into testtab values('2','2');

sqlserver清除完全重复的数据只保留重复数据中的第一条_MsSql

--创建测试表 CREATE TABLE [dbo].[testtab]( [id] [nchar](10) NULL, [name] [nchar](10) NULL ) ; --向测试表插入测试数据 insert into testtab values('1','1'); insert into testtab values('1','1'); insert into testtab values('2','2'); insert into testtab values('2','2');

MySQL不插入重复数据与删除重复数据

今天写个小程序需要用到mysql,需求就是要求插入数据,但该数据不能已存在于表中,否则就不插入. 比如我需要插入question="aaa",correctAnswer="bbb"的数据,代码如下: 1 2 3 4 5 6 7 8 INSERT INTO questions (question,correctAnswer) SELECT 'aaa','bbb' FROM dual where not exists( SELECT * FROM questions w

PHP中使用数组实现堆栈数据结构的代码_php技巧

在堆栈中,最后压入的数据(进栈),将会被最先弹出(出栈). 即在数据存储时采用"先进后出"的数据结构. PHP中,将数组当做一个栈,主要是使用array_push()和array_pop()两个系统函数来完成. 入栈主要是利用array_push()函数向第一个参数的数组尾部添加一个或多个元素,然后返回新数组的长度,示例如下: 复制代码 代码如下: <?php $zhan=array("WEB");//声明一个数组当做栈 array_push($zhan,&q