用vbscript实现从文本文件中删除所有重复行的代码_vbs

问:
您好,脚本专家!如何从文本文件中删除所有重复行?

-- SW

答:
您好,SW。您知道,成为一名脚本专家便意味着开始永无止境地寻找给定问题的最终解决方案。(或者至少在我们的经理问为什么我们似乎从未真正完成什么时,我们是这么告诉他的:“老板,永无止境的寻找过程需要时间!”)这就是为什么我们很高兴看到您的问题的原因。不久前 我们回答了一个关于从文本文件中删除重复名字的类似问题。我们想到的解决方案十分简单而且效果不错;只是我们不确定那是最佳解决方案。现在,很感谢您的问题,我们可以再次尝试解决这一问题。至于此解决方案是否比我们之前提供的更好/更快/更方便,还是由您来决定吧。

首先,假定您有一个文本文件,其中每一行都表示一条单独的记录。这似乎不太可能,但也许您的文件类似如下:

This is one of the lines in the text file.
This is one of the lines in the text file.
This is another line in the text file.
This is one of the lines in the text file.
This is yet another line in the text file.
This is another line in the text file.
This is another line in the text file.
This is one of the lines in the text file.

您需要一个可以除去所有重复行并提供类似以下输出的脚本:

This is one of the lines in the text file.
This is another line in the text file.
This is yet another line in the text file.

SW,您找对地方了:

Const adOpenStatic = 3
Const adLockOptimistic = 3
Const adCmdText = &H0001

Set objConnection = CreateObject("ADODB.Connection")
Set objRecordSet = CreateObject("ADODB.Recordset")

strPathToTextFile = "C:\Scripts\"
strFile = "Test.txt"

objConnection.Open "Provider=Microsoft.Jet.OLEDB.4.0;" & _
      "Data Source=" & strPathtoTextFile & ";" & _
          "Extended Properties=""text;HDR=NO;FMT=Delimited"""

objRecordSet.Open "Select DISTINCT * FROM " & strFile, _
    objConnection, adOpenStatic, adLockOptimistic, adCmdText

Do Until objRecordSet.EOF
    Wscript.Echo objRecordSet.Fields.Item(0).Value   
    objRecordSet.MoveNext
Loop

我们发现此脚本有些有趣,因为我们使用“ActiveX 数据对象”(ADO) 并将此文本文件当作数据库处理。我们不会花费过多的时间详细说明如何将文本文件当作数据库处理;如果您想了解有关于此的详细信息,我们的脚本诊所 专栏对此主题进行了深入阐述。现在,要说明的只是我们将使用文本文件 C:\Scripts\Test.txt,我们通过为变量 strPathToTextFile 和 strFile 赋予相应值来表示:

strPathToTextFile = "C:\Scripts\"
strFile = "Test.txt"

那么,这如何能让我们除去重复行呢?是这样的,有一种称为 Select DISTINCT 的数据库查询;利用 Select DISTINCT 可以选择表格中所有不同的(或唯一的)记录。假设您有一个简单的数据库,其中有以下记录:

Red
Red
Blue
Red

如果使用 Select DISTINCT 查询,您将得到一个只包括唯一记录的记录集:

Red
Blue

毫无疑问,您会想:“哇!返回唯一记录与删除重复记录简直异曲同工。”我们承认确实如此 – 嗯,请等一下:您的想法绝对正确。我们的文本文件构建得就像一个数据库表,文本文件中的每行都表示一条记录中的一个字段。如果对此文本文件运行 Select DISTINCT 查询,我们将只得到唯一的行。事实上,我们将得到如下所示的记录集:

This is one of the lines in the text file.
This is another line in the text file.
This is yet another line in the text file.

这刚好就是我们希望返回的信息。您为我们指出了这一点,这很好!

检索记录集后,我们再使用以下代码将唯一的行回显到屏幕:

Do Until objRecordset.EOF
    Wscript.Echo objRecordset.Fields.Item(0).Value   
    objRecordset.MoveNext
Loop

如果我们愿意,也可以使用 FileSystemObject 打开文本文件,然后仅用唯一的行替换现有内容;此种方法与从文本文件中删除所有重复行效果相同。(如果我们能使用某种 Update 查询执行此操作,效果会很好,但处理文本文件时,ADO 却是只读的。)

那么,这是从文本文件删除重复项(无论是姓名还是整个行)的最终结论吗?唉,谁知道:毕竟,永无止境的寻找过程需要时间!(实际上,我们发现这只需要大约 2 到 3 天。然后,我们便开始觉得无聊,又继续做其他事情。)

时间: 2024-09-30 07:21:15

用vbscript实现从文本文件中删除所有重复行的代码_vbs的相关文章

Linux删除重复行的代码

  Linux删除重复行的代码         文本处理时,经常要删除重复行,下面是三种方法 第一,用sort+uniq,注意,单纯uniq是不行的. ? 1 sort -n test.txt | uniq 第二,用sort+awk命令,注意,单纯awk同样不行,原因同上. sort -n $file | awk '{if($0!=line)print; line=$0}' 第三,用sort+sed命令,同样需要sort命令先排序. sort -n $file | sed '$!N; /^.∗n

用vbscript实现在文本文件中搜索两个项_vbs

问: 您好,脚本专家! 您曾经介绍过如何在文本文件中搜索单个词或短语,但如何在文本文件中搜索两个短语呢? 我想知道文件中是否包含 Windows 2000 或 Windows XP. -- JR 答: 您好,JR.您知道,让脚本专家去做一件事情就已经够困难的了:可见让他们去做两件事情几乎是不可能的. 但我们要告诉您的是: 只要您不介意我们向您介绍一种简单的方法来在文本文件中搜索多个项,我们就会向您介绍如何在文本文件中搜索多个项. 注意. 为什么称之为"简单的方法"呢? 我们不打算费神设

用C++程序删除文本文件中以“//”开头的行

VC++只提供了删除一个空目录的函数,而用往往希望删除其下有很多子目录与文件的目录.为了实现这一功能,下面编写了DeleteDirectory 函数,它可以实现这一功能. 函数原型:BOOL DeleteDirectory(char *DirName); 返回值:成功删除时返回TRUE,否则返回FALSE 参数DirName为要删除的目录名,必须为绝对路径名,如"c:\\temp". 函数定义如下: BOOL DeleteDirectory(char *DirName) { CFile

vbs+hta中实现在单个 onClick 参数中包括多个子例程的代码_vbs

问: 您好,脚本专家! 在您的 HTA 示例中,您为我们展示了如何单击一个按钮使一个子例程得以运行. 那么,如何向一个按钮的 onClick 参数添加两个或多个子例程呢? -- FM 答: 您好,FM.您知道,在认知心理学中有一个有趣的分支,称为问题发现:其理论是您回答问题的能力通常首先取决于您问到的问题. 例如,您 – 以及其他几个人 – 想要知道如何在一个按钮的 onClick 参数中指定多个子例程. 我们见过人们尝试对代码做出各种修改,以下就是一个例子: <input type="b

删除table重复行数据

问题描述 如图,把txt数据导入到了table中,但是要做个过滤,比如第四列为消费类型1021代表消费,1051代表撤销这笔消费.入库的时候就要把这两笔删除掉,判断有1051的这一行就要找出与它相同的1021这行,两行同时删掉,共同条件是第二列数据,三列数据,5列数据是一样的.最终过滤完后,这个table里应该只有第一条数据,求解!请附上源码. 解决方案 解决方案二:我觉得你可以先导入一个临时表,在临时表里做这些操作,然后再弄到正式表里解决方案三:是否能来人帮忙解答下?解决方案四:可以先把列4位

用vbs检索在运行对话框中键入的一系列命令的代码_vbs

问: 您好,脚本专家!有时,我在运行对话框中键入了多个命令,随后想要对其进行检索.我知道我最近使用过的命令缓存在某个地方,因为当我开始在运行对话框中键入时,它们便会显示出来.如何使用脚本检索这些命令? -- KJ 答: 您好,KJ.您知道,一看到您的问题,我们首先想到的是:为什么我们没有想过这个问题?不用说,脚本专家使用运行对话框已经有好多年了,并且我们也非常清楚地知道,最近使用的命令(如果您统计过的话,是最近使用过的 26 个)缓存在计算机上的某个地方.然而,我们从未编写过可检索此列表的脚本.

VBS 提取狗狗影视中的ED2K连接的实现代码_vbs

打开狗狗影视,搜索自己需要的资源,资源类型选:电驴,如下图: 我找到一个 19.75GB 的: 点开它,出现如下图的界面,可以看到正常下载地址已被屏蔽.我们复制地址栏中的网址,备用. 打开从本站下载的 VBS 脚本,复制该网址到输入框,然后确定,稍过一会,会出现提示完成的消息框,这个时间的长短由你的网速决定! 最后,我们得到最终的 ED2K 连接地址,全部保存在当前目录下的 ed2k.txt 文件中: 还等什么?打开你的下载工具,开始下载吧!^_^ GetEd2kLink.VBS 代码如下,你也

批处理 删除重复行的代码_DOS/BAT

复制代码 代码如下: @echo off :: 删除重复的行,但不能保留空行 :: 对不符合变量命名规则.变量个数超过限制的文本都无法正确处理 :: (echo 清除重复行后的文件内容:& echo.)>str_.txt for /f "delims=" %%i in (test.txt) do ( if not defined %%i set %%i=A & echo %%i>>str_.txt) start str_.txt

使用vbscript生成36进制自动增长序号的实现代码_vbs

asp生成0~9,a~z的36进制字符串,运行下面示例需要使用IE核心的浏览器,其他非IE核心浏览器不支持vbscript. 实现代码: <script language="vbscript"> function getinitstring(l)'初始化指定长度的0字符串 l=l-1 for i=0 to l getinitstring="0"&getinitstring next end function function getnextcha