如何使用BAT批处理文件处理百万级TXT文本对比去重删除交集并输出唯一内容

最近遇到一个问题需要对百万级TXT文本进行对比去重处理 网上找了一圈小文件处理倒是方便excel也能搞，但文本太大了也没有好的工具处理

遂谷歌一番，偶然看见一前辈的解决方案，不敢独享便分享在这里希望也能帮助到你

问题简介：现有两个TXT文本，A.txt与B.txt，A.txt中有200万行信息，B.txt中有500万行信息，B.txt内容中包含了一部分A.txt中已存在的信息，现在需要将B与A中重复信息剔除掉并导出为C.txt使用。

这里简单做了个实例或许更为直观：

解决方案：新建文件夹并将A.txt与B.txt拖入，在当前文件下新建xxx.bat文件，复制如下内容到xx.bat内并保存，编码选择为ANSI

(注:bat文件与待处理文本必须为同一文件夹)

<# :
cls
@echo off
rem 根据一个txt文本文件内给出的行内容，将另一个txt文本文件内与其相同/重复的行内容删除
set #=亿码酷站 &set @=YMKUZHAN.COM &set $=Q&set/az=0x173b954
title %#% %$%%$% %z% 或访问 %@%
cd /d "%~dp0"
powershell -NoProfile -ExecutionPolicy bypass "Invoke-Command -ScriptBlock ([ScriptBlock]::Create([IO.File]::ReadAllText('%~f0',[Text.Encoding]::Default))) -Args '%~dp0'"
echo;%#% %$%%$% %z% 或访问 %@%
pause
exit
#>
$path=$args[0];
$txtfile1=$path+'a.txt';
$txtfile2=$path+'b.txt';
$txtfile3=$path+'c.txt';
if(-not (test-path -liter $txtfile1)){Write-host ('"'+$txtfile1+'" not found');exit;};
if(-not (test-path -liter $txtfile2)){Write-host ('"'+$txtfile2+'" not found');exit;};
$text1=[IO.File]::ReadAllLines($txtfile1, [Text.Encoding]::Default);
$text2=[IO.File]::ReadAllLines($txtfile2, [Text.Encoding]::Default);
$dic=New-Object 'System.Collections.Generic.Dictionary[string,int]';
[System.Collections.ArrayList]$s=@();
for($i=0;$i -lt $text1.count;$i++){
if(-not $dic.ContainsKey($text1[$i])){$dic.Add($text1[$i], 1)};
};
for($i=0;$i -lt $text2.count;$i++){
if(-not $dic.ContainsKey($text2[$i])){[void]$s.add($text2[$i])};
};
[IO.File]::WriteAllLines($txtfile3, $s, [Text.Encoding]::Default);

效果还不出处理速度可观方便快捷！

亿码酷站-每日分享各类精品源码及实用教程！

查看更多教程

亿码酷站普通用户

收藏 海报 链接