Je veux extraire la partie commune du texte d'un nombre donné de lignes. Contribution:
/dir1/dir2/dir3/dir4/a/file1/dir
/dir1/dir2/dir3/dir4/b/file2
/dir1/dir2/dir3/dir4/c/file3/dir
/dir1/dir2/dir3/dir4/a/file4
/dir1/dir2/dir3/dir4/e/file5
La sortie attendue est la partie commune de dir1 à dir4. Exemple de résultat attendu:
/dir1/dir2/dir3/dir4/
Qu'est-ce que j'ai essayé jusqu'à présent le code: diriger cette entrée à la commande awk puis comme belows
awk "{for(i=1;i<=NF;i++)if($i | sort | uniq -c -ne 1)var = i; break;}
Mais je ne suis pas capable de faire fonctionner cela .. Je sais que je me serais peut-être trompé de logique ou de compréhension de la commande awk. Quelqu'un peut-il aider avec cela?
Réponses:
0 pour la réponse № 1awk à la rescousse!
awk -F/ "NR==1{w=split($0,base,FS); next}
{for(i=1;i<=w;i++)
if(base[i]!=$i)
{w=i; next}
}
END{for(i=1;i<w;i++)
printf base[i] FS;
print ""
}" file
La description: Construisez un tableau de base à partir de la première ligne séparée par FS, conservez la taille dans w (pour width). Le match peut être tout au plus w. Pour chaque ligne, comparez jusqu'à 2 champs jusqu'à ce qu'une incompatibilité apparaisse, mettez à jour w. Quand tout est fini, imprimez les champs correspondants.
2 pour la réponse № 2
Solution Perl pour ce problème de préfixe le plus commun
perl -le "@a=<>; $p=$a[0]; for (@a){ chop $p while ! /^Q$p/ }; print $p" file
Construit le tableau @a des lignes <> du fichier d'entrée
$p est le préfixe le plus long, qui est initialisé au premier élément du tableau $a[0]
Boucle à travers les éléments du tableau @a
Alors que le préfixe $p ne correspond pas ! // le début ^ de l'élément en cours, chop hors du dernier caractère.
Q indique au moteur de regex d'ignorer les métacaractères potentiels
Enfin, imprimez le préfixe $p
sortie:
/dir1/dir2/dir3/dir4/
Autre implémentation utilisant -n pour construire implicitement la boucle:
perl -lne "BEGIN{$p = <>}; chop $p while ! /^Q$p/; END{print $p}" file
Autre implémentation utilisant substr() au lieu de /regex/
perl -lne "BEGIN{$p=<>} chop $p while $p ne substr($_,0,length($p)); END{print $p}" file
-n des boucles sur chaque ligne du fichier
$_ contient le contenu de la ligne en cours
Autre implémentation utilisant awk:
awk "NR==1{p=$0} {while(p != substr($0,1,length(p))){p=substr(p,1,length(p)-1)}} END{print p}" file
Autre implémentation utilisant Python:
#!/usr/bin/python3
import sys
fp = open(sys.argv[1], "r")
p = fp.readline()
for line in fp:
while (line.find(p) != 0):
p = p[:-1]
print(p)
Autre implémentation utilisant C:
#include <stdio.h>
#include <string.h>
#define MAXLINE 1000
int main (int argc, char* argv[]) {
FILE *fp = fopen(argv[1], "r");
char p[MAXLINE];
char line[MAXLINE];
fgets(line, MAXLINE, fp);
strcpy(p, line);
while (fgets(line, MAXLINE, fp)) {
while ( strstr(line, p) != line && strlen(p) > 0 ) {
p[strlen(p)-1] = " ";
}
}
printf("%sn", p);
}
Juste pour le plaisir, j’ai comparé les différentes solutions en utilisant un fichier d’entrée de 20 Mo et 10 analyses.
Mes solutions perl sont répertoriées comme a, b, c
Testé sur perl 5.20 et 5.22
Les solutions de @karakfa "et de mon awk sont également répertoriées, en utilisant awk 3.1.5 et gawk 4.1.0
La solution shell @balabhi est également listée
TL; DR: La solution Perl substr () (c) était le plus rapide des langages de script, mais peu importe la solution utilisée
Rate awk_karakfa gawk_karakfa perl_5.20_b perl_5.22_b perl_5.22_a perl_5.20_a awk gawk python_3.4.2 shell_balabhi perl_5.22_c perl_5.20_c c
awk_karakfa 0.618/s -- -12% -46% -51% -56% -58% -58% -80% -81% -82% -85% -86% -98%
gawk_karakfa 0.701/s 13% -- -38% -44% -50% -52% -52% -77% -79% -80% -83% -84% -97%
perl_5.20_b 1.14/s 84% 62% -- -10% -19% -22% -22% -63% -65% -67% -72% -74% -96%
perl_5.22_b 1.26/s 104% 80% 11% -- -11% -13% -13% -59% -61% -63% -69% -71% -95%
perl_5.22_a 1.41/s 128% 101% 24% 12% -- -3% -3% -55% -57% -59% -65% -68% -95%
perl_5.20_a 1.46/s 135% 108% 28% 15% 3% -- -0% -53% -55% -58% -64% -67% -95%
awk 1.46/s 136% 108% 28% 15% 3% 0% -- -53% -55% -58% -64% -67% -95%
gawk 3.11/s 402% 343% 173% 146% 120% 113% 113% -- -5% -10% -23% -30% -89%
python_3.4.2 3.27/s 428% 366% 187% 159% 131% 125% 124% 5% -- -5% -19% -26% -88%
shell_balabhi 3.45/s 458% 392% 203% 173% 144% 137% 137% 11% 6% -- -15% -22% -88%
perl_5.22_c 4.05/s 555% 477% 256% 221% 187% 178% 178% 30% 24% 17% -- -8% -85%
perl_5.20_c 4.41/s 612% 528% 287% 249% 212% 203% 202% 42% 35% 28% 9% -- -84%
c 27.8/s 4392% 3861% 2342% 2100% 1867% 1808% 1806% 794% 750% 706% 586% 531% --
1 pour la réponse № 3
Soumettre à nouveau car l'indentation a été gâchée dans la dernière réponse. Solution de script Bash.
inf=$1
num=`wc -l $inf | awk "{print $1}"`
echo num=$num
pfx=`sed -n "1p" $inf`
mat=`grep $pfx $inf | wc -l`
echo mat=$mat
while [ $mat -ne $num ]
do
pfx=`dirname $pfx`/
mat=`grep $pfx $inf | wc -l`
echo mat=$mat
done
echo pfx=$pfx