5.3  Des filtres, encore des filtres...

• Copie stdin sur stdout
• Substitution des caractères s1 par s2
• Intervalles : a-z, 0-9, C-G
• Répétition : a*5, =*0 (0 º ¥)
• Caractères spéciaux : code ascii de newline = '\012'
• Exemple, mise en minuscule

  % cat > essai
  Voici une phrase de ... SIX (6) mots
  % tr A-Z a-z < essai      
  voici une phrase de ... six (6) mots
          

• Options
  • -c Complément de s1 (dans l'ensemble des caractères ascii)
  • -d Efface dans l'entrée les caractères de s1
  • -s Toute séquence dans s1 est remplacée par un caractère unique dans s2
• Exemple, mise en mots

  % tr A-Z a-z < essai | tr -sc a-z '\012'      
  voici 
  une 
  phrase 
  de
  six
  mots 
          

• Couper les colonnes de chaque ligne d'un fichier
• Notion de champs, délimiteur
• Options
  • -clist Position des caractères à garder
    
    Liste croissante

    1,4,7	colonnes 1, 4, et 7
    1-3,8	colonnes 1 à 3, et 8
    -5,10	colonnes (1) à 5, et 10
    3-	colonnes 3 à (fin)

• Exemple, supprimer les deux premières colonnes

  % cat file 
  * duchmol
  $ marquet
  ^ albert 
  % cut -c3- file
  duchmol 
  marquet
  albert              
          

• Options
  • -flist Liste des champs à garder
    
    Exemples : -f1,3 ou -f1-3,5
  • -dc Délimiteur de champs c (défaut tabulation & espace)
    
    Exemple : -d" "
  • -s Suppression des lignes sans délimiteur
• Exemple

homel% cat passwd
duchmol:641qXHzHthhjk:7713:77:Pierre Duchmol:/home/licence/duchmol:/bin/csh
marquet:UCRtTDCmnJEJM:7333:73:Philippe Marquet:/home/enseign/marquet:/bin/csh
albert:ruFx8ojbEQgMM:7507:75:Francis Albert:/home/maitrise/albert:/bin/csh
homel% cut -d: -f1,5 < passwd
duchmol:Pierre Duchmol
marquet:Philippe Marquet
albert:Francis Albert
homel% cut -d: -f3-5 < passwd
7713:77:Pierre Duchmol
7333:73:Philippe Marquet
7507:75:Francis Albert

• Remise en forme des champs de 2 fichiers
• -d Définit les séparateurs de champs
• Exemple

  % cat prenoms
  Ale
  Max
  Sam
  % cat noms
  Lewis 
  Kunz
  Schiper
  % paste -d_ prenoms noms
  Ale_Lewis
  Max_Kunz
  Sam_Schiper
          

• Autre exemple

  % cat name
  Sue
  John
  Helen
  Peter
  % cat number
  167 
  876
  465
  7834
  % cat city 
  LA
  NY
  SF
  % paste name number city 
  Sue     167     LA
  John    876     NY
  Helen   465     SF
  Peter   7834
          

• Il existe d'autres possibilités :

  man 1 paste 
          

• Détruit les lignes adjacentes dupliquées, ou
• Identifie ces lignes
• Options
  • -c Compte les lignes identiques
  • -d Ne garde que les lignes dupliquées et en un exemplaire
  • -u Ne garde que les lignes uniques dans inputfile

$ cat test
on se repete
on se repete
on se repete plus !
on se repete plus !
on se repete plus !
fin
$ uniq < test
on se repete
on se repete plus !
fin
$ uniq -u < test
fin
$ uniq -c < test
2 on se repete
3 on se repete plus !
1 fin              

• Tri des lignes d'un fichier
  
  Ordre = code ascii
• Options
  • -n Ordre numérique
  • -d Ordre du dictionnaire (seulement lettres, chiffres, espace)
  • -r Ordre inverse
  • -f Ignore les majuscules
• Exemple

  homel% cat name
  Sue
  John
  Helen
  Peter
  homel% sort name
  Helen
  John
  Peter
  Sue
          

• Exemple -n

  homel% cat number
  167
  876
  465
  7834
  homel% sort number
  167
  465
  7834
  876
  homel% sort -n number
  167
  465
  876
  7834
          

• Exemple -f

  homel% cat name
  Sue
  john
  Helen
  Peter
  homel% sort name
  Helen
  Peter
  Sue
  john
  homel% sort -f name
  Helen
  john
  Peter
  Sue
          

• Exemple -d

  homel% cat name
  Sue
  john
  Helen
  P.eter
  Paul
  homel% sort name
  Helen
  P.eter
  Paul
  Sue
  john
  homel% sort -d name
  Helen
  Paul
  P.eter
  Sue
  john
          

• Notion de champs
  sort-field : +no -no [flags]
  
  
  
• Options
  • -tc Délimiteur de champs
  • +no Numéro du champs de départ (³ 0)
  • -no Numéro du champs d'arrêt (non inclus)
  • flags : rdfn...
  • Exemple : +0 -1rn
• Exemple

homel% cat passwd
duchmol:641qXHzHthhjk:7713:77:Pierre Duchmol:/home/licence/duchmol:/bin/csh
marquet:UCRtTDCmnJEJM:7333:73:Philippe Marquet:/home/enseign/marquet:/bin/csh
albert:ruFx8ojbEQgMM:7507:75:Francis Albert:/home/maitrise/albert:/bin/csh
homel% sort -t: +2 -3 passwd
marquet:UCRtTDCmnJEJM:7333:73:Philippe Marquet:/home/enseign/marquet:/bin/csh
albert:ruFx8ojbEQgMM:7507:75:Francis Albert:/home/maitrise/albert:/bin/csh
duchmol:641qXHzHthhjk:7713:77:Pierre Duchmol:/home/licence/duchmol:/bin/csh
homel% sort -t: +4 -5 passwd
albert:ruFx8ojbEQgMM:7507:75:Francis Albert:/home/maitrise/albert:/bin/csh
marquet:UCRtTDCmnJEJM:7333:73:Philippe Marquet:/home/enseign/marquet:/bin/csh
duchmol:641qXHzHthhjk:7713:77:Pierre Duchmol:/home/licence/duchmol:/bin/csh

• Sélection de lignes entre 2 fichiers (triés)
• 3 types de lignes :

  1

  Lignes de filename1 (Ï filename2)

  2

  Lignes de filename2 (Ï filename1)

  3

  Lignes communes

• Paramètres : désignent les lignes à supprimer
• Exemple, les nouvelles lignes de file :

  % comm -13 file.old file
            

• Exemple, les lignes supprimées de file :

  % comm -23 file.old file
            

• Comparaison des deux fichiers
• Assez ``intelligent''
• -c produit un fichier exploitable par patch

• Exemple

homel% cat > afile
A
B
C
D
E
F
G
homel% cat > anotherfile
A
B
C
d
E
F
g
h
homel% diff afile anotherfile
4c4
< D
---
> d
7c7,8
< G
---
> g
> h

• Comparaison par octets
• Filename = - Þ stdin
• -s Silencieux
  
  Code de retour 1 si différence
• Exemple

  homel% cmp afile anotherfile
  afile anotherfile differ: char 7, line 4
  homel% cmp afile thisfile
            

• Opérateur de jointure
• Jointure sur des champs triés
• Options :
  • -tc : Séparateur de champs
  • -j[1|2] m : Champs de la jointure
    
    -j1 : Premier fichier
    
    -j2 : Second fichier
    
    Numérotation des champs à partir de 1
  • -o list champs en sortie
    
    Éléments de list de la forme m.n
    
    m numéro du fichier
    
    n numéro du champs

• Exemple

  homel% cat passwd
  duchmol:641qXHzHthhjk:7713:77:Pierre Duchmol:/home/licence/duchmol:/bin/csh
  marquet:UCRtTDCmnJEJM:7333:73:Philippe Marquet:/home/enseign/marquet:/bin/csh
  albert:ruFx8ojbEQgMM:7507:75:Francis Albert:/home/maitrise/albert:/bin/csh
  podvin:Myg7Thg6gTrdd:7509:75:Maurice Podvin:/home/maitrise/podvin:/bin/csh
  homel% sort -t: +2 -3 passwd
  marquet:UCRtTDCmnJEJM:7333:73:Philippe Marquet:/home/enseign/marquet:/bin/csh
  albert:ruFx8ojbEQgMM:7507:75:Francis Albert:/home/maitrise/albert:/bin/csh
  podvin:Myg7Thg6gTrdd:7509:75:Maurice Podvin:/home/maitrise/podvin:/bin/csh
  duchmol:641qXHzHthhjk:7713:77:Pierre Duchmol:/home/licence/duchmol:/bin/csh
  homel% sort -t: +2 -3 passwd > passwd.sort
  homel% cat group
  enseign:73
  maitrise:75
  licence:77
  miage:80
  homel% join -t: -j1 4 -j2 2 -o 1.1 2.1 passwd.sort group
  marquet:enseign
  albert:maitrise
  podvin:maitrise  
  duchmol:licence
  

• Recherche des lignes égales à (commencant par) string
• Dans un fichier trié
  • Ordre de sort
  • -d ordre du dictionnaire
  • -f majuscules et minuscules indifférentes
• -tc tous les caractères à la droite de c sont ignorés

  Base de données relationnelle

• Commandes opérateurs de base de données
• sort cut join grep look
• Pas forcément efficace !