Aller au contenu
uencoder

Trier lines and remove duplicates

Prendre un list de items (one per ligne), trier them alphabetically ou naturally, et supprimer doublon lignes.

  1. 1

    Sorting and deduplicating a line list is a common data prep step — cleaning log entries, deduplicating URLs, preparing import lists. Sorting makes diffs readable; deduplication removes redundant entries.

  2. 2
    Trier et dédupliquer →

    Paste lines. The tool sorts (ascending/descending, case-sensitive/insensitive, natural or lexicographic) and optionally removes duplicates.

  3. 3

    Use the chain to deduplicate then sort in one pass, with options for trimming whitespace and ignoring blank lines.

Questions fréquentes

What is 'natural' sort vs lexicographic?
Lexicographic sorts character by character: 'file10' < 'file2' (because '1' < '2'). Natural sort treats digit sequences as numbers: 'file2' < 'file10'. Use natural sort for filenames and version-like strings.
How are duplicates identified?
By exact line equality after optional trimming. Lines that differ only in trailing whitespace are considered different unless you enable trim. For case-insensitive dedup, enable that option — but the first occurrence's case is preserved.

Workflows résolvant cette tâche

Normaliser la casse puis trier et dédupliquer
Convertir tout le texte en minuscules, puis trier les lignes alphabétiquement et supprimer les doublons.
PIPELINE
Coder le texte en Hex et analyser
Convertir le texte en représentation Hex puis calculer les statistiques de caractères sur la sortie Hex.
PIPELINE
Normaliser et trier les identifiants
Nettoyer les espaces, convertir en minuscules, puis trier et dédupliquer une liste d'identifiants.
PIPELINE
Formater un document XML brut
Pretty-printer un document XML minifié ou non formaté pour révision humaine.
PIPELINE
Nettoyer le texte puis analyser les statistiques de mots
Trimmer et normaliser le texte, puis calculer les statistiques de mots/caractères/lignes.
PIPELINE
Nettoyer et trier les lignes de texte
Trimmer les espaces de chaque ligne, puis trier et dédupliquer le résultat pour une liste canonique propre.
PIPELINE
Désindenter le texte et trimmer
Supprimer l'indentation commune puis trimmer les espaces.
PIPELINE
Dédupliquer les lignes et compter les mots
Trier et supprimer les lignes en double, puis compter les mots restants pour un inventaire rapide.
PIPELINE
Trimmer, dédupliquer et trier les lignes
Nettoyer une liste : trimmer les espaces de chaque ligne, supprimer les doublons et trier le résultat.
PIPELINE
Extraire les e-mails et trier unique
Extraire les adresses e-mail puis trier et dédupliquer.
PIPELINE
Trimmer le texte et trier dédupliqué
Trimmer les espaces puis trier et dédupliquer les lignes.
PIPELINE
Normaliser les espaces et envelopper le texte
Nettoyer le texte désordonné en trimmant les lignes, supprimant les lignes vides, puis enveloppant à une largeur lisible.
PIPELINE

Outils associés