行をソートして重複を取り除く
項目のリスト(1 行 1 項目)を受け取り、辞書順または自然順でソートし、重複行を削除します。
- 1
行リストのソートと重複除去は、よくあるデータ準備のステップです。ログエントリーの整理、URL の重複除去、インポートリストの準備など。ソートは差分を読みやすくし、重複除去は冗長なエントリーを取り除きます。
- 2 ソート＆重複削除ツール →
行を貼り付けてください。ツールはソートし(昇順/降順、大文字小文字の区別あり/なし、自然順または辞書順)、オプションで重複を除去します。
- 3 text-trim → sort-unique
チェーンを使うと、重複除去してからソートまでを 1 パスで行えます。前後の空白のトリミングや空行の無視のオプションもあります。
よくある質問
- 「自然」ソートと辞書順の違いは何ですか?
- 辞書順は文字ごとに並べます:'file10' < 'file2'('1' < '2' のため)。自然ソートは数字の並びを数値として扱います:'file2' < 'file10'。ファイル名やバージョンのような文字列には自然ソートを使ってください。
- 重複はどう識別されますか?
- オプションのトリミング後の、行の完全一致です。末尾の空白だけが異なる行は、トリミングを有効にしない限り別の行とみなされます。大文字小文字を無視した重複除去には、そのオプションを有効にしてください。ただし、最初の出現の大文字小文字が保持されます。
このタスクを解決するワークフロー
ケース正規化後にソートと重複除去
すべてのテキストを小文字に変換し、行をアルファベット順にソートして重複を除去する。 パイプライン
テキストの Hex エンコードと分析
テキストを Hex 表現に変換し、その後 Hex 出力の文字統計を計算する。 パイプライン
識別子の正規化とソート
空白をクリーンアップし、小文字に変換し、その後識別子のリストをソートして重複を除去する。 パイプライン
生 XML ドキュメントのフォーマット
ミニファイまたは未フォーマットの XML ドキュメントを人間のレビューのために整形する。 パイプライン
テキストのクリーンアップ後の単語統計分析
テキストをトリムして正規化し、その後単語/文字/行統計を計算する。 パイプライン
テキスト行のクリーンアップとソート
すべての行から空白をトリムし、その後ソートして重複を除去しクリーンな正準リストにする。 パイプライン
テキストのデデントとトリム
共通インデントを削除し、その後空白をトリムする。 パイプライン
行の重複除去と単語カウント
行をソートして重複を除去し、その後残りの単語をカウントして簡単な在庫を得る。 パイプライン
行のトリム、重複除去、ソート
リストをクリーンアップする: すべての行から空白をトリムし、重複を除去し、結果をソートする。 パイプライン
メールアドレスの抽出とソート
メールアドレスを抽出し、その後ソートして重複を除去する。 パイプライン
テキストのトリムと重複除去ソート
空白をトリムし、その後行をソートして重複を除去する。 パイプライン
空白の正規化とテキスト折り返し
行をトリムし、空行を削除し、その後可読な行幅に折り返すことで乱雑なテキストをクリーンアップする。 パイプライン
関連ツール
ソート＆重複削除ツール
Sort lines alphabetically, numerically, by length, or naturally; deduplicate; reverse or shuffle。無料、プライベート、100%クライアントサイド。 ツール
テキストトリミング＆クリーニング
Remove empty lines, trim whitespace, collapse spaces。無料、プライベート、100%クライアントサイド。 ツール
正規表現置換ツール
Find and replace text using regular expressions。無料、プライベート、100%クライアントサイド。 ツール