コンテンツへスキップ
uencoder

テキストブロックからすべての URL を抽出する

非構造化テキストからすべての URL(http、https、ftp)を見つけ出し、検証、重複排除、バッチ処理用のリストを作成します。

  1. 1

    文章、ログ、ドキュメントに埋め込まれた URL を手作業で見つけるのは困難です。正規表現スキャンですべての http(s) URL を検出し、その後、検証、重複排除、一括処理ができます。

  2. 2
    正規表現テスター →

    URL マッチパターン(例:https?://[^\s<>"']+)を使います。ツールは入力テキスト内のすべてのマッチをハイライト表示し、リスト化します。

  3. 3
    正規表現置換ツール →

    URL を変換する(トラッキングパラメータの追加、ドメインの書き換えなど)には、キャプチャグループと置換テンプレートを使った regex-replace を使います。

  4. 4
    URL パーサー →

    抽出した各 URL をパースして、プロトコル、ホスト、パス、クエリ、フラグメントに分解し、構造化して処理します。

よくある質問

なぜ正規表現が一部の URL を見逃すのですか?
URL には特殊な文字が含まれることがあります(Wikipedia の URL の括弧、カンマ、セミコロン)。単純な正規表現はエッジケースを見逃します。堅牢な抽出には、URL 対応のトークナイザを使うか、候補を URL パーサに通して、パースに成功したものだけを残してください。
メールアドレスをマッチしないようにするには?
メールアドレスには @ はあってもスキームがありません。明示的なスキーム(http://、https://、ftp://)を持つ URL だけをマッチすれば、メールを除外できます。両方必要な場合は、別々のパターンを使って結果をマージしてください。

このタスクを解決するワークフロー

関連ツール