• SORAについて
  • SORAの人
  • SORAの日常
  • SORAの仕事
  • 代表前田のだいたいDiary
  • コラム
SORAのなかみ
  • SORAについて
  • SORAの人
  • SORAの日常
  • SORAの仕事
  • 代表前田のだいたいDiary
  • コラム
  1. ホーム
  2. SORAの日常
  3. 引越しの見積もりサイトから届くメールをスクレイピングしてみる

引越しの見積もりサイトから届くメールをスクレイピングしてみる

2020 9/15
SORAの日常
2020年9月15日
s_nakamura

とある引越しの見積もりサイトから届くメールをスクレイピングし、管理画面から閲覧可能にします。

解析対象のメールは「サービス①(HTML)」と「サービス②(テキスト)」の2パターンあります。

 

目次

手順①メール取得

メールサーバーで受信したメールを取得するために、fetcmail(メール取得)とprocmail(ディレクトリ振り分け)を使用。

今回は処理しやすいよう、procmailを使用して2つのサービスのメールを振り分けました。

どちらも、サーバーにインストールして設定ファイルを記述するだけなので簡単でした。

手順②スクレイピング

PHPで解析。

サービス①(HTML)

PHPでHTMLを解析するツールはいろいろあるみたいです。
今回はPHP標準のDOMDocumentを使用しました。

XPATHという記述を使用してHTMLから要素を取得しました。

サービス②(テキスト)

PHPのpreg_match関数で正規表現を使用して取得しました。

 

どちらも、元のメールが簡単な構造だったので悩まずにできました。
複雑なWEBページの解析とかはもうちょっと工夫が必要かもしれません。

 

SORAの日常

関連記事

  • Vagrant up が失敗する
    2022年3月30日
  • 在宅勤務3年目にして「こたつ」を設置したのでメリットを挙げる。
    2022年12月7日
  • amazonの新しいwafがきたぞ
    2020年5月8日
  • mysqlでlocalhostに繋ぐ場合はポート指定が効かないでデフォルトポートに勝手につながる
    2020年12月11日
  • 在宅ワーク中の環境構築
    2020年5月7日
  • 2022年度入社式&全社ミーティング
    2023年4月10日
  • 痛風になったので体験談を晒します
    2020年9月2日
  • SORAの企業理念とロゴ再構築のやりとりをチラ見せ
    2020年8月13日
カテゴリー
  • SORAの人 (27)
  • SORAの仕事 (4)
  • SORAの日常 (44)
  • コラム (12)
  • 代表前田のだいたいDiary (12)
  • SORAについて
  • サイトマップ
  • プライバシーポリシー
  • 運営企業

© 2022 SORA Corporation All Rights Reserved.

  • カテゴリー
  • 新卒採用
  • 企業サイト
  • お問い合わせ
目次