株式会社mou AI × 業務自動化の開発チームWORKS

個人のお客様へ納品した物(2026年11月)。下は当社の制作サンプルの頁(架空の店)を相手に動かした結果です

会社サイトの URL 一覧 → 会社名・電話・メール・問い合わせフォーム・所在地のリスト

出来上がり:Excel

作りの要点

  1. 各サイトのトップと「問い合わせ・会社概要」らしい頁(同じドメイン内・最大3頁)だけを読みます
  2. 相手の robots.txt を守り、1秒に1件の速さで読みます。同じドメインは1行にまとめます
  3. 取れなかった欄は空のまま黄色にし、「取れなかった欄」シートに出します(推測で埋めません)
  4. メールは頁に書いてある物だけ。送信はしません(集めるまで)

試した結果(URL 5件 → 重複1件をまとめて4件)

会社名電話メール問い合わせフォーム所在地メモ
eyelash salon Lumière(取れず)(取れず)(取れず)(取れず)(取れず)
からだ整え処 ひだまり(制作サンプル・架空)(取れず)(取れず)(取れず)架空県ひだまり市中央1-2-3(取れず)
みなと会計事務所(取れず)(取れず)(試しの頁)/zeirishi/(取れず)(取れず)
(取れず)(取れず)(取れず)(取れず)(取れず)ドメインが無い(読めなかった理由を記録)
robots.txt で禁じた頁は読まず「robots で禁止」と記録し、許された頁からは電話・所在地を取れることを、手元の試し用サーバーで確かめています。作る途中で「Python 標準の読み手が 403 を受けて全部禁止と誤る」形を見つけ、自分の名前で取り直す形に直しました

株式会社mou 制作サンプル一覧へ → 戻る