Linux Tips

Webサイトを一括ダウンロードするには

北浦訓行
2003/2/20

 ブロードバンドの普及によって、巡回ソフトでWebサイトをダウンロードして、後でまとめて見るという使い方をする人は減ったかもしれない。しかし、インターネットに接続できない外出先で資料として見たり、自分のWebページをバックアップしたりするために、Webサイトを一括ダウンロードすることはあるだろう。このような場合にもwgetコマンドを利用することができる(編注)。

編注:Webサイトの一括ダウンロードをひんぱんに行うと、相手サイトに負荷をかけることになるので注意すること。

 wgetコマンドでWebサイトを一括ダウンロードするときは、-rオプションを付ける。デフォルトでは、5階層までを一括してダウンロードしてくれる。wgetを実行したディレクトリにホスト名(URL)と同じディレクトリが作成され、その下にファイルがダウンロードされる。

$ wget -r http://www.example.jp/
--15:33:01--  http://www.example.jp/
           => `www.example.jp/index.html'
www.example.jp をDNSに問いあわせています... 完了しました。
www.example.jp[xxx.xxx.xxx.xxx]:80 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 997 [text/html]

100%[=================================>] 997        973.63K/s    ETA 00:00

15:33:02 (973.63 KB/s) - `www.example.jp/index.html' を保存しました [997/997]

 ダウンロード結果を確認すると、以下のようになっている。

$ ls
www.example.jp ←wgetで指定したURLと同じディレクトリが作成される
$ tree
.
`-- www.example.jp
    |-- english
    |   |-- index.html
(省略)

 -lオプションを使うと、ダウンロードする階層を変更することもできる。例えば、7階層までダウンロードする場合は、以下のようにする。

$ wget -r -l 7 http://www.example.jp/

 また、~/.wgetrcというファイルを作成し、

--level=7

としておくと、デフォルトで7階層までダウンロードしてくれるようになる。

Linux Tips Index



 Linux Squareフォーラム Linux Tipsカテゴリ別インデックス
インストール/RPM ブート/ブートローダ
ファイル操作 環境設定
ユーザー管理 コンソール/ターミナル
X Window System セキュリティ
トラブルシューティング 他OS関係
ネットワーク ハードウェア
Webサーバ Samba
GNOME KDE
OpenOffice.org エミュレータ
ソフトウェア そのほか/FAQ
全Tips公開順インデックス Linux Tips月間ランキング
Linux Squareフォーラム全記事インデックス

MONOist組み込み開発フォーラムの中から、Linux関連記事を紹介します


Linux & OSS フォーラム 新着記事
@ITメールマガジン 新着情報やスタッフのコラムがメールで届きます(無料)

注目のテーマ

Linux & OSS 記事ランキング

本日 月間