連番ファイルをダウンロードして他のコマンドに渡すには？ curlコマンドの使い方：ネットワーク管理の基本Tips

連載バックナンバー

　本連載では、ネットワーク管理の基本コマンドを順を追って紹介していきます。基本書式と用法、主要なオプション、用例サンプルを示しますので、manやhelp代わりに通読し、各コマンドでできることを順次おさらいしてみてください。今回は、ファイルアップロード／ダウンロードで利用することの多い「curl」コマンドを紹介します。

　なお、本連載では、執筆時点の最新版Red Hat Enterprise Linux（RHEL）およびCentOS環境で動作を確認しています。また、用法事例はIPv4（Internet Protocol version 4）ネットワークを前提にしています。コマンドのサンプルなどで一部環境に依存した出力例となる場合がありますので、その際には適宜ご自身の環境に合わせて読み替えてください。

curlコマンドとは？

　curlは、WebサーバーやFTPサーバーと通信し、ファイルをダウンロード／アップロードするコマンドです。HTTPやFTPなど主要なプロトコルに対応する他、ダウンロードが中断された位置から再開する機能など、ダウンローダーとしての基本機能を備えています。同様の機能を提供するコマンドに「wget」がありますが、両者は少し性質が異なります。

「HTTP/HTTPSでまとめてデータを取得するwgetコマンドとは？」で紹介した通り、wgetコマンドは再帰的なデータ取得が可能なので、クローラーのような利用方法が考えられます。一方、今回紹介するcurlコマンドは、コマンドラインで利用する際、パイプラインを使って他のコマンドやプログラムに取得したデータを渡すことができます。また、wgetよりも対応プロトコルが多く、例えばユーザー名とパスワードを指定すればFTPサーバーにもアップロード可能です。

　curlコマンドは、各プロトコルに応じたURLを引数としますが、デフォルトではURLが示すリソースを取得するよう動作するため、「http://」から始まるURLを指定した場合には、Webサーバー（HTTPサーバー）上のファイルをダウンロードします。

　curlコマンドで取得したデータは、基本的には標準出力へ書き出されます。そのため、「-o」オプション（小文字のオー）を指定して任意のファイル名を付けて保存するか、「-O」オプション（大文字のオー）を指定してサーバー側のファイル名のまま保存することが一般的な使い方になります。

　なお、curlコマンドはHTTP/HTTPSの他、FTP、SCPなどのプロトコルにも対応していおり、ファイルのダウンロードだけでなくアップロードも可能です。

主なオプション

　curlコマンドの主なオプションは次の通りです。

ファイルをダウンロードするには？ 連番のファイル名を指定するには？

　ファイルをダウンロードする場合は、「-O」オプションを指定し、引数にURLを与えます。すると、URLで指定したファイルのダウンロードが開始され、サーバー上と同じファイル名でカレントディレクトリに保存されます。任意のファイル名で保存する場合は、「-o ○○○」の要領で指定します。

　ファイル名の一部が連番のファイルを一括ダウンロードするときには、記号（[ ]）で連番の範囲を指定します。例えば、「dog01.jpg」から「dog09.jpg」の九つのJPEG画像をダウンロードするときには、「dog0[1-9].jpg」の要領でファイル名を指定します。数字の代わりにアルファベット（例：[a-z]）を使用することも可能です。

　下のサンプルは、大文字の「-O」オプションを使い、bz2形式のファイル「source.bz2」を同じ名前で保存する場合の取得例です。

$ curl -O http://www.atmarkit.co,jp/files/trunk/source.bz2
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  2 45.8M    2 1184k    0     0   263k      0  0:02:58  0:00:04  0:02:54  263k

中断したダウンロードを再開するには？

　何らかの理由でダウンロードが中断した場合には、URLの前に「-C - -o ＜保存したファイル名＞」の要領でオプションを指定すると、中断された位置からダウンロードを再開（レジューム）できます。ただし、サーバー側がレジューム機能に対応している必要があります。

　下のサンプルは、source.bz2のダウンロードを再開する場合の例です。

$ curl -C - -o source.bz2 http://www.atmarkit.co,jp/files/trunk/source.bz2
** Resuming transfer from byte position 1855488
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
 10 44.1M   10 4909k    0     0   358k      0  0:02:05  0:00:13  0:01:52  103k

ファイルをアップロードするには？

　curlコマンドにはアップロード機能があり、「-T」オプションで指定したファイルを、引数に与えたサーバー（WebDAVサーバーなど）のURLに転送することができます。

　引数のファイル名を省略すると、「-T」オプションで指定したファイル名がそのまま利用されますが、サーバー側の命名ルールによって自動的に変更されることもあります。以下のコマンド実行例では、curlコマンドに対応したアップロードサイト「transfer.sh」を利用しています。

$ curl -T Nasu.jpg https://transfer.sh/nasudake.jpg
https://transfer.sh/aEivJ/nasudake.jpg

　さらに、「-u」オプションに続けて「ユーザーID:パスワード」の要領でアカウント情報を指定すると、認証が必要なサーバーへファイルをアップロードすることも可能です。HTTPのベーシック認証やFTPのログインに利用できます。ただし、アカウント情報は暗号化されずに転送されるため、取り扱いには注意が必要です。

$ curl -T sample.txt -u username:password ftp://ftp.foobar.com/
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  1084    0     0  100  1084      0   3557 --:--:-- --:--:-- --:--:--  3699