hypermkt blog

xargsを使って簡単に並列処理をする方法

December 21, 2015

この記事は Pepabo Advent Calendar 2015の20日目の記事です。

先日とある案件で約400万個の画像データを別のサーバーにAPI経由でインポートする必要がありました。最初は単純に直列で実行してたのですが、終了予想を調べたら約20日かかる事になりあまりに遅すぎる!!と悩んでいた所、「並列処理で実行すればいいよ」というアドバイスを頂きました。いろいろ調べて試した結果、xargsで並列処理をするのが一番簡単かつ使いやすかったので使い方をまとめます。##サンプルスクリプト

現在時刻を表示した後に1秒間sleepします。


都内で働くWebアプリケーションエンジニア。主にサーバーサイド。最近はRuby/Railsでコードを書くのが楽しい。