xargs + curl "Failedwriting body"(複数の結果をファイルに保存することはできません)

Robert.Pozera

xargsとcurlに問題があります。

「urls」ファイルにURLリストがあり、最初の9行に制限されたこれらのコンテンツをダウンロードして、すべてを1つの出力ファイルに保存する必要があります(または結果ごとに1つのファイル-問題ありません)。

xargs -P 4 -n 1 curl < urls | head -n 9 > outputfile

問題は、最初の結果だけがファイルに保存され、他のすべての結果は「(23)本文の書き込みに失敗しました」というエラーが表示されることです。結果をファイルに保存しない場合でも、コンソールに「(23)本文の書き込みに失敗しました」というエラーが表示されます。

要約すると、ファイルからXXXX URLの最初の9行をダウンロードし、これを1つの出力ファイルまたはURLごとに1つのファイルに保存する必要があります。

この問題は、Cygwin(Windows 10)とMacOに存在します。

トリプリー

パイプラインは、出力を最初の9行のxargs出力に制限します。代わりにこれを試してください。

xargs -P 4 -i sh -c 'curl {} | head -n 9' <urls >outputfile

これにより、並列フェッチの出力行が制御不能に混同される可能性があります。それを避けたい場合は、GNUを見てくださいparallelそれが受け入れられない場合は、それぞれを個別の一時ファイルに書き込み、フェッチが完了したら一時ファイルを連結して削除します。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

各「ファイル」の名前を「file.text」に変更することはできません(xargsを使用)

分類Dev

このコマンドをAmazonAWSで実行することは可能ですか?xargs -n 1 curl -O <files.txt

分類Dev

nohupはxargsコマンドでプロセスのpidをファイルに保存できません

分類Dev

すべてのURL、CURLをループして、対応するファイルに出力することはできません

分類Dev

cURLを使用してSFTPファイルを削除することはできません

分類Dev

cURLで複数のファイルを保存する

分類Dev

findをxargsにパイプするときに、異なる場所にある同じ名前のファイルを変更することはできません

分類Dev

csvからの入力でxargsを使用してcurlコマンドを並行して実行します

分類Dev

xargsを含む検索結果をログファイルに出力します

分類Dev

curl:(26)ファイルを開くことができませんでした

分類Dev

xargsと同等のWindows?

分類Dev

xargsは私に `{} 'を開くことができないというエラーを与えます(そのようなファイルまたはディレクトリはありません)

分類Dev

ファイルのjsonをbashでcurlに渡されるjsonデータに置き換えることができません

分類Dev

頭が-nのxargs

分類Dev

xargsの使用構文

分類Dev

curl:(26)ファイルが変数の場合、ファイルを開くことができませんでした

分類Dev

ファイル名を抽出するXargs

分類Dev

ファイル名を抽出するXargs

分類Dev

xargsを使用して環境変数をファイルに保存する方法

分類Dev

xargsの入力ファイルがすでに実行されているときに、その入力ファイルに行を追加できますか?

分類Dev

|付きのmvファイル xargs

分類Dev

Alpine Linuxにpycurlをインストールするときに、「curl-configを実行できませんでした:[Errno2]そのようなファイルまたはディレクトリはありません」

分類Dev

find -execを使用して、xargsのように複数のファイルをすべて1行でcpする方法を見つけましたが、正確にどのように機能するかわかりません。

分類Dev

Facebookのプロフィール画像を保存するときに、画像ファイルがcurlで利用できるかどうかを確認します。PHP

分類Dev

pdftkでxargsを使用する

分類Dev

xargsでtmuxattachを使用する

分類Dev

xargsでsedを使用する

分類Dev

Curl / Grepは、一致する場合にのみ、出力をURL付きのファイルに保存します

分類Dev

xargsとsedを使用して結果を配列にパイプする方法は?

Related 関連記事

  1. 1

    各「ファイル」の名前を「file.text」に変更することはできません(xargsを使用)

  2. 2

    このコマンドをAmazonAWSで実行することは可能ですか?xargs -n 1 curl -O <files.txt

  3. 3

    nohupはxargsコマンドでプロセスのpidをファイルに保存できません

  4. 4

    すべてのURL、CURLをループして、対応するファイルに出力することはできません

  5. 5

    cURLを使用してSFTPファイルを削除することはできません

  6. 6

    cURLで複数のファイルを保存する

  7. 7

    findをxargsにパイプするときに、異なる場所にある同じ名前のファイルを変更することはできません

  8. 8

    csvからの入力でxargsを使用してcurlコマンドを並行して実行します

  9. 9

    xargsを含む検索結果をログファイルに出力します

  10. 10

    curl:(26)ファイルを開くことができませんでした

  11. 11

    xargsと同等のWindows?

  12. 12

    xargsは私に `{} 'を開くことができないというエラーを与えます(そのようなファイルまたはディレクトリはありません)

  13. 13

    ファイルのjsonをbashでcurlに渡されるjsonデータに置き換えることができません

  14. 14

    頭が-nのxargs

  15. 15

    xargsの使用構文

  16. 16

    curl:(26)ファイルが変数の場合、ファイルを開くことができませんでした

  17. 17

    ファイル名を抽出するXargs

  18. 18

    ファイル名を抽出するXargs

  19. 19

    xargsを使用して環境変数をファイルに保存する方法

  20. 20

    xargsの入力ファイルがすでに実行されているときに、その入力ファイルに行を追加できますか?

  21. 21

    |付きのmvファイル xargs

  22. 22

    Alpine Linuxにpycurlをインストールするときに、「curl-configを実行できませんでした:[Errno2]そのようなファイルまたはディレクトリはありません」

  23. 23

    find -execを使用して、xargsのように複数のファイルをすべて1行でcpする方法を見つけましたが、正確にどのように機能するかわかりません。

  24. 24

    Facebookのプロフィール画像を保存するときに、画像ファイルがcurlで利用できるかどうかを確認します。PHP

  25. 25

    pdftkでxargsを使用する

  26. 26

    xargsでtmuxattachを使用する

  27. 27

    xargsでsedを使用する

  28. 28

    Curl / Grepは、一致する場合にのみ、出力をURL付きのファイルに保存します

  29. 29

    xargsとsedを使用して結果を配列にパイプする方法は?

ホットタグ

アーカイブ