Ubuntuで1つのファイルを他のN個のファイルと比較するにはどうすればよいですか?

アンドレイ

私はビデオのウェブサイトを持っています。ファイルがアップロードされるたびに、他のすべての既存のファイル(ビデオ)と比較して、重複していないことを確認する必要があります。

アップロードするたびに比較するファイルの数が増えることを考慮して、比較的高速なソリューションを探しています。

理想的には、これはshell_execphpから使用して実行されるため、ファイルがすでに存在する場合は、ある種の出力を返す必要があります(単純な0または1で十分です)。

私は知っていますが、存在するファイルの数が増えると、これはかなり遅くなるのではないかcmpdiff心配しています。

私が調べるべき他の解決策はありますか?

alessiosavi

すべてのビデオのファイルのチェックサムを計算してから、値のリストを並べ替えることができます。同じチェックサムを持つものは同じファイルです。

プロセスを高速化するために、まったく同じサイズのファイルをフィルタリングして(DELTAで十分な場合は数kb)、このファイルセットに対してのみハッシュを計算できます。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

Ubuntuで2つのファイルの同等性を比較するにはどうすればよいですか?

分類Dev

2つのファイルを1行ずつ比較するにはどうすればよいですか?

分類Dev

1つのCSVの1行を別のCSVファイルのすべての行と比較するにはどうすればよいですか?

分類Dev

2つのcsvファイルの特定の列を比較するにはどうすればよいですか?

分類Dev

複数の個別の.icoファイルを1つのファイルに結合するにはどうすればよいですか?

分類Dev

1つのテキストファイルを他の約20のテキストファイルと比較し、一致する場合は常に各行の特定の列を印刷するにはどうすればよいですか?

分類Dev

PowerShellで2つの.jsファイルを比較するにはどうすればよいですか

分類Dev

パンダを使用して、n個の.csvファイル(おそらく20〜30個のファイル)を1個の大きな.csvファイルと水平方向(axis = 1)にマージするにはどうすればよいですか?

分類Dev

ファイルの既存の番号を乱数と比較するにはどうすればよいですか?

分類Dev

csvファイルの列をPythonの画像名と比較するにはどうすればよいですか?

分類Dev

あるファイルの複数の列を別のファイルの1つの列と比較し、2番目のファイルの一致を表示するにはどうすればよいですか?

分類Dev

2つのXMLファイルを比較するにはどうすればよいですか?

分類Dev

Pythonを使用して1つのファイルのデータを他のファイルのデータと比較するにはどうすればよいですか?

分類Dev

Twilio-Videoルームの個別のビデオファイルを1つにまとめるにはどうすればよいですか?

分類Dev

xmlファイルにn個のノードを追加するにはどうすればよいですか?

分類Dev

2 つのファイルの異なる列を比較して、最初のファイルに出力するにはどうすればよいですか?

分類Dev

値をcsvファイルの値と比較するにはどうすればよいですか?

分類Dev

ファイルの1つの列の内容を変更するにはどうすればよいですか?

分類Dev

2つのファイル間でファイルのアクセス許可を比較するにはどうすればよいですか?

分類Dev

gitのファイルを別のファイルの別のリビジョンと比較するにはどうすればよいですか?

分類Dev

フォルダ内のすべてのファイルを1つのファイルに置き換えるにはどうすればよいですか?

分類Dev

FTPClientファイルの最後の変更をローカルファイルと比較するにはどうすればよいですか?

分類Dev

ローカルファイルをVisualStudioのGit上のファイルと比較するにはどうすればよいですか?

分類Dev

別のtxtファイルと比較してtxtファイルの一意の値を確認するにはどうすればよいですか?

分類Dev

N個の最新ファイルを除くすべてのファイルを削除するにはどうすればよいですか?

分類Dev

すべてのファイルとubuntuを削除するにはどうすればよいですか?

分類Dev

PHPとの一致について2つのテキストファイルを比較するにはどうすればよいですか?

分類Dev

1つのファイルの列を他の複数の列で解析し、出力を連結するにはどうすればよいですか?

分類Dev

他の.pyファイルをインポートするときに.pycファイルを実行するにはどうすればよいですか?

Related 関連記事

  1. 1

    Ubuntuで2つのファイルの同等性を比較するにはどうすればよいですか?

  2. 2

    2つのファイルを1行ずつ比較するにはどうすればよいですか?

  3. 3

    1つのCSVの1行を別のCSVファイルのすべての行と比較するにはどうすればよいですか?

  4. 4

    2つのcsvファイルの特定の列を比較するにはどうすればよいですか?

  5. 5

    複数の個別の.icoファイルを1つのファイルに結合するにはどうすればよいですか?

  6. 6

    1つのテキストファイルを他の約20のテキストファイルと比較し、一致する場合は常に各行の特定の列を印刷するにはどうすればよいですか?

  7. 7

    PowerShellで2つの.jsファイルを比較するにはどうすればよいですか

  8. 8

    パンダを使用して、n個の.csvファイル(おそらく20〜30個のファイル)を1個の大きな.csvファイルと水平方向(axis = 1)にマージするにはどうすればよいですか?

  9. 9

    ファイルの既存の番号を乱数と比較するにはどうすればよいですか?

  10. 10

    csvファイルの列をPythonの画像名と比較するにはどうすればよいですか?

  11. 11

    あるファイルの複数の列を別のファイルの1つの列と比較し、2番目のファイルの一致を表示するにはどうすればよいですか?

  12. 12

    2つのXMLファイルを比較するにはどうすればよいですか?

  13. 13

    Pythonを使用して1つのファイルのデータを他のファイルのデータと比較するにはどうすればよいですか?

  14. 14

    Twilio-Videoルームの個別のビデオファイルを1つにまとめるにはどうすればよいですか?

  15. 15

    xmlファイルにn個のノードを追加するにはどうすればよいですか?

  16. 16

    2 つのファイルの異なる列を比較して、最初のファイルに出力するにはどうすればよいですか?

  17. 17

    値をcsvファイルの値と比較するにはどうすればよいですか?

  18. 18

    ファイルの1つの列の内容を変更するにはどうすればよいですか?

  19. 19

    2つのファイル間でファイルのアクセス許可を比較するにはどうすればよいですか?

  20. 20

    gitのファイルを別のファイルの別のリビジョンと比較するにはどうすればよいですか?

  21. 21

    フォルダ内のすべてのファイルを1つのファイルに置き換えるにはどうすればよいですか?

  22. 22

    FTPClientファイルの最後の変更をローカルファイルと比較するにはどうすればよいですか?

  23. 23

    ローカルファイルをVisualStudioのGit上のファイルと比較するにはどうすればよいですか?

  24. 24

    別のtxtファイルと比較してtxtファイルの一意の値を確認するにはどうすればよいですか?

  25. 25

    N個の最新ファイルを除くすべてのファイルを削除するにはどうすればよいですか?

  26. 26

    すべてのファイルとubuntuを削除するにはどうすればよいですか?

  27. 27

    PHPとの一致について2つのテキストファイルを比較するにはどうすればよいですか?

  28. 28

    1つのファイルの列を他の複数の列で解析し、出力を連結するにはどうすればよいですか?

  29. 29

    他の.pyファイルをインポートするときに.pycファイルを実行するにはどうすればよいですか?

ホットタグ

アーカイブ