대기열 및 중단 및 계속 기능을 사용하여 Linux에서 수많은 파일 / 폴더 복사

IMTheNachoMan

나는 OLD OLD OLD * nix 시스템에서 테라 바이트 상당의 데이터를 복사하고 있습니다. 드라이브를 연결할 새 하드웨어를 구입하는 데 돈을 쓸 수 있지만 돈을 쓰지 않으려 고합니다.

시스템이 엉망입니다. 그것은 많이 얼고 충돌합니다. 그래서 매번 복사 프로세스를 다시 시작해야합니다. 그리고 이미 복사 한 파일을 "건너 뛰어야"하기 때문에 "추적"하는 데 오랜 시간이 걸립니다.

사용할 수는 rsync있지만 시스템이 너무 느려서 rsync초기 인벤토리 스캔 / 비교를 시작할 때마다 시간 이 걸립니다.

그래서 복사해야하는 모든 파일의 일회성 목록을 생성하여 파일에 저장할 수 있다고 생각했습니다. 그런 다음 파일을 살펴보고 해당 파일을 복사 한 다음 해당 줄을 삭제하는 스크립트를 가질 수 있습니다. 스크립트 / 복사가 중간에 실패하면 중단 된 부분부터 계속할 수 있습니다. 대기열에서 줄을 삭제하는 부분을 처리 / 처리하는 방법을 모르지만 이미 필요한 작업을 수행하는 공개적으로 사용 가능한 도구 또는 스크립트가 있어야한다는 것을 깨달았습니다.

따라서 목표는 파일의 일부 입력 대기열을 통해 복사 및 복사하고 복사가 완료되면 대기열에서 제거하는 것입니다. 이 특정 사용 사례에는 필요하지 않지만 대기열에 추가되는 새 항목을 수용 할 수 있어야합니다. 물론 큐는 파일 기반이어야하므로 시스템 오류 / 문제가 발생한 경우에도 계속 될 수 있습니다.

아는 사람 있나요?

RudiC

이 작업을 안정적으로 수행하려면 "전문적인"검증 된 도구를 사용하는 것이 좋지만 여기에 솔루션에 대한 빠르고 더러운 즉석 접근 방식이 있습니다. 시스템 문제로 인해 파일의 한 줄을 삭제하지 못할 수 있으므로 성공적으로 복사 된 파일의 이름을 로그 파일에 유지하는 것이 조금 더 안전 해 보입니다. 예를 들어 ls결과 를 리디렉션하여 복사 할 파일이 포함 된 "할 일"파일 과 빈 "로그"파일을 만듭니다. 그런 다음 실행

comm -2 -3 todo log |
while read FN
  do echo cp "$FN" "new/path/to/$FN" && echo "$FN" >> log || echo "$FN" >&2
  done 2>>errlog

이것이 실행될 때마다 이미 복사되고 기록 된 파일은 건너 뜁니다. "파일이 정렬 된 순서가 아닙니다"라는 경고 sort를 피하기 위해 "todo"파일을 원할 수 있습니다 comm.

이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.

침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제

에서 수정
0

몇 마디 만하겠습니다

0리뷰
로그인참여 후 검토

관련 기사

분류에서Dev

폴더 및 하위 폴더에서 파일을 복사하여 단일 폴더에 붙여 넣는 방법은 무엇입니까?

분류에서Dev

Python을 사용하여 하위 폴더 및 파일을 새 폴더에 복사하는 방법

분류에서Dev

찾기 및 이름 바꾸기를 사용하여 반복적으로 모든 파일과 폴더에 사용자 정의 문자열을 추가합니다.

분류에서Dev

Robocopy를 사용하여 많은 파일 및 폴더 제외

분류에서Dev

Python 3을 사용하여 CSV 파일의 하위 폴더 / TXT에서 찾기 및 바꾸기

분류에서Dev

하나의 폴더에서 모든 파일 및 폴더 복사

분류에서Dev

폴더, 하위 폴더 및 여러 파일에서 반복적으로 찾기 및 이름 바꾸기

분류에서Dev

Dockerfile에서 단일 COPY 계층을 사용하여 서로 다른 소스 및 대상 디렉토리에 여러 파일을 복사하는 방법

분류에서Dev

지도 및 폴더, haskell을 사용하여 기능 구현

분류에서Dev

Linux Bash에서 전체 경로로 파일 및 폴더 복사

분류에서Dev

Python을 사용하여 XML 파일에서 속성 읽기 및 사용

분류에서Dev

새 폴더를 만들고 '/ var / www /'에있는 모든 파일 및 폴더를 여기에 복사하여 모든 코드 파일을 백업하는 Linux 명령은 무엇입니까?

분류에서Dev

새 폴더를 만들고 '/ var / www /'에있는 모든 파일 및 폴더를 여기에 복사하여 모든 코드 파일을 백업하는 Linux 명령은 무엇입니까?

분류에서Dev

csv / txt 파일에서 폴더 및 하위 폴더 만들기

분류에서Dev

폴더 및 하위 폴더에서 파일 찾기

분류에서Dev

파일에서 열 추출 및 다른 사용자에 대한 기능 수행

분류에서Dev

javascript를 사용하여 .dic 파일에서 단어 열기 및 찾기

분류에서Dev

xlsm 파일과 같은 템플릿에서 매크로를 사용하여 폴더 및 새 * .xlsx 파일 만들기

분류에서Dev

익명 유형 및 IComparable 인터페이스를 사용하여 폴더에서 가장 큰 파일 찾기

분류에서Dev

명령 프롬프트를 사용하여 폴더 및 파일 숨기기

분류에서Dev

너무 많은 파일 핸들을 사용하여 MPI 및 Boost MPI 열기

분류에서Dev

Perl을 사용하여 파일 읽기 및 변수에 삽입

분류에서Dev

계속 정렬 및 기타 모든 필드를 사용하여 NSMutableArray에서 중복 객체 제거

분류에서Dev

중단 기능 및 계속 기능에 대한 설명

분류에서Dev

폴더의 파일 목록에서 마스터로 데이터 추출, 복사 및 붙여 넣기

분류에서Dev

장소 메뉴를 사용하여 폴더 및 파일 찾아보기

분류에서Dev

VBA를 사용하여 FTP 폴더에서 파일 및 폴더 삭제

분류에서Dev

폴더 구조를 유지하면서 html 및 css 파일을 dist에 복사

분류에서Dev

R을 사용하여 문자열에서 단일 마침표 및 이중 마침표 계산

Related 관련 기사

  1. 1

    폴더 및 하위 폴더에서 파일을 복사하여 단일 폴더에 붙여 넣는 방법은 무엇입니까?

  2. 2

    Python을 사용하여 하위 폴더 및 파일을 새 폴더에 복사하는 방법

  3. 3

    찾기 및 이름 바꾸기를 사용하여 반복적으로 모든 파일과 폴더에 사용자 정의 문자열을 추가합니다.

  4. 4

    Robocopy를 사용하여 많은 파일 및 폴더 제외

  5. 5

    Python 3을 사용하여 CSV 파일의 하위 폴더 / TXT에서 찾기 및 바꾸기

  6. 6

    하나의 폴더에서 모든 파일 및 폴더 복사

  7. 7

    폴더, 하위 폴더 및 여러 파일에서 반복적으로 찾기 및 이름 바꾸기

  8. 8

    Dockerfile에서 단일 COPY 계층을 사용하여 서로 다른 소스 및 대상 디렉토리에 여러 파일을 복사하는 방법

  9. 9

    지도 및 폴더, haskell을 사용하여 기능 구현

  10. 10

    Linux Bash에서 전체 경로로 파일 및 폴더 복사

  11. 11

    Python을 사용하여 XML 파일에서 속성 읽기 및 사용

  12. 12

    새 폴더를 만들고 '/ var / www /'에있는 모든 파일 및 폴더를 여기에 복사하여 모든 코드 파일을 백업하는 Linux 명령은 무엇입니까?

  13. 13

    새 폴더를 만들고 '/ var / www /'에있는 모든 파일 및 폴더를 여기에 복사하여 모든 코드 파일을 백업하는 Linux 명령은 무엇입니까?

  14. 14

    csv / txt 파일에서 폴더 및 하위 폴더 만들기

  15. 15

    폴더 및 하위 폴더에서 파일 찾기

  16. 16

    파일에서 열 추출 및 다른 사용자에 대한 기능 수행

  17. 17

    javascript를 사용하여 .dic 파일에서 단어 열기 및 찾기

  18. 18

    xlsm 파일과 같은 템플릿에서 매크로를 사용하여 폴더 및 새 * .xlsx 파일 만들기

  19. 19

    익명 유형 및 IComparable 인터페이스를 사용하여 폴더에서 가장 큰 파일 찾기

  20. 20

    명령 프롬프트를 사용하여 폴더 및 파일 숨기기

  21. 21

    너무 많은 파일 핸들을 사용하여 MPI 및 Boost MPI 열기

  22. 22

    Perl을 사용하여 파일 읽기 및 변수에 삽입

  23. 23

    계속 정렬 및 기타 모든 필드를 사용하여 NSMutableArray에서 중복 객체 제거

  24. 24

    중단 기능 및 계속 기능에 대한 설명

  25. 25

    폴더의 파일 목록에서 마스터로 데이터 추출, 복사 및 붙여 넣기

  26. 26

    장소 메뉴를 사용하여 폴더 및 파일 찾아보기

  27. 27

    VBA를 사용하여 FTP 폴더에서 파일 및 폴더 삭제

  28. 28

    폴더 구조를 유지하면서 html 및 css 파일을 dist에 복사

  29. 29

    R을 사용하여 문자열에서 단일 마침표 및 이중 마침표 계산

뜨겁다태그

보관