컨볼 루션 네트워크 훈련을 위해 데이터 전처리에서 이미지 크기 조정

탐 63

컨볼 루션 네트워크를 훈련시키기 위해 jpeg 파일에서 데이터를로드하려고합니다. 이미지는 2,400 만 픽셀로 크기 때문에 전체 해상도를로드하고 사용하는 것은 실용적이지 않습니다.

이미지를 더 유용한 형식으로 만들기 위해 각 이미지를로드하고 크기를 조정 한 다음 목록에 추가하려고합니다. 이 작업이 완료되면 목록을 numpy 배열로 변환하고 평소처럼 훈련을 위해 네트워크에 공급할 수 있습니다.

내 문제는 내 데이터 세트가 매우 크고 모든 이미지의 크기를 조정하는 데 약 1 초가 걸린다는 것입니다. 즉, 현재 구현 한 방식으로 모든 이미지의 크기를 조정할 수 없다는 것을 의미합니다.

length_training_DF = 30000
for i in range(length_training_DF):
    im = plt.imread(TRAIN_IM_DIR + trainDF.iloc[i]['image_name'] + '.jpg')
    image = block_reduce(im, block_size=(10, 10, 1), func=np.max)
    trainX.append(image)

또한 다음을 사용했습니다.

length_training_DF = 30000
from keras.preprocessing import image
for i in range(50):
    img = image.load_img(TRAIN_IM_DIR + trainDF.iloc[0]['image_name'] + '.jpg', target_size=(224, 224))
    trainX.append(ima)

이러한 이미지를 네트워크 훈련을위한 형식으로 더 빨리로드 할 수있는 방법이 있습니까? tf.keras.preprocessing.image_dataset_from_directory ()를 사용하여 keras 데이터 세트를 사용하는 것에 대해 생각했지만 이미지 데이터가 저장된 디렉토리가이 방법에서 요구하는 것과 동일한 대상을 포함하는 폴더로 올바르게 형식화되지 않았습니다.

이미지는 이진 분류 문제에 대한 것입니다.

Lukasz Tracewski

일반적인 방법은 큰 이미지를로드하고 크기를 조정하고 필요한 경우 다른 작업을 적용한 다음 각 클래스를에서 요구하는대로 별도의 디렉터리에 저장하는 전처리 스크립트를 작성하는 것 ImageDataGenerator입니다.

그렇게해야하는 이유는 최소한 세 가지입니다.

  • 일반적으로 교육 과정을 수십 번 실행합니다. 재조정을 할 때마다 또는 예를 들어 자동 화이트 밸런스를 원하지는 않습니다.
  • ImageDataGenerator 훈련 데이터 세트를 보강하기위한 중요한 방법을 제공합니다.
  • 바로 사용할 수있는 좋은 발전기입니다. 전체 데이터 세트를 메모리에로드하고 싶지 않을 수 있습니다.

이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.

침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제

에서 수정
0

몇 마디 만하겠습니다

0리뷰
로그인참여 후 검토

관련 기사

분류에서Dev

컨벌루션 신경망 훈련을 위해 다양한 크기의 이미지로드

분류에서Dev

컨볼 루션 네트워크가 훈련에 64 개의 이미지를 모두 사용하는 이유는 무엇입니까?

분류에서Dev

완전 컨볼 루션 네트워크를 이해하는 데 문제가 있습니다.

분류에서Dev

TensorFlow : 컨볼 루션 네트워크에서 차원이 호환되지 않음 오류

분류에서Dev

케 라스를 사용한 컨볼 루션 네트워크의 사용자 지정 필터

분류에서Dev

VGG16 훈련 새 데이터 세트 : VGG16이 모양 (None, 2,2,10)을 갖기 위해 레이블이 필요한 이유는 무엇이며이 네트워크로 mnist 데이터 세트를 어떻게 훈련합니까?

분류에서Dev

컨벌루션 신경망에 데이터를 공급하기 위해 이미지 처리

분류에서Dev

Keras-컨볼 루션 네트워크 훈련, 자동 인코더 출력 가져 오기

분류에서Dev

네트워크 전송을위한 이진 데이터로 벡터에 구조체 삽입

분류에서Dev

Snorkel : 분류기 훈련과 레이블 지정 기능 생성을 위해 데이터 세트에 다른 기능을 사용할 수 있습니까?

분류에서Dev

와이드 포맷 프린터에서 이미지 클리핑을 방지하기 위해 일반 네트워크 라우터 대신 스위치를 사용하기위한 설정

분류에서Dev

컨벌루션 네트워크에서 Sequential을 제거한 후 "TypeError : 'Tensor'object is not callable"이 표시됩니다.

분류에서Dev

tensorflow GPU에서 컨볼 루션 신경망을 훈련 할 때 "Python이 작동을 멈췄습니다."

분류에서Dev

네트워크 설정을 적용하지 못했습니다.이 기기를 통해 Bluetooth 네트워크에 연결하십시오.

분류에서Dev

텍스트 및 숫자 데이터 사전에서 네트워크 생성-GNN 훈련

분류에서Dev

데이터 양식 터널을 다른 네트워크로 리디렉션

분류에서Dev

데이터 유형을 변환하기 전에 이미지 데이터의 크기를 조정하는 방법

분류에서Dev

iOS 앱에서 네트워크 호출을 관리하기위한 라이브러리 / 프레임 워크

분류에서Dev

CSV에 지정된 폴더 구조를 유지하면서 네트워크에서 데이터 읽기

분류에서Dev

네트워크 인터셉트에서 애플리케이션 네트워크 호출을 숨기는 방법이 있습니까?

분류에서Dev

배열 정렬을위한 자바 스크립트 솔루션 이해하기

분류에서Dev

mnist 컨볼 루션 네트워크 정확도가 나쁩니다.

분류에서Dev

AlphaGo에서 컨볼 루션 네트워크는 어떻게 사용됩니까?

분류에서Dev

일괄 데이터 세트로 네트워크를 훈련하는 동안 총 손실을 어떻게 추적해야합니까?

분류에서Dev

특정 애플리케이션에 대해 일정 기간 동안 총 네트워크 트래픽을 계산하는 방법은 무엇입니까?

분류에서Dev

여러 조직에 걸쳐있는 장기 네트워크 기반 애플리케이션은 REST에서 무엇을 의미합니까?

분류에서Dev

Xamarin Forms 상단 및 하단 클리핑없이 stacklayout을 채우기 위해 이미지 너비 크기 조정

분류에서Dev

React Native require () 네트워크 대 정적 이미지 크기 조정

분류에서Dev

이미지 위에 igraph 네트워크 오버레이

Related 관련 기사

  1. 1

    컨벌루션 신경망 훈련을 위해 다양한 크기의 이미지로드

  2. 2

    컨볼 루션 네트워크가 훈련에 64 개의 이미지를 모두 사용하는 이유는 무엇입니까?

  3. 3

    완전 컨볼 루션 네트워크를 이해하는 데 문제가 있습니다.

  4. 4

    TensorFlow : 컨볼 루션 네트워크에서 차원이 호환되지 않음 오류

  5. 5

    케 라스를 사용한 컨볼 루션 네트워크의 사용자 지정 필터

  6. 6

    VGG16 훈련 새 데이터 세트 : VGG16이 모양 (None, 2,2,10)을 갖기 위해 레이블이 필요한 이유는 무엇이며이 네트워크로 mnist 데이터 세트를 어떻게 훈련합니까?

  7. 7

    컨벌루션 신경망에 데이터를 공급하기 위해 이미지 처리

  8. 8

    Keras-컨볼 루션 네트워크 훈련, 자동 인코더 출력 가져 오기

  9. 9

    네트워크 전송을위한 이진 데이터로 벡터에 구조체 삽입

  10. 10

    Snorkel : 분류기 훈련과 레이블 지정 기능 생성을 위해 데이터 세트에 다른 기능을 사용할 수 있습니까?

  11. 11

    와이드 포맷 프린터에서 이미지 클리핑을 방지하기 위해 일반 네트워크 라우터 대신 스위치를 사용하기위한 설정

  12. 12

    컨벌루션 네트워크에서 Sequential을 제거한 후 "TypeError : 'Tensor'object is not callable"이 표시됩니다.

  13. 13

    tensorflow GPU에서 컨볼 루션 신경망을 훈련 할 때 "Python이 작동을 멈췄습니다."

  14. 14

    네트워크 설정을 적용하지 못했습니다.이 기기를 통해 Bluetooth 네트워크에 연결하십시오.

  15. 15

    텍스트 및 숫자 데이터 사전에서 네트워크 생성-GNN 훈련

  16. 16

    데이터 양식 터널을 다른 네트워크로 리디렉션

  17. 17

    데이터 유형을 변환하기 전에 이미지 데이터의 크기를 조정하는 방법

  18. 18

    iOS 앱에서 네트워크 호출을 관리하기위한 라이브러리 / 프레임 워크

  19. 19

    CSV에 지정된 폴더 구조를 유지하면서 네트워크에서 데이터 읽기

  20. 20

    네트워크 인터셉트에서 애플리케이션 네트워크 호출을 숨기는 방법이 있습니까?

  21. 21

    배열 정렬을위한 자바 스크립트 솔루션 이해하기

  22. 22

    mnist 컨볼 루션 네트워크 정확도가 나쁩니다.

  23. 23

    AlphaGo에서 컨볼 루션 네트워크는 어떻게 사용됩니까?

  24. 24

    일괄 데이터 세트로 네트워크를 훈련하는 동안 총 손실을 어떻게 추적해야합니까?

  25. 25

    특정 애플리케이션에 대해 일정 기간 동안 총 네트워크 트래픽을 계산하는 방법은 무엇입니까?

  26. 26

    여러 조직에 걸쳐있는 장기 네트워크 기반 애플리케이션은 REST에서 무엇을 의미합니까?

  27. 27

    Xamarin Forms 상단 및 하단 클리핑없이 stacklayout을 채우기 위해 이미지 너비 크기 조정

  28. 28

    React Native require () 네트워크 대 정적 이미지 크기 조정

  29. 29

    이미지 위에 igraph 네트워크 오버레이

뜨겁다태그

보관