회귀 출력 (51 출력)으로 tensorflow에서 큰 numpy 배열 처리

아민 마샬

나는 각각 150x150x3 이미지에 약 1.5m 요소를 포함하는 단일 npy 파일 인 매우 큰 데이터 세트를 가지고 있습니다. 출력에는 51 개의 열 (51 개의 출력)이 있습니다. 데이터 세트가 메모리에 맞지 않는데 어떻게로드하고 모델에 맞게 사용합니까? 효율적인 방법은 TFRecords 및 tf.data를 사용하는 것이지만이 작업을 수행하는 방법을 이해할 수 없습니다. 도움을 주시면 감사하겠습니다. 감사합니다.

Aminrd

한 가지 방법은 NPY 파일 조각을 조각별로로드하고 (신경망을 공급하기 위해) 메모리에 한 번에로드하지 않는 것입니다. 당신은 사용할 수 있습니다 numpy.load정상적으로 그리고 지정 mmap_mode배열이 디스크에 보관하고, 단지 필요한 비트가 접근시 메모리에로드되도록 (더 자세한 내용을 키워드를 여기에 )

numpy.load(file, mmap_mode=None, allow_pickle=False, fix_imports=True, encoding='ASCII')

메모리 매핑 된 파일은 전체 파일을 메모리로 읽지 않고 디스크에있는 큰 파일의 작은 세그먼트에 액세스하는 데 사용됩니다. NumPy의 memmap은 배열과 같은 객체입니다. 이것은 파일과 유사한 객체를 사용하는 Python의 mmap 모듈과 다릅니다.

배열 tfrecords에서 생성하는 방법을 알고 Dataset API를 사용하여 numpy읽는 방법을 알고 싶다면 tfrecords링크 가 좋은 답변을 제공합니다.

이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.

침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제

에서 수정
0

몇 마디 만하겠습니다

0리뷰
로그인참여 후 검토

관련 기사

분류에서Dev

회귀 출력에 열 추가

분류에서Dev

R에서 회귀 출력 집계

분류에서Dev

jq로 JSON 처리-배열 인덱스 / 이름을 출력으로 처리

분류에서Dev

Tensorflow 회귀에서 임의의 비용 출력 받기-Python

분류에서Dev

회귀 요약 출력 : 범주 순서

분류에서Dev

Logstash : XML을 JSON으로 배열에서 문자열로 출력

분류에서Dev

출력 예측에서 BERT "UNK"토큰을 처리하는 방법

분류에서Dev

Tensorflow-py_func 그라디언트에서 numpy op 출력을 어떻게 처리 할 수 있습니까?

분류에서Dev

snmpget에서 bash 배열로 출력

분류에서Dev

PHP 배열에서 JSON으로 읽을 수있는 출력

분류에서Dev

배열로 HTML 트리 출력

분류에서Dev

sklearn 전처리에서 출력 열 추적

분류에서Dev

numpy 배열에서 배열 추출

분류에서Dev

numpy 배열에서 배열 추출

분류에서Dev

numpy로 큰 배열에서 배열을 검색하는 방법

분류에서Dev

MinMaxScaler가 NumPy 배열에서 이상한 출력을 보여줍니다.

분류에서Dev

Tensorflow.js에서 큰 텐서의 모든 값 출력

분류에서Dev

열의 Null 값으로 인해 SQL 쿼리에 출력이 없음

분류에서Dev

열의 Null 값으로 인해 SQL 쿼리에 출력이 없음

분류에서Dev

사용자 입력을 형식으로 캡처하여 배열에 추가하고 출력을 표시하려고합니다.

분류에서Dev

PyTorch의 다중 출력 회귀 문제에 대한 RMSE 손실

분류에서Dev

libsvm이 다중 출력 회귀에 대해 작동합니까?

분류에서Dev

numpy 배열에서 개별 값을 목록으로 추출

분류에서Dev

쓰레기를 출력하는 2D 배열 처리

분류에서Dev

C #에서 배열 요소 왼쪽 회전-원하지 않는 출력

분류에서Dev

numpy 배열에서 열 추출

분류에서Dev

StratifiedKFold 출력 처리

분류에서Dev

큰 숫자를 csv에 문자열로 출력 할 수 있습니까?

분류에서Dev

sqlite db의 출력을 공백이있는 ksh 배열로 처리

Related 관련 기사

  1. 1

    회귀 출력에 열 추가

  2. 2

    R에서 회귀 출력 집계

  3. 3

    jq로 JSON 처리-배열 인덱스 / 이름을 출력으로 처리

  4. 4

    Tensorflow 회귀에서 임의의 비용 출력 받기-Python

  5. 5

    회귀 요약 출력 : 범주 순서

  6. 6

    Logstash : XML을 JSON으로 배열에서 문자열로 출력

  7. 7

    출력 예측에서 BERT "UNK"토큰을 처리하는 방법

  8. 8

    Tensorflow-py_func 그라디언트에서 numpy op 출력을 어떻게 처리 할 수 있습니까?

  9. 9

    snmpget에서 bash 배열로 출력

  10. 10

    PHP 배열에서 JSON으로 읽을 수있는 출력

  11. 11

    배열로 HTML 트리 출력

  12. 12

    sklearn 전처리에서 출력 열 추적

  13. 13

    numpy 배열에서 배열 추출

  14. 14

    numpy 배열에서 배열 추출

  15. 15

    numpy로 큰 배열에서 배열을 검색하는 방법

  16. 16

    MinMaxScaler가 NumPy 배열에서 이상한 출력을 보여줍니다.

  17. 17

    Tensorflow.js에서 큰 텐서의 모든 값 출력

  18. 18

    열의 Null 값으로 인해 SQL 쿼리에 출력이 없음

  19. 19

    열의 Null 값으로 인해 SQL 쿼리에 출력이 없음

  20. 20

    사용자 입력을 형식으로 캡처하여 배열에 추가하고 출력을 표시하려고합니다.

  21. 21

    PyTorch의 다중 출력 회귀 문제에 대한 RMSE 손실

  22. 22

    libsvm이 다중 출력 회귀에 대해 작동합니까?

  23. 23

    numpy 배열에서 개별 값을 목록으로 추출

  24. 24

    쓰레기를 출력하는 2D 배열 처리

  25. 25

    C #에서 배열 요소 왼쪽 회전-원하지 않는 출력

  26. 26

    numpy 배열에서 열 추출

  27. 27

    StratifiedKFold 출력 처리

  28. 28

    큰 숫자를 csv에 문자열로 출력 할 수 있습니까?

  29. 29

    sqlite db의 출력을 공백이있는 ksh 배열로 처리

뜨겁다태그

보관