신경망을 훈련 할 때 처음에 훈련 데이터와 검증 데이터 간의 손실 차이가 얼마나 중요합니까?

짧은 질문 : 학습 시작 (첫 세대)에서 검증과 학습 손실의 차이가 사용해야하는 데이터 양에 대한 좋은 지표입니까? 예를 들어 처음의 차이가 가능한 한 적을 때까지 데이터 양을 늘리는 것이 좋은 방법일까요? 시간과 계산을 절약 할 수 있습니다.

backround :저는 매우 빠르게 과적 합하는 신경망을 연구하고 있습니다. 드롭 아웃, 배치 정규화, 학습률 감소, 배치 크기 감소, 다양한 데이터 증가, 레이어 감소, 필터 크기 증가와 같은 다양한 기술을 적용한 후 최상의 결과는 여전히 매우 나쁩니다. 훈련 손실은 매우 잘 감소하지만 검증 손실은 너무 일찍 과적 합됩니다 (너무 일찍 의미하는 것은 원하는 손실에 도달하지 않았기 때문에 몇 배 더 적어야 함). 데이터 세트 200 개를 사용한 훈련은 50 epoch 동안 24 시간이 걸렸기 때문에, 데이터 양을 늘리기 전에 위에서 설명한 모든 방법으로 과적 합에 맞서 싸우는 방법을 찾고 싶었습니다. 데이터 양을 늘리는 데 도움이되지 않았기 때문입니다. 내 네트워크가 과적 합을 제거하는 데 얼마나 많은 데이터가 충분할 수 있는지 생각하고 있습니다.