Spark Tasks는 데이터를 읽지 만 다시 쓰지 않음

debugcn 에 게시 Dev

Venkata

Spark 1.6 버전을 사용하고 있으며 Spark-shell에서 작업을 실행하는 동안 작업이 데이터를 읽고 있지만 아래 표와 같이 작업을 완료하기 위해 다시 쓰지 않는 것을 관찰했습니다.

Address TaskTime TotalTask FailedTask succeededtask Shuffle/read Shuffle/write
   1       0         0         0            0           188KB/707   0.0B/670

Spark 프로그램은 5 개의 실행기 5GB 크기와 3 코어를 사용하고 있습니다.

Venkata

클러스터 설정에서 파티션에 대한 작업 수를 늘려이 문제를 해결했습니다.

이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.

침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제

에서 수정2021-06-19

몇 마디 만하겠습니다

0리뷰

로그인참여 후 검토

Related 관련 기사

기사

Spark Tasks는 데이터를 읽지 만 다시 쓰지 않음

Spark Tasks는 데이터를 읽지 만 다시 쓰지 않음

Apache Spark Shuffle 쓰기는하지만 Shuffle 읽기는 없음

Logstash는 stdin에서 데이터를 읽지 만 파일에서는 읽지 않습니다.

오류는 없지만 데이터베이스에 쓰지 않습니다.

IOUtils.write는 새 파일을 생성하지만 데이터를 쓰지 않습니다.

스크립트는 데이터를 읽지 만 변경하지는 않습니다.

JMeter는 응답 데이터를 쓰지 않습니다.

ffmpeg는 aac에 메타 데이터를 쓰지 않습니다.

클립 보드에만 추가하는 방법 (현재 데이터를 덮어 쓰지 않음)?

R 함수는 개체 "obser"를 표시하지만 쓰지 않습니다 .CSV

AsyncTask로 RSS를 읽는 동안 UI 업데이트를 시도했지만 작동하지 않습니다.

OleDB를 사용하여 Excel 시트 데이터를 가져 오지만 행의 셀 데이터를 읽지 않는 "무작위"

파일에 쓰는 방법은 있지만 안드로이드에서는 다시 쓰지 않습니까?

파일에 쓰는 방법은 있지만 안드로이드에서는 다시 쓰지 않습니까?

Fragment의 ListView는 데이터를 저장하지만 방향 변경시 다시 채워지지 않습니다.

Flutter Firebase는 처음으로 데이터를로드하지 않지만 다음 번에 데이터를 여러 번로드합니다.

UITableView가 채워졌지만 데이터 또는 행을 표시하지 않음

포스트 에코를 제출하지만 데이터베이스에 정보를 쓰지 않습니다.

robot.txt는 페이지를 허용하지 않지만 다음으로 시작하지 않음

Java Spark에서 읽는 동안 읽지 않은 블록 데이터

<Connect />는 onSubscriptionMsg를 다시 렌더링하지만 새 데이터로는 렌더링하지 않습니다.

x.findall 함수는 값을 반환하지만 pandas 데이터 프레임에 쓰지 않습니다.

내 코드는 errmsg를 표시하지 않지만 데이터베이스에 데이터를 삽입하지 않습니다.

Ajax는 PHP 성공에 데이터를 게시하지만 12k 길이 이상의 데이터는 게시하지 않습니다.

Doctrine 2는 데이터를 데이터베이스로 업데이트하지만 데이터를 엔티티로 업데이트하지 않습니다.

Django는 데이터베이스에서 읽지 않습니다 – 오류 없음

NLog는 파일에 쓰고 있지만 데이터베이스 테이블에는 쓰고 있지 않습니다.

AngularJS 지시문이 컨트롤러에서 데이터를 읽지 않음

쓰기 데이터를 표시하지 않는 Azure 활동 로그

jqgrid 사용자 정의 JSON 데이터 오류가 없지만 데이터를 표시하지 않음