Apache Spark : GraphX에서 사용자 지정 클래스 유지 : 직렬화 할 수 없습니까?

스테판

나는 기사 수업이 있습니다

case class Article(articleName:String,
                   id:Option[Long],
                    authors: Iterator[Author],
                    keywords: Iterator[String])

(Author는 4 가지 문자열 옵션을 보유한 클래스입니다.)

그것으로 그래프를 만들고 싶습니다. 정점의 RDD와 가장자리의 RDD를 만들었습니다.

val vertices: RDD[(VertexId, Article)] = articles.map(article => (article.id.get , article))

그래프를 만들 때 :

val graph = Graph(vertices, edges)

다음과 같은 오류가 발생합니다 (단축 됨).

java.io.NotSerializableException: scala.collection.LinearSeqLike$$anon$1
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1184)
    at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)
    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)

내가하는 일을 할 수없는 이유를 잘 모르겠습니다.

클래스는 직렬화 할 수 없기 때문에 직렬화 LinearSeqLike할 수 없습니다. Spark 클러스터 노드에서 실행되는 작업은이를 위해 직렬화되어야합니다. 대신 .NET Framework를 사용 List하거나 다른 구체적이고 직렬화 가능한 시퀀스 유형을 사용하는 것이 좋습니다 Iterator.

이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.

침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제

에서 수정
0

몇 마디 만하겠습니다

0리뷰
로그인참여 후 검토

관련 기사

분류에서Dev

Spark 셸에서 사용자 지정 케이스 클래스를 사용하면 직렬화 오류가 발생하는 이유는 무엇입니까?

분류에서Dev

클래스에 중첩 된 메서드를 사용하여 "직렬화 할 수없는 작업"방지

분류에서Dev

클래스가 직렬화 가능을 확장 할 때 Apache Spark 작업을 직렬화 할 수 없음

분류에서Dev

Ksoap : 웹 메서드에 매개 변수로 사용자 정의 클래스를 전달할 때 예외를 직렬화 할 수 없습니다.

분류에서Dev

org.apache.spark.SparkException : 자바에서 작업을 직렬화 할 수 없음

분류에서Dev

필터에 집합을 사용하면 "org.apache.spark.SparkException : 작업을 직렬화 할 수 없음"이 발생하는 이유는 무엇입니까?

분류에서Dev

클래스 확장에 지정된 초기화자를 배치 할 수없는 이유는 무엇입니까?

분류에서Dev

C #의 웹 서비스에서 사용자 지정 클래스를 반환 할 수 없습니다.

분류에서Dev

Spark에서 직렬화 오류를 방지하기 위해 직렬화 할 수없는 개체 분리

분류에서Dev

키가 문자열 직렬화되고 값이 avro 인 Spark 구조화 된 스트림을 사용하여 avro 메시지를 역 직렬화 할 수 없습니다.

분류에서Dev

클래스 생성자에서 "이것이 필수"인 이유는 무엇입니까? 왜 지역 변수를 사용할 수 없습니까?

분류에서Dev

JSON 문자열에서 역 직렬화 할 때 내 클래스가 채워지지 않습니다.

분류에서Dev

C #에서 사용자 지정 직렬화를 사용할 때 XML 요소의 이름을 어떻게 제어 할 수 있습니까?

분류에서Dev

CakePHP : 사용자 정의 패키지에서 클래스를로드 할 수 없습니다.

분류에서Dev

Parse에서 사용자 지정 클래스 개체를 저장할 수 없습니다.

분류에서Dev

어떻게 필수 필드를 알고있는 자바 클래스에 JSON을 역 직렬화 할 수 있지만, 몇 가지 알 수없는 필드가 할 수 있습니까?

분류에서Dev

사용자 지정 계산에 Spark를 사용할 수 있습니까?

분류에서Dev

클래스의 생성자는 지정된 유형에 적용 할 수 없습니다.

분류에서Dev

데이터는 AsynTask 클래스의 사용자 지정 목록보기에 도달 할 수 없습니다.

분류에서Dev

Spring Cache 추상화에서 사용하는 직렬화를 사용자 정의 할 수 있습니까?

분류에서Dev

apache spark에서 rlike를 사용할 때 어떤 정규식이 실행되었는지 알 수 있습니까?

분류에서Dev

사용자 지정 클래스 목록에서 동일한 클래스 형식 목록을 사용할 수 있습니까?

분류에서Dev

QTabWidget에서 사용자 정의 클래스를 사용할 수 없습니다.

분류에서Dev

클래스 속성이 원자 성인 경우 왜 getter 및 setter를 사용자 지정할 수 없습니까?

분류에서Dev

오류 : 클래스의 메서드를 지정된 유형에 적용 할 수 없습니다.

분류에서Dev

사용자 지정 클래스의 개체에 대한 NSMutableArray의 직렬화 및 역 직렬화

분류에서Dev

이미 직렬화 된 클래스를 직렬화 할 수 없습니까?

분류에서Dev

이미 직렬화 된 클래스를 직렬화 할 수 없습니까?

분류에서Dev

Json.NET : 지정된 유형의 기본 클래스가 "PropertyChangedBase"인 경우 JSON을 역 직렬화 할 수 없습니다.

Related 관련 기사

  1. 1

    Spark 셸에서 사용자 지정 케이스 클래스를 사용하면 직렬화 오류가 발생하는 이유는 무엇입니까?

  2. 2

    클래스에 중첩 된 메서드를 사용하여 "직렬화 할 수없는 작업"방지

  3. 3

    클래스가 직렬화 가능을 확장 할 때 Apache Spark 작업을 직렬화 할 수 없음

  4. 4

    Ksoap : 웹 메서드에 매개 변수로 사용자 정의 클래스를 전달할 때 예외를 직렬화 할 수 없습니다.

  5. 5

    org.apache.spark.SparkException : 자바에서 작업을 직렬화 할 수 없음

  6. 6

    필터에 집합을 사용하면 "org.apache.spark.SparkException : 작업을 직렬화 할 수 없음"이 발생하는 이유는 무엇입니까?

  7. 7

    클래스 확장에 지정된 초기화자를 배치 할 수없는 이유는 무엇입니까?

  8. 8

    C #의 웹 서비스에서 사용자 지정 클래스를 반환 할 수 없습니다.

  9. 9

    Spark에서 직렬화 오류를 방지하기 위해 직렬화 할 수없는 개체 분리

  10. 10

    키가 문자열 직렬화되고 값이 avro 인 Spark 구조화 된 스트림을 사용하여 avro 메시지를 역 직렬화 할 수 없습니다.

  11. 11

    클래스 생성자에서 "이것이 필수"인 이유는 무엇입니까? 왜 지역 변수를 사용할 수 없습니까?

  12. 12

    JSON 문자열에서 역 직렬화 할 때 내 클래스가 채워지지 않습니다.

  13. 13

    C #에서 사용자 지정 직렬화를 사용할 때 XML 요소의 이름을 어떻게 제어 할 수 있습니까?

  14. 14

    CakePHP : 사용자 정의 패키지에서 클래스를로드 할 수 없습니다.

  15. 15

    Parse에서 사용자 지정 클래스 개체를 저장할 수 없습니다.

  16. 16

    어떻게 필수 필드를 알고있는 자바 클래스에 JSON을 역 직렬화 할 수 있지만, 몇 가지 알 수없는 필드가 할 수 있습니까?

  17. 17

    사용자 지정 계산에 Spark를 사용할 수 있습니까?

  18. 18

    클래스의 생성자는 지정된 유형에 적용 할 수 없습니다.

  19. 19

    데이터는 AsynTask 클래스의 사용자 지정 목록보기에 도달 할 수 없습니다.

  20. 20

    Spring Cache 추상화에서 사용하는 직렬화를 사용자 정의 할 수 있습니까?

  21. 21

    apache spark에서 rlike를 사용할 때 어떤 정규식이 실행되었는지 알 수 있습니까?

  22. 22

    사용자 지정 클래스 목록에서 동일한 클래스 형식 목록을 사용할 수 있습니까?

  23. 23

    QTabWidget에서 사용자 정의 클래스를 사용할 수 없습니다.

  24. 24

    클래스 속성이 원자 성인 경우 왜 getter 및 setter를 사용자 지정할 수 없습니까?

  25. 25

    오류 : 클래스의 메서드를 지정된 유형에 적용 할 수 없습니다.

  26. 26

    사용자 지정 클래스의 개체에 대한 NSMutableArray의 직렬화 및 역 직렬화

  27. 27

    이미 직렬화 된 클래스를 직렬화 할 수 없습니까?

  28. 28

    이미 직렬화 된 클래스를 직렬화 할 수 없습니까?

  29. 29

    Json.NET : 지정된 유형의 기본 클래스가 "PropertyChangedBase"인 경우 JSON을 역 직렬화 할 수 없습니다.

뜨겁다태그

보관