Sparkでフォールドアクションはどのように機能しますか?

thedevd

以下に、SparkfoldアクションのScalaの例を示します。

val rdd1 = sc.parallelize(List(1,2,3,4,5), 3)
rdd1.fold(5)(_ + _)

これにより、出力が生成されます35誰かがこの出力がどのように計算されるかを詳細に説明できますか?

SCouto

ここのScaladocsから引用(私の強調):

@param zeroValueop演算子の各パーティションの累積結果の初期値および演算子の異なるパーティションからの結合結果の初期値op-これは通常、ニュートラル要素になります(Nilリストの連結や0合計など)。

zeroValueあなたの場合、これは4回追加されます(パーティションごとに1回、さらにパーティションの結果を組み合わせる場合に1回)。したがって、結果は次のようになります。

(5 + 1) + (5 + 2 + 3) + (5 + 4 + 5) + 5 // (extra one for combining results)

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

Sparkでフォールドアクションはどのように機能しますか?

分類Dev

SparkパーティションはHDFSのファイルでどのように機能しますか?

分類Dev

フォルダ名のローカリゼーションはどのように機能しますか?

分類Dev

Googleでのアクションのバージョン管理はどのように機能しますか?

分類Dev

GitHubアクションビルドマトリックス:$はどのように機能しますか?

分類Dev

「Angular2.0for TypeScript」(アルファ)アニメーションはどのように機能しますか?

分類Dev

リレーショナルフィールドは内部でどのように機能しますか?

分類Dev

Spring Bootのフィールドインジェクションは内部でどのように機能しますか?

分類Dev

NATリフレクション(NATループバック)はどのように機能しますか?

分類Dev

NATリフレクション(NATループバック)はどのように機能しますか?

分類Dev

Strutsアプリケーションでループはどのように機能しますか?

分類Dev

UI フォルダーのみを公開する場合、Web アプリケーションはどのように機能しますか

分類Dev

@autowiredアノテーションはプライベートフィールドに対してどのように機能しますか?

分類Dev

Androidのアプリケーションサンドワークとは何ですか?どのように機能しますか?

分類Dev

フォームタグのアクション属性を正しく機能させるにはどうすればよいですか?

分類Dev

メンションはマークダウンファイル(* .md)またはその他のテキストでどのように機能しますか?

分類Dev

ApplicationRecordアソシエーションメソッドルックアップはどのように機能しますか?

分類Dev

インクルードはソフトリンクでどのように機能しますか?

分類Dev

レンジパーティショナーはSparkでどのように機能しますか?

分類Dev

インバウンドポートブロッキングはファイアウォールでどのように機能しますか?

分類Dev

モバイルアプリケーションとのハイブリッドフローはどのように機能しますか?

分類Dev

Spark Streamingでパーティションはどのように機能しますか?

分類Dev

トルネード-アプリケーションとリクエストのログはどのように機能しますか?

分類Dev

OneDriveは、どのようにしてそのフォルダーを古いWindowsバージョンで機能しないようにしますか?

分類Dev

このJavaコードスニペットはどのように機能しますか?(文字列プールとリフレクション)

分類Dev

スクリーンショットはどのように機能しますか?それは、サポートするハードウェアによるものですか、それともピクセルを積み上げるソフトウェアによるものですか?

分類Dev

アプリケーションレビューボードはどのように機能しますか?

分類Dev

レイジーフィールドのシリアル化はどのように機能しますか?

分類Dev

デフォルトのスタックサイズはどれくらいですか、大きくなる可能性がありますか?ガベージコレクションでどのように機能しますか?

Related 関連記事

  1. 1

    Sparkでフォールドアクションはどのように機能しますか?

  2. 2

    SparkパーティションはHDFSのファイルでどのように機能しますか?

  3. 3

    フォルダ名のローカリゼーションはどのように機能しますか?

  4. 4

    Googleでのアクションのバージョン管理はどのように機能しますか?

  5. 5

    GitHubアクションビルドマトリックス:$はどのように機能しますか?

  6. 6

    「Angular2.0for TypeScript」(アルファ)アニメーションはどのように機能しますか?

  7. 7

    リレーショナルフィールドは内部でどのように機能しますか?

  8. 8

    Spring Bootのフィールドインジェクションは内部でどのように機能しますか?

  9. 9

    NATリフレクション(NATループバック)はどのように機能しますか?

  10. 10

    NATリフレクション(NATループバック)はどのように機能しますか?

  11. 11

    Strutsアプリケーションでループはどのように機能しますか?

  12. 12

    UI フォルダーのみを公開する場合、Web アプリケーションはどのように機能しますか

  13. 13

    @autowiredアノテーションはプライベートフィールドに対してどのように機能しますか?

  14. 14

    Androidのアプリケーションサンドワークとは何ですか?どのように機能しますか?

  15. 15

    フォームタグのアクション属性を正しく機能させるにはどうすればよいですか?

  16. 16

    メンションはマークダウンファイル(* .md)またはその他のテキストでどのように機能しますか?

  17. 17

    ApplicationRecordアソシエーションメソッドルックアップはどのように機能しますか?

  18. 18

    インクルードはソフトリンクでどのように機能しますか?

  19. 19

    レンジパーティショナーはSparkでどのように機能しますか?

  20. 20

    インバウンドポートブロッキングはファイアウォールでどのように機能しますか?

  21. 21

    モバイルアプリケーションとのハイブリッドフローはどのように機能しますか?

  22. 22

    Spark Streamingでパーティションはどのように機能しますか?

  23. 23

    トルネード-アプリケーションとリクエストのログはどのように機能しますか?

  24. 24

    OneDriveは、どのようにしてそのフォルダーを古いWindowsバージョンで機能しないようにしますか?

  25. 25

    このJavaコードスニペットはどのように機能しますか?(文字列プールとリフレクション)

  26. 26

    スクリーンショットはどのように機能しますか?それは、サポートするハードウェアによるものですか、それともピクセルを積み上げるソフトウェアによるものですか?

  27. 27

    アプリケーションレビューボードはどのように機能しますか?

  28. 28

    レイジーフィールドのシリアル化はどのように機能しますか?

  29. 29

    デフォルトのスタックサイズはどれくらいですか、大きくなる可能性がありますか?ガベージコレクションでどのように機能しますか?

ホットタグ

アーカイブ