データセット全体をロードする前に、カスタムデータフォーマット/マップを各イベントに適用するにはどうすればよいですか？

ドキュメントからApacheSparkにデータストリームを読み込む標準的な方法は次のとおりです。

events = spark.readStream \
  .format("json") \           # or parquet, kafka, orc...
  .option() \                 # format specific options
  .schema(my_schema) \        # required
  .load("path/to/data")

しかし、スキーマを適用する前に、いくつかのデータをクリーンアップしていくつかのフィールドを再配置する必要があります。

events = spark.readStream \
  .format("json") \           # or parquet, kafka, orc...
  .option() \                 # format specific options
  .schema(my_schema) \        # required
  **.map(custom_function)**   # apply a custom function to the json object
  .load("path/to/data")

構造化ストリーミングを使用してApacheSparkでこれを行う効率的な方法はありますか？