私は次のデータフレームを持っています
ID Name
1 Ajay
2 John Doe
3 Mark2
4 Clint!
5 Username@33
名前の列には、アルファベットまたはスペースのみを含める必要があります。条件を満たす行を除外する必要があります
したがって、結果は次のようになります。
ID Name
3 Mark2
4 Clint!
5 Username@33
この場合、代わりに組み込みのスパーク機能をudf使用できます.rlike。
[^a-zA-Z\\s+]+ ->含まれていないすべての文字に一致する a-z and space
Example:
import org.apache.spark.sql.functions._
df.filter(col("Name").rlike("[^a-zA-Z\\s+]+")).show()
//+---+-----------+
//| ID| Name|
//+---+-----------+
//| 3| Mark2|
//| 4| Clint!|
//| 5|Username@33|
//+---+-----------+
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加