Spark : Scala의 중첩 배열에서 첫 번째 배열 제거

debugcn 에 게시 Dev

슈 루티 구사 인

2 개의 열이있는 DataFrame이 있습니다. 모든 레코드에서 중첩 배열의 첫 번째 배열을 제거하고 싶습니다. 예 :-나는 이와 같은 DF가 있습니다

+---+-------+--------+-----------+-------------+
|id |arrayField                                |
+---+------------------------------------------+
|1  |[[Akash,Kunal],[Sonu,Monu],[Ravi,Kishan]] |
|2  |[[Kunal, Mrinal],[Priya,Diya]]            |
|3  |[[Adi,Sadi]]                              |
+---+-------+---------+----------+-------------+

다음과 같은 출력을 원합니다.

+---+-------+------+------+-------+
|id |arrayField                   |
+---+-----------------------------+
|1  |[[Sonu,Monu],[Ravi,Kishan]]  |
|2  |[[Priya,Diya]]               |
|3  | null                        |
+---+-------+------+------+-------+

슈

에서 불꽃-2.4 사용 slice기능.

Example:

df.show(10,false)
/*
+------------------------+
|arrayField              |
+------------------------+
|[[A, k], [s, m], [R, k]]|
|[[k, M], [c, z]]        |
|[[A, b]]                |
+------------------------+
*/

import org.apache.spark.sql.functions._

df.withColumn("sliced",expr("slice(arrayField,2,size(arrayField))")).
withColumn("arrayField",when(size(col("sliced"))==0,lit(null)).otherwise(col("sliced"))).
drop("sliced").
show()
/*
+----------------+
|      arrayField|
+----------------+
|[[s, m], [R, k]]|
|        [[c, z]]|
|            null|
+----------------+
*/

이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.

침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제

에서 수정2021-04-2

몇 마디 만하겠습니다

0리뷰

로그인참여 후 검토

Related 관련 기사

기사

Spark : Scala의 중첩 배열에서 첫 번째 배열 제거

Spark : Scala의 중첩 배열에서 첫 번째 배열 제거

JSON NodeJS의 중첩 배열에서 첫 번째 요소 추출

중첩 배열에서 모든 첫 번째 배열 찾기

C # 중복 제거 문자열 배열의 첫 번째 요소 만 확인

PHP는 다중 배열의 첫 번째 키를 제거합니다.

배열의 첫 번째 인덱스에서 첫 번째 문자를 제거 하시겠습니까?

배열에서 첫 번째 0 삭제

객체가있는 두 배열을 비교하고 첫 번째 배열에서 중복 제거

첫 번째 열에서만 첫 번째 공백 뒤의 문자열 제거

첫 번째 열에서만 첫 번째 공백 뒤의 문자열 제거

Java의 첫 번째 인덱스를 무시하면서 ArrayList에서 중복 문자열 배열을 제거하는 방법

첫 번째 문자가 각 문자열에서 동일한 경우 배열의 각 문자열에서 첫 번째 문자를 제거합니다.

Scala / Spark-모든 하위 배열의 첫 번째 요소를 얻는 방법

첫 번째 열을 기반으로 배열에서 중복 행을 제거하는 방법.

Mongoose-모든 개체의 중첩 배열에서 첫 번째 요소 만 채우는 방법

Numpy 배열의 첫 번째 숫자 앞에 Nan 발생 / 초 제거

배열 내에서 배열의 첫 번째 항목 병합

텍스트에서 첫 번째 중복 문자열 제거

Java에서 배열의 첫 번째 중복 값을 계산하는 방법

MySql의 지정된 열에서 첫 번째 공백 제거

옥타브의 문자열에서 첫 번째 문자 제거

O (1)에서 문자열의 첫 번째 문자 제거

문자열에서 <p>의 첫 번째 항목 제거

구분 된 파일의 첫 번째 열에서 공백 제거

배열 문자열의 첫 번째 인덱스 삭제

MongoDB : 객체에 중첩 된 다른 배열에 중첩 된 배열의 첫 번째 요소 만 반환하도록 투영을 만듭니다.

MATLAB에서 셀형 배열의 첫 번째 계층을 제거하는 우아한 방법?

MATLAB에서 셀형 배열의 첫 번째 계층을 제거하는 우아한 방법?

자바 스크립트의 다차원 배열에서 첫 번째 요소 제거

Java를 사용하지 않고 배열의 첫 번째 요소 제거