Databricks 및 Polybase는 다각형을 포함한 CSV를 구문 분석 할 수 없습니다.
Kenny_I
HTTP 연결을 통해 CSV를 읽고 Azure Storage Gen2에 데이터를 저장하는 Azure Data Factory가 있습니다. 파일 형식은 UTC-8입니다. 다각형 정의로 인해 파일이 어떻게 든 손상된 것 같습니다.
파일 내용은 다음과 같습니다.
Shape123 | "MULTIPOLYGON (((496000 6908000, 495000 6908000, 495000 6909000, 496000 6909000, 496000 6908000)))"| "빨간색"| "긴"| "208336"| "5"| "-1"
문제 1 : Polybase가 인코딩에 대해 불평하고 파일을 읽을 수 없습니다.
문제 2 : Databricks 데이터 프레임은이를 처리 할 수 없으며 행을 자르고 "Shape123 |"MULTIPOLYGON (((496000 6908000, "
빠른 솔루션 : Notepad ++로 CSV 파일을 열고 인코딩을 UTC-8로 다시 확인하십시오. 그러면 Polybase가 처리 할 수 있습니다.
질문 : CSV 파일을 자동으로 수정하는 방법은 무엇입니까? CSV 파일을 수정할 수없는 경우 전체 행을 처리하도록 데이터 프레임을 만드는 방법은 무엇입니까?
w 밥
Polybase는 UTF8 파일 및 다양한 구분 기호에 완벽하게 대처할 수 있습니다. 파이프 구분 기호, 큰 따옴표를 문자열 구분 기호로 사용하여 외부 파일 형식을 만들었습니까?
CREATE EXTERNAL FILE FORMAT ff_pipeFileFormatSHAPE
WITH (
FORMAT_TYPE = DELIMITEDTEXT,
FORMAT_OPTIONS (
FIELD_TERMINATOR = '|',
STRING_DELIMITER = '"',
ENCODING = 'UTF8'
)
);
GO
CREATE EXTERNAL TABLE shape_data (
col1 VARCHAR(20),
col2 VARCHAR(8000),
col3 VARCHAR(20),
col4 VARCHAR(20),
col5 VARCHAR(20),
col6 VARCHAR(20),
col7 VARCHAR(20)
)
WITH (
LOCATION = 'yourPath/shape/shape working.txt',
DATA_SOURCE = ds_azureDataLakeStore,
FILE_FORMAT = ff_pipeFileFormatSHAPE,
REJECT_TYPE = VALUE,
REJECT_VALUE = 0
);
내 결과 :
이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.
침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제
에서 수정
- 이전 게시물：if 문과 .innerText를 사용하여 점수를 어떻게 비교할 수 있습니까?
- 다음 포스트：OpenCV set () 및 read () 함수가 너무 느립니다 (Python).
관련 기사
Related 관련 기사
- 1
복잡한 jsonarray 및 Json 객체를 포함하는 JSON을 구문 분석 할 수 없습니다.
- 2
TypeError : Pandas로 CSV를 구문 분석하는 동안 데이터 유형을 이해할 수 없습니다.
- 3
XML SAX 구문 분석기 오류 : 값은 '<'문자를 포함 할 수 없습니다. '<'문자가없는 TNS 값을 가리 킵니다.
- 4
{if a <50} ... {elif a> 50 및 a <75} .... {else}를 구문 분석 할 수 없습니다.
- 5
GWT는 BST 및 EDT와 같은 시간대를 구문 분석 할 수 없습니다.
- 6
함수의 출력을 구문 분석 할 수 없습니다.
- 7
Curl 함수는 bash의 변수에서 오는 프록시를 구문 분석 할 수 없습니다.
- 8
Logstash로 CSV 파일을 구문 분석 할 수 없습니다.
- 9
파이썬의 정규식은 점을 포함하는 문자열을 구문 분석 할 수 없습니다.
- 10
gawk의 시작 부분에 빈 필드가있는 CSV를 구문 분석 할 수 없습니다.
- 11
오류 구문 분석 트리거를 수정하는 방법 : Gitlab CI에 Firebase 함수를 배포 할 때 '../../ 모듈을 찾을 수 없습니다.
- 12
Moshi는 nullable을 구문 분석 할 수 없습니다.
- 13
다른 함수가 csv 파일을 구문 분석 할 때 함수가 csv 파일의 데이터를 구문 분석하지 못하는 이유
- 14
이 구문 분석 문제를 이해할 수 없습니다.
- 15
python lxml xpath는 아포스트로피 따옴표를 구문 분석 할 수 없습니다.
- 16
JSON 구문 분석 오류 : 인식 할 수없는 토큰 '!' -Sentry가 오류를 포착했습니다.
- 17
Android는 단일 json 요소를 구문 분석 할 수 없습니다.
- 18
Awk는 욕설 기호를 구문 분석 할 수 없습니다.
- 19
배 BBCodeParser2는 WysiBB 링크를 구문 분석 할 수 없습니다.
- 20
boost :: spirit :: qi를 사용하는 조건에서 SQL 유형을 구문 분석 할 수 없습니다.
- 21
Elasticsearch는 사용자 지정 형식을 사용하여 날짜를 구문 분석 할 수 없습니다.
- 22
Elasticsearch는 사용자 지정 형식을 사용하여 날짜를 구문 분석 할 수 없습니다.
- 23
복잡한 유형의 속성을 구문 분석 할 수 없습니다.
- 24
mongo db 개체 ID 및 "\"가있는 json 직렬화 된 문자열을 구문 분석 할 수 없습니다.
- 25
웹 페이지에서 다른 포스터에 대한 링크를 구문 분석 할 수 없습니다.
- 26
deno에서 쿼리를 구문 분석 할 수 없습니다.
- 27
OHCLV 데이터를 구문 분석 할 수 없습니다.
- 28
: 기호로 요소를 구문 분석 할 수 없습니다.
- 29
: 기호로 요소를 구문 분석 할 수 없습니다.
몇 마디 만하겠습니다