출력 예측에서 BERT "UNK"토큰을 처리하는 방법
마리아 미 나자 피
데이터에 대해 사전 훈련 된 BERT 모델을 훈련합니다.
두 개의 목록을 포함하는 Json을 만들려고합니다.
첫째 : 목록이 모델 (욕망 값)에 대한 예측을 결론 내립니다
. 둘째 : 참값 목록
하지만 첫 번째 목록에는 다음과 같은 [ 'UNK'] 토큰
이 많이 있습니다. 왜 이런 일이 발생합니까? 어떻게 해결할 수 있습니까?
이 UNK 태그는 예측 결과를 0에 가깝게 만듭니다. (정확도 비율은 진실 과 욕망 의 정확한 일치 를 기반으로 하고이 UNK는 욕구를 다르게 만듭니다 ...
그것을 위해 무엇을 할 수 있습니까?
마리아 미 나자 피
궁극적으로 문제를 발견했습니다. 제가 사용한 Bert 버전은 페르시아어에 적용되었으며 페르시아 정규화 프로세스를 완전히 통과하지 못했습니다.) 해당 단계를 완료하고 Bert 구성으로 디버깅 한 후 해결되었습니다.
이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.
침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제
에서 수정
- 이전 게시물：React JS : TypeError : undefined 또는 null을 객체로 변환 할 수 없습니다.
- 다음 포스트：ModernGL 버퍼와의 Numpy 배열 (cv2로 열고 저장)
관련 기사
Related 관련 기사
- 1
`unzip -v` 출력의 'Stored'열에서 'Unk :'는 무엇을 의미합니까?
- 2
BERT 분류기의 출력을 정규화하는 방법
- 3
R : RSSL의 로지스틱 회귀에서 예측 된 확률을 출력하는 방법
- 4
문자열에서 토큰을 추출하는 방법?
- 5
우분투 터미널의 디렉토리에서 두 토큰 사이의 문자열을 검색하고 출력을 저장하는 방법
- 6
unet_learner (fastai)에서 올바른 출력 예측을 얻는 방법은 무엇입니까?
- 7
HuggingFace Transformers 라이브러리에서 사전 훈련 된 BERT 모델의 중간 계층 출력을 얻는 방법은 무엇입니까?
- 8
Python scikit-learn에서 Random Forest의 각 트리에서 회귀 예측을 출력하는 방법은 무엇입니까?
- 9
tcpdump에서 출력을 캡처하는 방법
- 10
bourne 쉘 명령에서 출력을 캡처하는 방법
- 11
디렉토리에 저자 당 문서 양을 출력하는 방법
- 12
텍스트 처리-모든 행에서 패턴과 일치하는 파일을 출력하는 방법
- 13
RC의 OAuth 호출에서 새로 고침 토큰을 제거하는 방법
- 14
Python 3에서 subprocess.run의 출력을 스트리밍하고 캡처하는 방법이 있습니까?
- 15
Zelig 시뮬레이션 출력에서 예상 값을 추출하는 방법
- 16
Makefile 출력을 하위 디렉토리에 저장하는 방법
- 17
외부 명령을 실행할 때 Perl에서 큰 STDOUT 출력을 캡처하는 방법
- 18
정수 제곱근 방법에서 큰 입력을 처리하는 방법은 무엇입니까?
- 19
glmmTMB를 사용하여 모델 출력에서 특정 고정 효과에 대한 예측 평균을 계산하는 방법
- 20
StateFlow에서 벡터 입력을 처리하는 방법
- 21
명령 출력을 텍스트로 처리하는 방법
- 22
Bash를 처리하는 방법 : 예기치 않은 토큰`( '?
- 23
useEffect에서 비동기 호출을 처리하는 방법
- 24
django에서 여러 양식 제출을 처리하는 방법
- 25
jq에서 일치 함수의 출력을 처리하는 방법은 무엇입니까?
- 26
SecureRandom에서 7 자리 값을 출력하는 방법
- 27
디렉토리에 sips 이미지를 출력하는 방법
- 28
저지에서 streamoutput 응답을 사용할 때 이미 일부 출력을 플러시 한 후 예외를 처리하는 방법은 무엇입니까?
- 29
Transformers 라이브러리에서 Bert 토크 나이저를 자르는 방법
몇 마디 만하겠습니다