사전 훈련 된 BERT 토크 나이저를 저장할 이유가 있습니까?

Ginobimura

를 사용 tokenizer = BertTokenizer.from_pretrained('bert-base-uncased', do_lower_case=True)하고 있으며 새 모델을 미세 조정하는 동안 해당 토크 나이저로 수행하는 모든 작업은 표준입니다.tokenizer.encode()

나는 사람들이 모델을 저장하는 동시에 그 토크 나이저를 저장하는 대부분의 장소에서 보았지만, 수정되지 않는 즉시 사용 가능한 토크 나이저처럼 보이기 때문에 저장해야하는 이유가 명확하지 않습니다. 훈련 중에 어떤 식 으로든.

Ashwin Geet D' Sa

귀하의 경우 토크 나이저를 사용하여 텍스트 ( encode()) 를 토큰 화하는 경우 토크 나이저를 저장할 필요가 없습니다. 항상 사전 훈련 된 모델의 토크 나이저를로드 할 수 있습니다.

그러나 때로는 사전 훈련 된 모델의 토크 나이저를 사용한 다음 해당 어휘에 새 토큰을 추가하거나 '[CLS]', '[MASK]', '[SEP]', '[와 같은 특수 기호를 재정의 할 수 있습니다. PAD] '또는 그러한 특수 토큰. 이 경우 토크 나이저를 변경 했으므로 나중에 사용할 수 있도록 토크 나이저를 저장하는 것이 유용합니다.

이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.

침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제

에서 수정
0

몇 마디 만하겠습니다

0리뷰
로그인참여 후 검토

관련 기사

분류에서Dev

Pytorch의 사전 훈련 된 모델에서 저장된 토크 나이저를로드하는 방법

분류에서Dev

사전 훈련 된 Gensim 구문 모델이 있습니까?

분류에서Dev

사전 훈련 된 caffe 모델의 하위 집합을 어떻게 저장할 수 있습니까?

분류에서Dev

훈련 된 신경망을 MATLAB의 메모리에 저장할 수있는 방법이 있습니까?

분류에서Dev

훈련 된 모델을 kedro에 저장하는 IO 기능이 있습니까?

분류에서Dev

n 이전 훈련 가중치 저장

분류에서Dev

.mat 파일로 저장된 훈련 된 CNN을 가져와이 파일을 사용하여 Python에서 분류 알고리즘을 만들 수 있습니까?

분류에서Dev

작업 별 아키텍처를 사용하여 BERT 모델을 처음부터 훈련 할 수 있습니까?

분류에서Dev

셔플 된 tf.data를 사용한 Keras 훈련 : 훈련이 중단 된 경우 마지막 데이터 반복 / 마지막 저장된 체크 포인트 순서에서 훈련을 계속하는 방법

분류에서Dev

HuggingFace Transformers 라이브러리에서 사전 훈련 된 BERT 모델의 중간 계층 출력을 얻는 방법은 무엇입니까?

분류에서Dev

다크 넷 / 토치없이 감지를 위해 사전 훈련 된 가중치 생성

분류에서Dev

CNN 모델을 훈련시키고이 CNN의 가중치를 저장 한 다음이 가중치를 사용하여 다른 훈련 데이터에 대해이 CNN을 재 훈련하는 방법이 있습니까?

분류에서Dev

Huggingface Bert 토크 나이저 어휘에 추가 한 단어를 찾을 수 없습니다.

분류에서Dev

이 훈련 된 모델을 어떻게 예측할 수 있습니까?

분류에서Dev

Torch에서 훈련 시간에 사전 훈련 된 임베딩을 어떻게 수정할 수 있습니까?

분류에서Dev

네트워크 부담없이 훈련 된 이미지를 저장하는 방법

분류에서Dev

훈련 된 데이터는 fit ()가 ml 단위로 호출 된 후 어디에 저장됩니까?

분류에서Dev

사전 훈련 된 BERT를 문장의 의미 적 분리의 또 다른 사용 사례에 적용하려는 시도

분류에서Dev

TensorflowHub 사전 훈련 된 MobileNetV2 입력 형태 및 전이 학습 변경

분류에서Dev

사전 훈련 된 모델에 대한 입력으로 다른 차원의 이미지 세트를 사용할 수있는 방법은 무엇입니까?

분류에서Dev

Transformers 라이브러리에서 Bert 토크 나이저를 자르는 방법

분류에서Dev

훈련되고 저장된 Feedforward NN을 사용하여 새 데이터를 예측하는 방법

분류에서Dev

토글 된 클래스 이름을 어떻게 저장할 수 있습니까?

분류에서Dev

Keras를 다운로드해도 ./keras/models에 VGG16 사전 훈련 된 모델이 있습니다.

분류에서Dev

하나의 옵티마이 저가 전체 매개 변수를 훈련시키고 다른 하나는 매개 변수의 일부를 훈련 시키도록 두 개의 옵티 마이저를 갖는 방법은 무엇입니까?

분류에서Dev

Caffe, AlexNet의 사전 훈련 된 가중치를 두 개의 AlexNet이있는 사용자 지정 네트워크에 복사

분류에서Dev

Huggingface의 BERT 토크 나이저가 패드 토큰을 추가하지 않음

분류에서Dev

"과적 합"을 방지하는 Pytorch를 사용하여 Faster RCNN (COCO 데이터 세트)에서 훈련 된 최상의 모델을 저장합니다.

분류에서Dev

BERT 토크 나이저 및 모델 다운로드

Related 관련 기사

  1. 1

    Pytorch의 사전 훈련 된 모델에서 저장된 토크 나이저를로드하는 방법

  2. 2

    사전 훈련 된 Gensim 구문 모델이 있습니까?

  3. 3

    사전 훈련 된 caffe 모델의 하위 집합을 어떻게 저장할 수 있습니까?

  4. 4

    훈련 된 신경망을 MATLAB의 메모리에 저장할 수있는 방법이 있습니까?

  5. 5

    훈련 된 모델을 kedro에 저장하는 IO 기능이 있습니까?

  6. 6

    n 이전 훈련 가중치 저장

  7. 7

    .mat 파일로 저장된 훈련 된 CNN을 가져와이 파일을 사용하여 Python에서 분류 알고리즘을 만들 수 있습니까?

  8. 8

    작업 별 아키텍처를 사용하여 BERT 모델을 처음부터 훈련 할 수 있습니까?

  9. 9

    셔플 된 tf.data를 사용한 Keras 훈련 : 훈련이 중단 된 경우 마지막 데이터 반복 / 마지막 저장된 체크 포인트 순서에서 훈련을 계속하는 방법

  10. 10

    HuggingFace Transformers 라이브러리에서 사전 훈련 된 BERT 모델의 중간 계층 출력을 얻는 방법은 무엇입니까?

  11. 11

    다크 넷 / 토치없이 감지를 위해 사전 훈련 된 가중치 생성

  12. 12

    CNN 모델을 훈련시키고이 CNN의 가중치를 저장 한 다음이 가중치를 사용하여 다른 훈련 데이터에 대해이 CNN을 재 훈련하는 방법이 있습니까?

  13. 13

    Huggingface Bert 토크 나이저 어휘에 추가 한 단어를 찾을 수 없습니다.

  14. 14

    이 훈련 된 모델을 어떻게 예측할 수 있습니까?

  15. 15

    Torch에서 훈련 시간에 사전 훈련 된 임베딩을 어떻게 수정할 수 있습니까?

  16. 16

    네트워크 부담없이 훈련 된 이미지를 저장하는 방법

  17. 17

    훈련 된 데이터는 fit ()가 ml 단위로 호출 된 후 어디에 저장됩니까?

  18. 18

    사전 훈련 된 BERT를 문장의 의미 적 분리의 또 다른 사용 사례에 적용하려는 시도

  19. 19

    TensorflowHub 사전 훈련 된 MobileNetV2 입력 형태 및 전이 학습 변경

  20. 20

    사전 훈련 된 모델에 대한 입력으로 다른 차원의 이미지 세트를 사용할 수있는 방법은 무엇입니까?

  21. 21

    Transformers 라이브러리에서 Bert 토크 나이저를 자르는 방법

  22. 22

    훈련되고 저장된 Feedforward NN을 사용하여 새 데이터를 예측하는 방법

  23. 23

    토글 된 클래스 이름을 어떻게 저장할 수 있습니까?

  24. 24

    Keras를 다운로드해도 ./keras/models에 VGG16 사전 훈련 된 모델이 있습니다.

  25. 25

    하나의 옵티마이 저가 전체 매개 변수를 훈련시키고 다른 하나는 매개 변수의 일부를 훈련 시키도록 두 개의 옵티 마이저를 갖는 방법은 무엇입니까?

  26. 26

    Caffe, AlexNet의 사전 훈련 된 가중치를 두 개의 AlexNet이있는 사용자 지정 네트워크에 복사

  27. 27

    Huggingface의 BERT 토크 나이저가 패드 토큰을 추가하지 않음

  28. 28

    "과적 합"을 방지하는 Pytorch를 사용하여 Faster RCNN (COCO 데이터 세트)에서 훈련 된 최상의 모델을 저장합니다.

  29. 29

    BERT 토크 나이저 및 모델 다운로드

뜨겁다태그

보관