Hugging Face's logo

Transformers documentation

BertJapanese

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

이 모델은 2020-11-16에 Hugging Face Transformers에 기여되었습니다.

BertJapanese

개요

일본어 텍스트로 학습된 BERT 모델입니다.

두 가지 다른 토큰화 방법을 사용하는 모델이 있습니다:

  • MeCab과 WordPiece를 사용하여 토큰화를 수행합니다. 이를 위해 MeCab을 감싸는 래퍼인 fugashi를 포함한 추가 의존성이 필요합니다.
  • 문자로 토큰화합니다.

MecabTokenizer를 사용하려면 pip install transformers["ja"](소스에서 설치하는 경우 pip install -e .["ja"])을 실행하여 종속성을 설치해야 합니다.

cl-tohoku 저장소의 세부 정보를 확인하세요.

MeCab과 WordPiece 토큰화를 사용하여 모델을 사용하는 예시:

import torch
from transformers import AutoModel, AutoTokenizer

bertjapanese = AutoModel.from_pretrained("cl-tohoku/bert-base-japanese", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese")

## Input Japanese Text
line = "吾輩は猫である。"

inputs = tokenizer(line, return_tensors="pt").to(model.device)

print(tokenizer.decode(inputs["input_ids"][0]))
[CLS] 吾輩 は 猫 で ある 。 [SEP]

outputs = bertjapanese(**inputs)

Character 토큰화를 사용하여 모델을 사용하는 예시:

bertjapanese = AutoModel.from_pretrained("cl-tohoku/bert-base-japanese-char", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese-char")

## Input Japanese Text
line = "吾輩は猫である。"

inputs = tokenizer(line, return_tensors="pt").to(model.device)

print(tokenizer.decode(inputs["input_ids"][0]))
[CLS] 吾 輩 は 猫 で あ る 。 [SEP]

outputs = bertjapanese(**inputs)

이 모델은 cl-tohoku에 의해 기여되었습니다.

이 구현은 토큰화 방법만 제외하고 BERT와 동일합니다. API 참고 정보는 BERT 문서를 참조하세요.

BertJapaneseTokenizer

클래스 transformers.BertJapaneseTokenizer

< >

( vocab_filespm_file = Nonedo_lower_case = Falsedo_word_tokenize = Truedo_subword_tokenize = Trueword_tokenizer_type = 'basic'subword_tokenizer_type = 'wordpiece'never_split = Noneunk_token = '[UNK]'sep_token = '[SEP]'pad_token = '[PAD]'cls_token = '[CLS]'mask_token = '[MASK]'mecab_kwargs = Nonesudachi_kwargs = Nonejumanpp_kwargs = None**kwargs )

매개변수

  • vocab_file (str) — 한 줄에 하나의 워드피스가 포함된 어휘 파일의 경로.
  • spm_file (str, 선택 사항) — 어휘를 포함하는 SentencePiece 파일(일반적으로 .spm 또는 .model 확장자를 가짐)의 경로.
  • do_lower_case (bool, 선택, 기본값 True) — 입력을 소문자로 변환할지 여부입니다. do_basic_tokenize=True일 때만 효과가 있습니다.
  • do_word_tokenize (bool, 선택 사항, 기본값 True) — 단어 토큰화를 수행할지 여부.
  • do_subword_tokenize (bool, 선택 사항, 기본값 True) — 서브워드 토큰화를 수행할지 여부입니다.
  • word_tokenizer_type (str, 선택 사항, 기본값 "basic") — 워드 토크나이저의 유형입니다. [“basic”, “mecab”, “sudachi”, “jumanpp”] 중에서 선택할 수 있습니다.
  • subword_tokenizer_type (str, 선택 사항, 기본값 "wordpiece") — 서브워드 토크나이저의 유형입니다. [“wordpiece”, “character”, “sentencepiece”,] 중에서 선택합니다.
  • mecab_kwargs (dict, 선택) — MecabTokenizer 생성자에 전달되는 사전.
  • sudachi_kwargs (dict, 선택 사항) — SudachiTokenizer 생성자에 전달되는 사전.
  • jumanpp_kwargs (dict, 선택) — JumanppTokenizer 생성자에 전달되는 사전.

일본어 텍스트용 BERT 토크나이저를 구성합니다.

이 토크나이저는 대부분의 주요 메서드를 포함하는 PreTrainedTokenizer를 상속합니다. 해당 메서드에 대한 자세한 내용은 이 상위 클래스를 참고하세요.

convert_tokens_to_string

< >

( tokens )

단일 문자열 내 토큰(문자열) 시퀀스를 변환합니다.

Update on GitHub

←BertGeneration BERTweet→