Update tokenizer
Browse files- tokenizer.json +0 -27
tokenizer.json
CHANGED
|
@@ -9038,12 +9038,6 @@
|
|
| 9038 |
"id": "A",
|
| 9039 |
"type_id": 0
|
| 9040 |
}
|
| 9041 |
-
},
|
| 9042 |
-
{
|
| 9043 |
-
"SpecialToken": {
|
| 9044 |
-
"id": "</s>",
|
| 9045 |
-
"type_id": 0
|
| 9046 |
-
}
|
| 9047 |
}
|
| 9048 |
],
|
| 9049 |
"pair": [
|
|
@@ -9059,12 +9053,6 @@
|
|
| 9059 |
"type_id": 0
|
| 9060 |
}
|
| 9061 |
},
|
| 9062 |
-
{
|
| 9063 |
-
"SpecialToken": {
|
| 9064 |
-
"id": "</s>",
|
| 9065 |
-
"type_id": 0
|
| 9066 |
-
}
|
| 9067 |
-
},
|
| 9068 |
{
|
| 9069 |
"SpecialToken": {
|
| 9070 |
"id": "<s>",
|
|
@@ -9076,24 +9064,9 @@
|
|
| 9076 |
"id": "B",
|
| 9077 |
"type_id": 1
|
| 9078 |
}
|
| 9079 |
-
},
|
| 9080 |
-
{
|
| 9081 |
-
"SpecialToken": {
|
| 9082 |
-
"id": "</s>",
|
| 9083 |
-
"type_id": 1
|
| 9084 |
-
}
|
| 9085 |
}
|
| 9086 |
],
|
| 9087 |
"special_tokens": {
|
| 9088 |
-
"</s>": {
|
| 9089 |
-
"id": "</s>",
|
| 9090 |
-
"ids": [
|
| 9091 |
-
2
|
| 9092 |
-
],
|
| 9093 |
-
"tokens": [
|
| 9094 |
-
"</s>"
|
| 9095 |
-
]
|
| 9096 |
-
},
|
| 9097 |
"<s>": {
|
| 9098 |
"id": "<s>",
|
| 9099 |
"ids": [
|
|
|
|
| 9038 |
"id": "A",
|
| 9039 |
"type_id": 0
|
| 9040 |
}
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 9041 |
}
|
| 9042 |
],
|
| 9043 |
"pair": [
|
|
|
|
| 9053 |
"type_id": 0
|
| 9054 |
}
|
| 9055 |
},
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 9056 |
{
|
| 9057 |
"SpecialToken": {
|
| 9058 |
"id": "<s>",
|
|
|
|
| 9064 |
"id": "B",
|
| 9065 |
"type_id": 1
|
| 9066 |
}
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 9067 |
}
|
| 9068 |
],
|
| 9069 |
"special_tokens": {
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 9070 |
"<s>": {
|
| 9071 |
"id": "<s>",
|
| 9072 |
"ids": [
|