Gibt an, ob ein einfacher Chinesisch/Japanisch/Koreanisch Tokenizer, basierend auf überlappenden Sequenzen, angewendet werden soll. Wenn Sie einen externen Preprozessor dafür verwenden wollen, sollten Sie diese Option deaktivieren. Diese Einstellung betrifft andere Sprachen nicht.