文本分词器

语言无关的文本分词工具，将文本视为原始Unicode处理，支持BPE和Unigram算法。速度快（5万句/秒）、内存占用小（6MB）、词汇表确定性强，被T5、ALBERT、XLNet、mBART等模型采用。无需预分词即可训练原始文本，适用于多语言支持、CJK语言处理或可复现的分词需求。