tokenize,Tokenized goal

我个人首要使用的是它的英文处理模块Patternen，有许多很不错的文本处理功用，包含基础的tokenize，词性标示，语句切分，语法检查，拼写纠错，情感剖析，句法剖析等，相当不错3TextBlobSimplifiedTextProcessingTextBl。官方文档torchtext