Hugging Face publica prévia do tokenizers v1 com codificação reformulada
A biblioteca que converte texto em identificadores para modelos reformula memória temporária, cache e execução paralela; as medições publicadas usam Rust.
encode_batch é a chamada documentada para distribuir a codificação entre núcleos no candidato a lançamento do tokenizers v1. A Hugging Face apresenta a reformulação em uma publicação datada de 21 de setembro de 2026, com preservação dos identificadores de tokens como objetivo de compatibilidade.
A implementação reutiliza memória temporária e mantém um cache de resultados por thread. Para padrões reconhecidos, a divisão inicial do texto usa operações sobre fluxos de bits no lugar do mecanismo de expressões regulares. Padrões não reconhecidos continuam pelo caminho de expressões regulares.
O exemplo de processamento em lote publicado é:
let encodings = tokenizer.encode_batch(documents, false)?;
Exemplo e metodologia na fonte.
Para avaliar uma migração, compare os identificadores produzidos com os da versão atual e use documentos distintos, representativos da aplicação. Repetir sempre o mesmo documento favorece o cache; a própria metodologia separa essas condições.
As medições publicadas usam a implementação Rust e não incluem o custo adicional de cada chamada pelos bindings Python.