Hugging Face publica prévia do tokenizers v1 com codificação reformulada
A biblioteca que converte texto em identificadores para modelos reformula memória temporária, cache e execução paralela; as medições publicadas usam Rust.
encode_batch é a chamada documentada para distribuir a codificação entre núcleos no candidato a lançamento do tokenizers v1. A Hugging Face apresenta a reformulação em uma publicação datada de 21 de setembro de 2026, com preservação dos identificadores de tokens como objetivo de compatibilidade.
A implementação reutiliza memória temporária e mantém um cache de resultados por thread. Para padrões reconhecidos, a divisão inicial do texto usa operações sobre fluxos de bits no lugar do mecanismo de expressões regulares. Padrões não reconhecidos continuam pelo caminho de expressões regulares. Não há uma aceleração uniforme para qualquer entrada.
O exemplo de processamento em lote publicado é:
let encodings = tokenizer.encode_batch(documents, false)?;
Exemplo e metodologia na fonte.
Para avaliar uma migração, compare os identificadores produzidos com os da versão atual e use documentos distintos, representativos da aplicação. Repetir sempre o mesmo documento favorece o cache; a própria metodologia separa essas condições.
O limite da comparação publicada é concreto: as medições usam a implementação Rust e não incluem o custo adicional de cada chamada pelos bindings Python. Ganho nessa camada não estabelece o ganho da aplicação inteira.