Transformers adiciona operações do ggml para executar modelos quantizados
A biblioteca de modelos carrega arquivos GGUF em fluxos PyTorch, inicialmente em Apple Silicon com Qwen3.5; sem operações de quantização compatíveis, os pesos podem ocupar mais memória.
gguf_file seleciona o arquivo quantizado em from_pretrained. O anúncio do Hugging Face de 22 de setembro de 2026 descreve operações otimizadas do ggml distribuídas pela biblioteca kernels. O exemplo de carregamento usa:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "unsloth/Qwen3.5-4B-GGUF"
filename = "Qwen3.5-4B-Q4_K_M.gguf"
tokenizer = AutoTokenizer.from_pretrained(model_id, gguf_file=filename)
model = AutoModelForCausalLM.from_pretrained(
model_id,
gguf_file=filename
)
O foco inicial é Apple Silicon e a arquitetura Qwen3.5. Na publicação, o caminho de instalação ainda usa a versão de desenvolvimento do Transformers e exige PyTorch compatível com os kernels disponíveis. Portanto, suporte ao formato não significa aceleração garantida para qualquer combinação de modelo e máquina.
Há uma diferença importante entre as alternativas automáticas. Se o kernel de atenção não puder ser obtido, a implementação pode recorrer a sdpa, emitindo um aviso. Sem um kernel de quantização compatível, o carregamento pode expandir os pesos, consumindo mais memória.
Use a integração para inspecionar ativações, modificar a geração ou avaliar quantizações em um fluxo PyTorch existente. Para eficiência de inferência local como prioridade, o Hugging Face recomenda llama.cpp. Antes de migrar, confira se os kernels compatíveis mantêm os pesos compactados dentro da memória disponível.
Fonte: anúncio da integração GGUF, por Marc Sun e coautores · Hugging Face.