Path: blob/main/course/fr/chapter2/section6_tf.ipynb
4547 views
Kernel: Python 3
Tout assembler (TensorFlow)
Installez la bibliothèque 🤗 Transformers pour exécuter ce notebook.
In [ ]:
!pip install transformers[sentencepiece]
In [ ]:
from transformers import AutoTokenizer checkpoint = "tblard/tf-allocine" tokenizer = AutoTokenizer.from_pretrained(checkpoint) sequence = "J'ai attendu un cours d’HuggingFace toute ma vie." model_inputs = tokenizer(sequence)
In [ ]:
sequence = "J'ai attendu un cours d’HuggingFace toute ma vie." model_inputs = tokenizer(sequence)
In [ ]:
sequences = [ "J'ai attendu un cours de HuggingFace toute ma vie.", "Moi aussi !", ] model_inputs = tokenizer(sequences)
In [ ]:
# Remplit les séquences jusqu'à la longueur maximale de la séquence model_inputs = tokenizer(sequences, padding="longest") # Remplit les séquences jusqu'à la longueur maximale du modèle (512 pour BERT ou DistilBERT) model_inputs = tokenizer(sequences, padding="max_length") # Remplit les séquences jusqu'à la longueur maximale spécifiée model_inputs = tokenizer(sequences, padding="max_length", max_length=8)
In [ ]:
sequences = [ "J'ai attendu un cours de HuggingFace toute ma vie.", "Moi aussi !", ] # Tronque les séquences qui sont plus longues que la longueur maximale du modèle (512 pour BERT ou DistilBERT) model_inputs = tokenizer(sequences, truncation=True) # Tronque les séquences qui sont plus longues que la longueur maximale spécifiée model_inputs = tokenizer(sequences, max_length=8, truncation=True)
In [ ]:
sequences = [ "J'ai attendu un cours de HuggingFace toute ma vie.", "Moi aussi !", ] # Retourne des tenseurs PyTorch model_inputs = tokenizer(sequences, padding=True, return_tensors="pt") # Retourne des tenseurs TensorFlow model_inputs = tokenizer(sequences, padding=True, return_tensors="tf") # Retourne des tableaux NumPy model_inputs = tokenizer(sequences, padding=True, return_tensors="np")
In [ ]:
sequence = "J'ai attendu un cours de HuggingFace toute ma vie." model_inputs = tokenizer(sequence) print(model_inputs["input_ids"]) tokens = tokenizer.tokenize(sequence) ids = tokenizer.convert_tokens_to_ids(tokens) print(ids)
In [ ]:
print(tokenizer.decode(model_inputs["input_ids"])) print(tokenizer.decode(ids))
In [ ]:
import tensorflow as tf from transformers import AutoTokenizer, TFAutoModelForSequenceClassification checkpoint = "tblard/tf-allocine" tokenizer = AutoTokenizer.from_pretrained(checkpoint) model = TFAutoModelForSequenceClassification.from_pretrained(checkpoint) sequences = [ "J'ai attendu un cours de HuggingFace toute ma vie.", "Moi aussi !", ] tokens = tokenizer(sequences, padding=True, truncation=True, return_tensors="tf") output = model(**tokens)