Tout assembler (TensorFlow)

!pip install transformers[sentencepiece]

from transformers import AutoTokenizer

checkpoint = "tblard/tf-allocine"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

sequence = "J'ai attendu un cours d’HuggingFace toute ma vie."

model_inputs = tokenizer(sequence)

sequence = "J'ai attendu un cours d’HuggingFace toute ma vie."

model_inputs = tokenizer(sequence)

sequences = [
    "J'ai attendu un cours de HuggingFace toute ma vie.",
    "Moi aussi !",
]

model_inputs = tokenizer(sequences)

# Remplit les séquences jusqu'à la longueur maximale de la séquence
model_inputs = tokenizer(sequences, padding="longest")

# Remplit les séquences jusqu'à la longueur maximale du modèle (512 pour BERT ou DistilBERT)
model_inputs = tokenizer(sequences, padding="max_length")

# Remplit les séquences jusqu'à la longueur maximale spécifiée
model_inputs = tokenizer(sequences, padding="max_length", max_length=8)

sequences = [
    "J'ai attendu un cours de HuggingFace toute ma vie.",
    "Moi aussi !",
]

# Tronque les séquences qui sont plus longues que la longueur maximale du modèle (512 pour BERT ou DistilBERT)
model_inputs = tokenizer(sequences, truncation=True)

# Tronque les séquences qui sont plus longues que la longueur maximale spécifiée
model_inputs = tokenizer(sequences, max_length=8, truncation=True)

sequences = [
    "J'ai attendu un cours de HuggingFace toute ma vie.",
    "Moi aussi !",
]

# Retourne des tenseurs PyTorch
model_inputs = tokenizer(sequences, padding=True, return_tensors="pt")

# Retourne des tenseurs TensorFlow
model_inputs = tokenizer(sequences, padding=True, return_tensors="tf")

# Retourne des tableaux NumPy
model_inputs = tokenizer(sequences, padding=True, return_tensors="np")

sequence = "J'ai attendu un cours de HuggingFace toute ma vie."

model_inputs = tokenizer(sequence)
print(model_inputs["input_ids"])

tokens = tokenizer.tokenize(sequence)
ids = tokenizer.convert_tokens_to_ids(tokens)
print(ids)

print(tokenizer.decode(model_inputs["input_ids"]))
print(tokenizer.decode(ids))

import tensorflow as tf
from transformers import AutoTokenizer, TFAutoModelForSequenceClassification

checkpoint = "tblard/tf-allocine"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = TFAutoModelForSequenceClassification.from_pretrained(checkpoint)
sequences = [
    "J'ai attendu un cours de HuggingFace toute ma vie.",
    "Moi aussi !",
]
tokens = tokenizer(sequences, padding=True, truncation=True, return_tensors="tf")
output = model(**tokens)