Demander de l'aide sur les forums

!pip install datasets evaluate transformers[sentencepiece]

from transformers import AutoTokenizer, AutoModel

model_checkpoint = "distilbert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModel.from_pretrained(model_checkpoint)

text = """
Generation One is a retroactive term for the Transformers characters that
appeared between 1984 and 1993. The Transformers began with the 1980s Japanese
toy lines Micro Change and Diaclone. They presented robots able to transform
into everyday vehicles, electronic items or weapons. Hasbro bought the Micro
Change and Diaclone toys, and partnered with Takara. Marvel Comics was hired by
Hasbro to create the backstory; editor-in-chief Jim Shooter wrote an overall
story, and gave the task of creating the characthers to writer Dennis O'Neil.
Unhappy with O'Neil's work (although O'Neil created the name "Optimus Prime"),
Shooter chose Bob Budiansky to create the characters.

The Transformers mecha were largely designed by Shōji Kawamori, the creator of
the Japanese mecha anime franchise Macross (which was adapted into the Robotech
franchise in North America). Kawamori came up with the idea of transforming
mechs while working on the Diaclone and Macross franchises in the early 1980s
(such as the VF-1 Valkyrie in Macross and Robotech), with his Diaclone mechs
later providing the basis for Transformers.

The primary concept of Generation One is that the heroic Optimus Prime, the
villainous Megatron, and their finest soldiers crash land on pre-historic Earth
in the Ark and the Nemesis before awakening in 1985, Cybertron hurtling through
the Neutral zone as an effect of the war. The Marvel comic was originally part
of the main Marvel Universe, with appearances from Spider-Man and Nick Fury,
plus some cameos, as well as a visit to the Savage Land.

The Transformers TV series began around the same time. Produced by Sunbow
Productions and Marvel Productions, later Hasbro Productions, from the start it
contradicted Budiansky's backstories. The TV series shows the Autobots looking
for new energy sources, and crash landing as the Decepticons attack. Marvel
interpreted the Autobots as destroying a rogue asteroid approaching Cybertron.
Shockwave is loyal to Megatron in the TV series, keeping Cybertron in a
stalemate during his absence, but in the comic book he attempts to take command
of the Decepticons. The TV series would also differ wildly from the origins
Budiansky had created for the Dinobots, the Decepticon turned Autobot Jetfire
(known as Skyfire on TV), the Constructicons (who combine to form
Devastator),[19][20] and Omega Supreme. The Marvel comic establishes early on
that Prime wields the Creation Matrix, which gives life to machines. In the
second season, the two-part episode The Key to Vector Sigma introduced the
ancient Vector Sigma computer, which served the same original purpose as the
Creation Matrix (giving life to Transformers), and its guardian Alpha Trion.
"""

text_fr = """
Génération 1 est un terme rétroactif pour les personnages de Transformers qui sont apparus
entre 1984 et 1993. Les Transformers ont commencé avec les lignes de jouets japonaises 
des années 1980, Micro Change et Diaclone. Elles présentaient des robots capables
de se transformer en véhicules de tous les jours, en objets électroniques ou en armes. 
Hasbro a acheté les jouets Micro Change et Diaclone, et s'est associé à Takara. 
Marvel Comics est engagé par Hasbro pour créer l'histoire de fond ; le rédacteur en chef 
Jim Shooter a écrit une histoire générale et confie la tâche de créer les personnages au 
scénariste Dennis O'Neil. Mécontent du travail d'O'Neil (bien que ce dernier ait créé 
le nom "Optimus Prime"), Shooter choisit Bob Budiansky pour créer les personnages.

Les mecha de Transformers ont été en grande partie conçus par Shōji Kawamori, le créateur
de l'anime japonais Macross (qui a été adapté en Robotech en Amérique du Nord). Kawamori
a eu l'idée de transformer des mechas transformables alors qu'il travaillait sur les
franchises Diaclone et Macross au début des années 1980 (comme le VF-1 Valkyrie dans 
Macross et Robotech), et ses méchas Diaclone ont plus tard servi de base à Transformers.

Le concept principal de la Génération 1 est que l'héroïque Optimus Prime, le méchant
Megatron, et leurs meilleurs soldats s'écrasent sur une Terre préhistorique dans l'Arche
et le Némésis avant de se réveiller en 1985, Cybertron traversant à toute allure la zone
neutre en raison de la guerre. La bande dessinée Marvel faisait à l'origine partie 
de l'univers principal de Marvel, avec des apparitions de Spider-Man et Nick Fury, 
plus quelques caméos, ainsi qu'une visite à la Terre Sauvage.

La série télévisée Transformers a commencé à peu près à la même époque. 
Produite par Sunbow Productions et Marvel Productions, puis Hasbro Productions, 
dès le début elle a contredit les histoires de Budiansky. La série TV montre les Autobots
cherchant de nouvelles sources d'énergie et s'écrasent lors de l'attaque des Decepticons. 
Marvel a interprété les Autobots comme la destruction d'un astéroïde malveillant 
s'approchant de Cybertron. Shockwave est loyal envers Megatron dans la série TV, 
et maintient Cybertron dans une impasse en son absence.
Cybertron dans une impasse pendant son absence, mais dans la BD, 
il tente de prendre le commandement des Decepticons. 
La série télévisée s'écarte aussi radicalement des origines que Budiansky avait 
créé pour les Dinobots, le Decepticon devenu Autobot Jetfire
(connu sous le nom de Skyfire à la télévision), 
les Constructicons (qui s'associent pour former Devastator) et Oméga Suprême. 
La bande dessinée Marvel établit très tôt que Prime manie la matrice de création,
qui donne la vie aux machines. Dans la saison, l'épisode en deux parties 
The Key to Vector Sigma a introduit l'ancien ordinateur l'ancien ordinateur
Vector Sigma, qui servait le même objectif original que la matrice de création 
(donner la vie aux Transformers), et son gardien Alpha Trion.
"""

inputs = tokenizer(text, return_tensors="pt")
logits = model(**inputs).logits