Anthropique
Mardi, Anthropic a présenté Claude 2, un grand modèle de langage (LLM) similaire à ChatGPT qui peut créer du code, analyser du texte et écrire des compositions. Contrairement à la version originale de Claude lancée en mars, les utilisateurs peuvent essayer Claude 2 gratuitement sur un nouveau site Web bêta. Il est également disponible en tant qu’API commerciale pour les développeurs.
Anthropic indique que Claude est conçu pour simuler une conversation avec un collègue ou un assistant personnel serviable et que la nouvelle version répond aux commentaires des utilisateurs du modèle précédent : “Nous avons entendu dire par nos utilisateurs qu’il est facile de converser avec Claude, explique clairement sa façon de penser , est moins susceptible de produire des sorties nuisibles et a une mémoire plus longue.”
Anthropic affirme que Claude 2 démontre des avancées dans trois domaines clés : le codage, les mathématiques et le raisonnement. “Notre dernier modèle a obtenu 76,5 % à la section à choix multiples de l’examen du barreau, contre 73,0 % avec Claude 1.3”, écrivent-ils. “Par rapport aux étudiants postulant aux études supérieures, Claude 2 obtient des scores supérieurs au 90e centile aux examens de lecture et d’écriture du GRE, et de la même manière que le candidat médian sur le raisonnement quantitatif.”
-
Réponse de Claude 2 à la question : “Est-ce que la couleur s’appellerait ‘magenta’ si la ville de Magenta n’existait pas ?” En réalité, la couleur a été nommée d’après une bataille, qui a été nommée d’après la ville de Magenta, en Italie.
Ars Technica
-
Réponse de ChatGPT-4 à la question : “Est-ce que la couleur s’appellerait ‘magenta’ si la ville de Magenta n’existait pas ?” En réalité, la couleur a été nommée d’après une bataille, qui a été nommée d’après la ville de Magenta, en Italie.
Ars Technica
-
La réponse de Google Bard à la question : “Est-ce que la couleur s’appellerait ‘magenta’ si la ville de Magenta n’existait pas ?” En réalité, la couleur a été nommée d’après une bataille, qui a été nommée d’après la ville de Magenta, en Italie.
Ars Technica
L’une des principales améliorations de Claude 2 est sa longueur d’entrée et de sortie étendue. Comme nous l’avons vu précédemment, Anthropic a expérimenté le traitement d’invites allant jusqu’à 100 000 jetons (fragments de mots), ce qui permet au modèle d’IA d’analyser de longs documents tels que des guides techniques ou des livres entiers. Cette longueur accrue s’applique également à ses sorties, permettant également la création de documents plus longs.
Publicité
En termes de capacités de codage, Claude 2 a démontré une augmentation des compétences. Son score au Codex HumanEval, un test de programmation Python, est passé de 56 % à 71,2 %. De même, sur GSM8k, un test comprenant des problèmes de mathématiques à l’école primaire, il est passé de 85,2 à 88 %.
L’un des principaux objectifs d’Anthropic a été de rendre son modèle de langage moins susceptible de générer des sorties “nocives” ou “offensantes” lorsqu’il est présenté avec certaines invites, bien que la mesure de ces qualités soit très subjective et difficile. Selon une évaluation interne de l’équipe rouge, “Claude 2 était 2x meilleur pour donner des réponses inoffensives par rapport à Claude 1.3.”
Claude 2 est désormais disponible pour une utilisation générale aux États-Unis et au Royaume-Uni pour les utilisateurs individuels et les entreprises via son API. Anthropic rapporte que des entreprises comme Jasper, une plate-forme d’écriture d’IA, et Sourcegraph, un outil de navigation dans le code, ont commencé à intégrer Claude 2 dans leurs opérations.
Il est important de noter que si les modèles d’IA comme Claude 2 peuvent analyser des travaux longs et complexes, Anthropic est toujours conscient de ses limites. Après tout, les modèles linguistiques inventent parfois des choses à partir de rien. Notre conseil est de ne pas les utiliser comme références factuelles, mais de leur permettre de traiter les données que vous fournissez, si vous êtes déjà familiarisé avec le sujet et pouvez valider les résultats.
“Les assistants IA sont plus utiles dans les situations de tous les jours, comme pour résumer ou organiser des informations”, écrit Anthropic, “et ne doivent pas être utilisés lorsque la santé physique ou mentale et le bien-être sont impliqués”.
