GPU Offload

Le GPU Offload (ou délestage GPU) est une technique d’optimisation consistant à charger tout ou partie des couches d’un modèle de langage dans la mémoire vidéo (VRAM) du GPU, afin d’accélérer drastiquement l’inférence par rapport à un calcul effectué uniquement sur le CPU.

Niveau

intermediaire

Vous cherchez un autre mot ? Essayez la recherche rapide ci-dessous :

Partager cette page