GPT JS fait maison

À des fins d'apprentissage, j'ai réalisé une réimplémentation minimale TensorFlow.js du minGPT (Generative Pre-trained Transformer) de Karpathy.

Une définition complète de ce modèle de langage GPT « fait maison » (l'intégralité) peut être trouvée dans ce fichier model.ts unique (moins de300lignes de code).

Étant donné que model.ts est écrit en TypeScript, vous pouvez utiliser un terrain de jeu GPT maison pour l'entraîner, expérimenter des paramètres et générer ses prédictions directement dans le navigateur à l'aide d'un GPU.

Le modèle et le terrain de jeu sont écrits à des fins d'apprentissage, po...
[Courte citation de 8% de l'article original]