Pourquoi le streaming des réponses de l'IA semble plus rapide qu'il ne l'est (Android + SSE)

Les modèles d’IA sont devenus incroyablement rapides. La latence du réseau s'est améliorée. Pourtant, de nombreuses applications de chat IA semblent encore lentes. Ce n'est pas un problème matériel ou un problème de modèle. C'est un problème d'expérience utilisateur.

Le vrai problème : les applications de chat IA semblent lentes

Lorsqu'un utilisateur envoie un message et que l'interface utilisateur reste vide, même brièvement, le cerveau interprète ce silence comme un retard.

Du point de vue de l’utilisateur :

• Mon message est-il passé ?
• L'application est-elle gelée ?
• Le modèle est-il lent ?

Dans la plupart des cas, rien de tout cela n’est vrai.

Mais la perception compte plus que la réalité.

La latence dans les applications d’IA est psychologique avant d’être technique.

Pourquoi attendre la réponse complète interrompt l'UX

De nombreuses applications de chat IA suivent un modèle simple :

1. Envoyer l'invite
2. Attendez la réponse complète
3. Rendre tout en même temps

Techniquement, cela fonctionne.

D'un point de vue UX, cela échoue.

Les humains sont extrêmement sensibles au ...
[Courte citation de 8% de l'article original]