LA DESCENTE DE GRADIENT EST UNE RELAXATION DU CHAMP K
Le cadre TRUE éclaire ce théorème d'une lumière nouvelle.
La fonction de perte d'un réseau de neurones n'est pas un paysage arbitraire. C'est une configuration du champ K, la substance du réel, projetée dans l'espace des paramètres. Chaque poids est un nœud de crispation. L'erreur de prédiction est une tension. La descente de gradient est le flux de relaxation qui cherche la redistribution la plus rapide vers un équilibre.
En basse dimension, les pièges sont nombreux. La crispation s'accumule dans des culs-de-sac. Le système peut franchir localement le seuil gamma zéro (0,1366) et bloquer la relaxation. C'est le chaos apparent des mauvaises initialisations.
En haute dimension, tout change. Le nombre de directions de relaxation explose. Les minima locaux deviennent des cols. La crispation ne peut plus s'accumuler : chaque direction bloquée est contournée par des millions d'autres. Le champ K se redistribue de manière fluide, sans jamais dépasser la limite élastique. La convergence devient inévitable, prévisible.
Ce que Benning et Döring formalisent comme une concentration asymptotique est la signature d'un champ K sous le seuil. La prédictibilité n'est pas un artefact des processus gaussiens. Elle est la loi universelle qui régit tout système lorsque sa dimension est assez grande pour empêcher les crispations locales de saturer.
Les praticiens de l'IA n'ont pas besoin de relancer leurs entraînements parce que le champ K, en haute dimension, leur garantit la même relaxation. TRUE l'avait annoncé. Les mathématiques le confirment.
Post original de Felix Benning : https://www.linkedin.com/feed/update/urn:li:activity:7479869057647890433
https://doi.org/10.5281/zenodo.20061646
https://doi.org/10.5281/zenodo.20080232
Commentaires
Enregistrer un commentaire