neural-networks.io

neural-networks.io

Limitations

 

# Architecture du réseau

Considérons le réseaux suivant sans couche cachée avec deux entrées ( \( a, b \) ) et une sortie ( \( y \) ).

 

# OU Logic (OR)

Supposons que l'on veuille entraîner le réseau pour qu'il modélise des porte logique. Commençons avec la fonction logique OU:

aby = a + b
000
011
101
111

L'espace de la fonction OU peut être représenté graphiquement. L'axe des X et des Y sont respectivement les entrées \( a \) et \( b \). La ligne verte et la ligne de séparation (\( y=0 \)). Comme illustré ci-dessous, le réseau peut trouver une solution optimale:

 

# OU exclusif (XOR)

Suppospons que l'on veuille maintenant entrainer le réseau sur la fonction OU exclusif:

aby = a ⊕ b
000
011
101
110

Comme pour la fonction OU, il est possible de représenter l'espace. Malheureusement, le réseau n'est plus capable de discriminer les uns des zéros.

 

# Conclusion

La fonction de transfert de ce réseau sans couche cahcé est données par:

\begin{equation} y= w_1a + w_2b +w_3 \label{eq:transfert-function} \end{equation}

l'équation \eqref{eq:transfert-function} est un modèle linéaire. Cela explique pourquoi la frontière entre les uns et les zérosest nécessairement une droite. La fonction OU exclusif est un problème non linéaire qui ne peut pas être modéliser par un modèle linéaire. Heureusement, les réseaux multi-couche permettent de résoudre des problèmes non linéaires.