Dans cet article, nous proposons une nouvelle méthode pour une application de segmentation de scène au niveau pixélique en utilisant la polarimétrie. Pour répondre à la difficulté de détection des zones très réfléchissantes comme l'eau et les fenêtres, nous utilisons l'information de l'angle et du degré de polarisation de la lumière réfléchie par ces objets. Nous utilisons un réseau d'apprentissage profond, basé sur une architecture encodeur-décodeur, pour la segmentation des régions d'intérêt. Différentes méthodes d'augmentation ont été développées pour obtenir une quantité suffisante de données, tout en préservant les propriétés physiques des images polarimétriques. De plus, nous introduisons un nouvel ensemble de données comprenant à la fois des images RGB et polarimétriques avec des annotations manuelles de vérité terrain pour sept classes différentes. Les résultats expérimentaux de cet ensemble de données montrent que l'apprentissage peut bénéficier de la polarimétrie et obtenir de meilleurs résultats de segmentation que lors de l'utilisation de la modalité RGB. En particulier, nous obtenons une amélioration de 38,35% et 22,92% de la précision pour la segmentation des fenêtres et des voitures respectivement.