Das Umschalten erfolgt ja nicht unter Last. Die Wallbox unterbricht den Ladevorgang und kommuniziert dann mit dem Auto die neuen Bedingungen (schalte um auf 1- oder 3-phasig) und startet den Ladevorgang erst, wenn das Auto entsprechend vorbereitet ist.
Industrielle Lastschütze haben durchaus Lebensdauerwerte von 10 Millionen Schaltspielen bei bis zu 5000 Schaltspielen pro Stunde. Unter der Annahme, dass da kein Tinnef verbaut wird, würde ich mir um dieses Bauteil erstmal keine Sorgen machen.