Assicurati che il client sia configurato bene e cioè configurato per la password in caratteri esadecimali (hex) e non ASCII.
P.S:
Non vorrei dire una castroneria ma in modalità "Shared" non è il server che fornisce la chiave al client? Invece in "Open" la password deve essere inserita sia sul server che nel client.
Ricordo male?