... Et c'est tout con, après un coup d'oeil dans les logs je me suis rendu compte que ce crétin de ProFTPd essayais de faire un reverse resolve sur l'ip du client, ce qui prenait du temps... La solution est simple :

UseReverseDNS off

Après ca la connexion est autrement plus rapide, mais il y a encore parfois un délai d'une ou deux secondes... Là c'est Google qui m'a donné la solution :

IdentLookups off

Voilà, rajoutez ça dans vos fichiers de configuration de ProFTPd et tout devrait allez plus vite :).