Según lo que yo tengo entendido, en el servidor tienes un puerto de escucha, que quiere decir esto, por ese puerto el servidor recibe todos los pedidos de conexion, siempre es uno.
Una vez que recibe un pedido de conexion, si lo acepta abre otro puerto que es por el cual se va a comunicar con el cliente que le hizo el pedido.