quizás abriste una conexión con el comando mysql_pconnect, en este caso tu no puedes hacer nada para cerrarlo es el servidor que se encarga de eso después de cierto tiempo.
En el manual de php marca las diferencias con mysql_connect
Primero, durante la conexión, la función intenta primero encontrar un enlace persistente abierto con el mismo host, usuario y password. Si lo encuentra, devuelve el identificador de enlace en lugar de abrir otra conexión.
Segundo, la conexión no será cerrada cuando acabe la ejecución del script. El enlace permanecerá abierta para ser usado en el futuro (mysql_close() no cierra el enlace establecido con mysql_pconnect()).