SoloCodigo

La función md5_file() no sirve para encriptar archivos, solamente calcula un hash del archivo (sirve, en todo caso, para saber si el archivo fue modificado).

Antes una pequeña explicación de por qué no servía lo que intentabas hacer.
Tanto los algoritmos MD5 como SHA son algoritmos de encriptación de un solo sentido, esto quiere decir que del texto en claro se obtiene una cadena única con un tamaño fijo, un hash. Pero teniendo el hash no es posible regresar al texto en claro. Es decir, por más que tengas el hash de un texto en claro, no hay forma de deducir el texto en claro a partir del hash (bueno, eso es en teoría, todos sabemos que no hay encriptación infalible ). Pero podrías preguntarte entonces ¿para qué demonios sirve algo así?, pues para encriptar claves por ejemplo. Tienes una clave, calculas su hash (mediante MD5 o SHA) y guardas ese hash en vez de la clave. Luego cuando quieres comprobar que una clave es válida (por ejemplo en un formulario de acceso), lo que tienes que hacer es volver a calcular el hash de la palabra que se supone es la clave y comparar ese hash con el que tienes almacenado.

Pero lo que tú necesitas no es eso, sino tomar un archivo, encriptarlo usando alguna clave para luego poder desencriptarlo, es decir, quieres a partir del archivo encriptado obtener el archivo en texto en claro. Para eso se usan algoritmos de doble sentido como AES.

PHP tiene una serie de funciones genéricas en el módulo Mcrypt. Tu copia de PHP debe haber sido compilada incluyendo este módigo (generalmente lo está), para comprobar si este módulo está disponible en tu copia de PHP ejecuta la función php_info(); y en la tabla que te genera busca si Mcrypt está "enabled".

Si lo está entonces procede a leer esta página: http://ar.php.net/manual/es/book.mcrypt.php
Las funciones que te interesan son mcrypt_generic() y mdecrypt_generic(), pero no son las únicas que debes usar dependiendo del algoritmo que quieres usar.