En apache, en sus bibliotecas commons, tienes implementado un pool de conexiones. La biblioteca en cuestión es la DBCP.
Si lo que quieres es algo más sencillo, echa un vistazo en google, buscando por 'connection pool' u 'object pool'
Espero que te sirva algo así.
Suerte.
Silverfox