Mira yo hice algo asi, haber si te funciona
/*
*/
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<title>JSP Page</title>
</head>
<body>
<%@ page import = "java.sql.*" %>//importamos las librerias de mysql
<%
/*
Utilizo un IDE (netbeans) y MysqlConnector
*/
Class.forName("com.mysql.jdbc.Driver");
Connection conexion = DriverManager.getConnection("jdbc:mysql://localhost/prueba","root","root");//puedes usar tu conector
Statement st = conexion.createStatement();// creamos la sentencia apartir de la conexion;
ResultSet rs = st.executeQuery("select * from usuarios");// ejecutamos la consulta
if(rs.next()){//si hay registros.
out.print("Si hay datos");
}else{
out.print("No hay datos");
}
%>
</body>
</html>
