A ver, si no me equivoco, tu lo que deseas es realizar la suma desde cero a un numero dado es decir, si yo doy 5, entonces me de (1^2)+(2^2)+(3^2)+(4^2)+(5^2)
esta serie, converge efectivamente, al valor que mencionas, n(n+1)(2n+1)/6 y como bien menciono m0skit0, lo debes de poner como:
resultado= n*(n+1)*(2*n+1)/6
Si no empleas el operador producto (*), C entiende otra cosa, de ahi que te manda el mensaje de "esto no es una funcion".
Espero te sirva este complemento
Ehecatl