Creo que es debido a que cada vez que añado inserto objetos al fichero ya creado, tambien escribe informacion adicional sobre el fichero. Y luego al leer el fichero, esa informacion adicional hace que me salte la excepcion.
He leido por ahi que una solucion cutre, pero que muy cutre y muy chapa. Que es hacer un reset cada vez que escribo, o antes de escribir eso no me ha quedado muy claro.