tal como dice Profesor X, tienes que leer en modo texto , para ello, abre el fichero como "read text"
(fich = fopen(argv[1], "rt") <- "rt"
luego para leer las filas puedes usar la funcion:
fscanf( Handle_Fichero, "...", &v1,...);
puedes ver mejor como funciona en la doc, lo que tu querrias seria tal que:
fscanf( fich , "%d ", *(matriz+i));