Ya encontre mi error, fue porque estaba convirtiendo el byte array resultante en xmldocument para guardar el archivo xml con "pretty print" y luego de nuevo convertia el xmldocument a byte array, aunque el contenido seguia siendo el mismo la firma se invalidaba durante esas conversiones.