Si se te está presentando en el caso en que el adquiriente es consumidor final, lo que debes hacer es incluir la sección cac:PartyLegalEntity en /Invoice/cac:AccountingCustomerParty/cac:Party.
La solución me funcionó, pero me parece que se contradice con la regla FAK42 especifica que "Grupo opcional cuando se informe “consumidor final”, si se informa el grupo aplican las reglas del grupo".