Marco, eu já passei por isso e acredito ser realmente uma limitação esse nr de casas decimais.
Entretanto, a recomendação que deixo, após ter passado por várias implementações, é que seja conservador (pagar MAIS imposto) e arredonde a redução para baixo, para que dê um ICMS maior do que seria calculado com o nr cheio de casas.
Deste modo, a pequena diferença é absorvida pelo cliente, e ambos não estão fraudando o Fisco.
Isto é o que tenho ouvido das áreas fiscais de meus clients.
Abração.