Nos últimos anos, os modelos de linguagem, como os desenvolvidos por grandes empresas de tecnologia, têm avançado significativamente, despertando interesse sobre suas capacidades de raciocínio formal, especialmente em áreas como a matemática. Recentemente, um estudo intitulado “GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models”, liderado por Iman Mirzadeh, Keivan Alizadeh, Hooman Shahrokhi, Oncel Tuzel, Samy Bengio e Mehrdad Farajtabar, todos da Apple, fez uma análise profunda dessas capacidades e trouxe importantes insights.
Conclusão do Estudo
O estudo conclui que, apesar dos avanços, os modelos de linguagem atuais ainda apresentam limitações significativas quando se trata de realizar raciocínio lógico-matemático genuíno. O desempenho desses modelos varia consideravelmente quando confrontados com perguntas que envolvem pequenas mudanças, como valores numéricos diferentes ou o aumento da complexidade de um problema.
Os pesquisadores demonstraram que os modelos não fazem um raciocínio lógico formal, mas sim uma correspondência probabilística de padrões observados durante o treinamento. Por exemplo, quando são apresentadas variações da mesma questão, os modelos frequentemente falham em manter a precisão, e o desempenho piora drasticamente com o aumento da complexidade das perguntas. Além disso, o estudo introduziu o GSM-NoOp, um conjunto de questões que adiciona informações irrelevantes aos problemas. Os modelos, em vez de ignorarem essas informações desnecessárias, as incluíam nos cálculos, levando a resultados incorretos.
Exemplo Prático
Um exemplo citado no estudo envolve a seguinte pergunta: “Oliver colhe 44 kiwis na sexta-feira, 58 no sábado, e no domingo ele colhe o dobro do que colheu na sexta-feira, mas cinco deles eram menores que a média. Quantos kiwis Oliver tem ao todo?”. O modelo deveria somar as colheitas de cada dia, mas em vez disso, subtraiu os cinco kiwis menores, tratando a informação irrelevante como parte da solução. Esse exemplo evidencia como os modelos atuais ainda são incapazes de distinguir informações relevantes de irrelevantes, prejudicando a capacidade de raciocínio matemático.
Implicações para os Profissionais da Contabilidade
Para os profissionais de contabilidade, as conclusões deste estudo são cruciais. Embora ferramentas de IA possam ser úteis para automatizar cálculos repetitivos e tarefas administrativas, a precisão é essencial no trabalho contábil. A incapacidade dos modelos de linguagem de lidar com variações e complexidades matemáticas, conforme demonstrado no estudo, significa que a supervisão humana continua indispensável, especialmente em tarefas como auditorias, cálculos fiscais complexos e análise financeira.
Além disso, a adoção de IA na contabilidade deve ser feita com cautela, escolhendo-se ferramentas que sejam especificamente desenvolvidas para lidar com as complexidades das normas contábeis e fiscais, para evitar erros que possam resultar em prejuízos financeiros ou complicações legais.
A Importância de Contadores Desenvolverem Seus Próprios Mecanismos de IA
Com base nas conclusões do estudo, fica claro que os modelos de IA genéricos, embora poderosos em muitas áreas, ainda não são totalmente confiáveis para tarefas complexas, como as que envolvem raciocínio lógico-matemático e contabilidade. Nesse contexto, surge uma necessidade crítica para os contadores: criar seus próprios mecanismos de IA, personalizados para suas necessidades específicas, como custom GPTs.
Por que criar mecanismos de IA personalizados?
- Adaptados às Normas e Regras Fiscais Locais: Cada país possui suas próprias regulamentações fiscais e contábeis, que podem variar amplamente em termos de complexidade. Um custom GPT treinado com base nas normas contábeis locais será muito mais eficaz em interpretar e aplicar essas regras do que um modelo genérico, que não foi projetado para lidar com essas particularidades.
- Redução de Erros em Cálculos Complexos: Como mostrado no estudo da Apple, modelos de IA genéricos podem cometer erros significativos quando confrontados com questões matemáticas que envolvem múltiplas cláusulas ou mudanças de valores. Com um custom GPT, os contadores podem treinar o modelo para se concentrar nas operações específicas mais frequentes em seus fluxos de trabalho, minimizando a possibilidade de erros.
- Automação de Processos Personalizados: Cada escritório de contabilidade possui suas próprias rotinas e processos. Ao desenvolver um modelo personalizado, os contadores podem criar uma IA que não apenas automatize tarefas gerais, mas que também seja capaz de lidar com procedimentos internos, como relatórios personalizados, auditorias de conformidade específicas e revisões fiscais recorrentes, aumentando a eficiência e a precisão.
- Confidencialidade e Segurança de Dados: Um custom GPT desenvolvido internamente oferece mais controle sobre a segurança dos dados sensíveis. Em vez de confiar em modelos de IA de terceiros, que podem levantar preocupações sobre a privacidade de dados financeiros, um modelo próprio garante que as informações permaneçam protegidas e sob controle total da empresa.
- Treinamento Contínuo com Dados Reais: A criação de um custom GPT permite que os contadores treinem o modelo com dados reais e específicos de suas operações. Isso significa que, com o tempo, a IA se tornará mais eficiente e precisa em realizar tarefas baseadas nos dados financeiros da empresa, como análise de fluxo de caixa, previsão financeira e compliance fiscal.
Como os Contadores Podem Começar?
A criação de um custom GPT pode parecer uma tarefa complexa, mas com as ferramentas e tecnologias atuais, é mais acessível do que nunca. Plataformas como OpenAI oferecem APIs que permitem que as empresas treinem e personalizem seus modelos de IA de forma prática. O primeiro passo para os contadores é definir as áreas onde a IA pode agregar mais valor, como automação de cálculos complexos ou análise de conformidade regulatória. A partir daí, é possível começar a construir e treinar um modelo específico que atenda a essas necessidades.
Conclusão
Este estudo da Apple oferece uma visão clara sobre os desafios atuais enfrentados pelos modelos de linguagem em raciocínio matemático. Para áreas como a contabilidade, onde a precisão é inegociável, é fundamental entender essas limitações e garantir que a IA seja utilizada de forma complementar, sempre sob a supervisão de profissionais capacitados. Além disso, para maximizar o valor da IA, os contadores devem considerar a criação de seus próprios modelos personalizados, adaptados às suas necessidades e padrões, garantindo maior segurança, precisão e eficiência nas operações financeiras.
Referência
MIRZADEH, Iman; ALIZADEH, Keivan; SHAHROKHI, Hooman; TUZEL, Oncel; BENGIO, Samy; FARAJTABAR, Mehrdad. GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models. Apple, 2024. Disponível em: https://arxiv.org/abs/2410.05229. Acesso em: 14 out. 2024.