Introdução
A inteligência artificial (IA) tem se destacado como uma das principais tendências tecnológicas em diversos setores, incluindo a contabilidade. A capacidade dos chatbots baseados em modelos de linguagem, como o ChatGPT, de desempenhar tarefas contábeis tem gerado grande interesse e debate. Pesquisas anteriores revelaram um desempenho relativamente fraco do ChatGPT em questões de avaliação estudantil. No entanto, um estudo recente, publicado em 18 de maio de 2023, realizado por pesquisadores da Universidade de Duisburg-Essen, Universidade de Illinois Chicago, Universidade de Wisconsin – Whitewater e Brigham Young University investigou se o ChatGPT poderia passar nos principais exames de certificação contábil, como o CPA, CMA, CIA e EA.
Avaliando o desempenho do ChatGPT
O estudo concentrou-se em quatro certificações contábeis amplamente reconhecidas nos Estados Unidos: Certified Public Accountant (CPA), Certified Management Accountant (CMA), Certified Internal Auditor (CIA) e Enrolled Agent (EA). Essas certificações exigem um alto nível de conhecimento e uma preparação intensa. Inicialmente, o ChatGPT 3.5 demonstrou um desempenho insatisfatório, incapaz de passar em qualquer um dos exames. Sua pontuação média foi de apenas 53,1% em todas as avaliações.
No entanto, os pesquisadores realizaram melhorias no modelo para aprimorar seu desempenho. A transição para o ChatGPT 4 resultou em um aumento médio de pontuação de 16,5%. Além disso, o treinamento com 10 exemplos adicionais (conhecido como 10-shot training) proporcionou um aumento adicional de 6,6% nas pontuações. Permitir que o modelo usasse raciocínio e recursos externos, como uma calculadora e outras ferramentas, melhorou as pontuações em mais 8,9%.
Com todas essas melhorias implementadas, o ChatGPT alcançou uma pontuação média impressionante de 85,1% em todas as seções dos exames, obtendo aprovação em todos eles. Esses resultados indicam que o ChatGPT atingiu um nível de desempenho que representa um desafio significativo para os contadores e auditores humanos. Pela primeira vez, a IA demonstrou a capacidade de desempenhar tão bem quanto, ou até melhor do que, a maioria dos contadores humanos em tarefas contábeis do mundo real.
O futuro da colaboração entre máquinas e contadores
Os resultados desse estudo levantam questões importantes sobre o futuro da colaboração entre máquinas e contadores. O “fator de vantagem competitiva” do contador humano em relação à máquina está sendo questionado. É fundamental realizar pesquisas que explorem como máquinas e contadores humanos podem trabalhar efetivamente em conjunto, aproveitando suas respectivas habilidades. Além disso, é necessário investir em pesquisas que desenvolvam as capacidades da IA para lidar com uma quantidade maior de trabalho contábil, permitindo que os contadores inovem e agreguem mais valor às suas organizações e à sociedade como um todo.
Perspectivas futuras
O estudo também identificou várias áreas para pesquisas futuras. Uma delas é o aprimoramento da fonte de informações do ChatGPT. Embora o mecanismo de busca utilizado no estudo tenha sido útil em alguns casos, nem sempre forneceu informações relevantes. Investigar agentes que possam recuperar informações de fontes confiáveis e especializadas, como as normas de auditoria do PCAOB ou as publicações fiscais do IRS, pode melhorar ainda mais o desempenho do modelo.
O PCAOB (Public Company Accounting Oversight Board) é uma entidade reguladora independente nos Estados Unidos que supervisiona a auditoria de empresas de capital aberto. Foi estabelecido em 2002 pela Lei Sarbanes-Oxley (Sarbanes-Oxley Act) em resposta a escândalos corporativos, como o colapso da Enron e da WorldCom, que abalaram a confiança do público nos mercados financeiros.
A transparência também é uma área de pesquisa relevante. O uso de recursos que aprimoram a transparência da tomada de decisões do ChatGPT, como o ReAct, mostrou resultados positivos, permitindo que o modelo expresse sua incerteza e evite alucinações. Pesquisas adicionais podem explorar formas de aumentar a transparência e verificar se transformar o ChatGPT em um agente melhora sua precisão e reduz as alucinações.
Outro campo de estudo importante é a auditoria de IA. À medida que a IA é cada vez mais adotada nas operações corporativas, a auditoria de IA torna-se essencial do ponto de vista da governança corporativa. Enquanto alguns estudos propõem estruturas de governança, é necessário aprofundar a pesquisa na auditoria de sistemas de IA para garantir conformidade e ética em sua implementação.
ReAct
ReAct é uma abordagem utilizada no estudo mencionado para aumentar a transparência e melhorar a tomada de decisões do modelo ChatGPT. O termo ReAct é uma abreviação de “Reasoning and Acting” (Raciocínio e Ação).
Essa abordagem permite que o ChatGPT expresse sua incerteza ao responder perguntas ou realizar tarefas. Por meio do uso do ReAct, o modelo é mais propenso a indicar quando está “inseguro” sobre uma resposta ou está fazendo uma “suposição”. Além disso, o modelo é mais propenso a responder com um “Eu não sei” quando não possui informações suficientes para fornecer uma resposta precisa.
Essa transparência aprimorada é benéfica porque fornece aos usuários do ChatGPT uma compreensão mais clara da confiabilidade das respostas fornecidas pelo modelo. Ao indicar sua incerteza ou falta de informações, o ChatGPT reduz o risco de fornecer respostas errôneas ou confusas.
Ao implementar a abordagem ReAct, os pesquisadores observaram que o ChatGPT tende a ter menos “alucinações”, ou seja, respostas que podem ser plausíveis, mas não são baseadas em fatos ou informações corretas. Isso pode ser atribuído à ênfase na expressão de incerteza e na busca de informações adicionais quando necessário.
Embora o estudo tenha destacado os benefícios do ReAct em termos de transparência e redução de alucinações, vale ressaltar que a eficácia dessa abordagem pode variar dependendo do contexto e das características específicas do modelo de IA utilizado.
Em resumo, o ReAct é uma abordagem que busca melhorar a transparência e a tomada de decisões do modelo ChatGPT, permitindo que ele expresse sua incerteza e evite alucinações ao responder perguntas ou realizar tarefas. Essa abordagem visa fornecer respostas mais confiáveis e transparentes aos usuários, aprimorando assim a experiência de interação com a IA.
Conclusão
O estudo demonstra que, com as devidas melhorias e aprimoramentos, o ChatGPT pode obter um desempenho de destaque e passar nos principais exames de certificação contábil. Esses resultados desafiam a competência dos contadores humanos e levantam questões sobre o futuro da profissão contábil. A IA tem o potencial de revolucionar a contabilidade e a auditoria, e é crucial entender como as máquinas e os contadores humanos podem colaborar de maneira eficaz. À medida que a IA avança, é fundamental abraçar essas tecnologias e aproveitar seu potencial para impulsionar a inovação e agregar valor à profissão contábil e à sociedade como um todo.
Referência
Eulerich, Marc, Sanatizadeh, Aida, Vakilzadeh, Hamid, & Wood, David A. (May 18, 2023). Can Artificial Intelligence Pass Accounting Certification Exams? ChatGPT: CPA, CMA, CIA, and EA? Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4452175