Líderes empresariais estão sob forte pressão. Empresas de diferentes setores divulgam semanalmente o lançamento de seus assistentes inteligentes, montados a partir de modelos de IA Generativa, como os da OpenAI, Meta e Google.
Criar o próprio “ChatGPT” virou modismo. Muitas vezes, sem definição clara de casos de uso e de uma estratégia de dados por trás, as empresas apelidam essas aplicações com nomes humanos e fazem barulho nas redes sociais. O problema é que, conforme o uso avança, as pessoas percebem que o buraco é mais fundo e, com isso, a descrença começa.
Seguindo a forma como o Gartner Group® avalia o ciclo de vida das tecnologias, estamos mergulhando no vale da desilusão em relação às tecnologias de IA Generativa. Isso significa que, dentro do Hype Cycle (curva de avanço e amadurecimento dos “hypes” tecnológicos), já passamos pelo pico das expectativas infladas e agora teremos alguns anos de desilusões seguidas.
Relacionado: Casos de sucesso em implantação de IA: lições aprendidas
A raiz do problema
Não é raro, hoje em dia, estar em uma reunião executiva e ouvir alguém dizer algo do tipo: “Não preciso mais que você crie um dashboard ou extraia relatórios. Quero ter uma IA para perguntar o que eu quiser saber do nosso negócio. Simples assim”.
O problema é que de simples não tem nada, a não ser o que tentam vender nos cursos midiáticos e nos programas de formação em IA vendidos por influenciadores. Quanto mais você entende e domina os alicerces por trás dos modelos generativos, mais se incomoda com essas simplificações extremas.
Adianto a conclusão do texto agora: o famoso dashboard, bem montado, estruturado e com dados íntegros, continuará sendo valioso por muito tempo, pelo menos até que surjam novos modelos fundamentais de Inteligência Artificial.
O desafio na prática
Pense em um Diretor Financeiro (CFO) que foi impactado pelo discurso de que “é fácil montar um modelo de IA para substituir os relatórios do SAP”. Imagine que ele tenha direcionado sua área de Tecnologia da Informação (TI) a criar o tal assistente financeiro que irá responder todas as perguntas sobre vendas, faturamento, receita e caixa.
O time de TI trabalha incansavelmente por semanas, reunindo-se diariamente com representantes da Meta, do Google e com consultorias especializadas. Levanta uma série de dados históricos, prepara o pipeline de dados e começa a montar o processo de indexação. Passado um tempo, com o modelo “aprendendo” sobre os dados, começa o processo de testes.
Apesar de esforços somados de muitas pessoas inteligentes, a acurácia do modelo não supera 95%. Ou seja, uma taxa de alucinação que pode chegar a 5% em relação às perguntas feitas. Por mais que o time de engenharia se esforce, o volume de dados é muito extenso. Há informações estruturadas e outras não estruturadas.
Até o momento, a iniciativa já consumiu mais de R$ 300.000 em consultorias, horas do time sênior de engenharia interna e créditos das APIs dos modelos. O CFO ainda não sabe disso.
O “Dia D”
Na semana de apresentação do modelo para o CFO, a ansiedade toma conta do time. O líder do projeto não conseguiu alinhar previamente com ele quais perguntas deveriam ser feitas para testar o funcionamento.
Todos na sala estão com um misto de medo e desespero. Esse grau de acurácia não atenderá o que o CFO deseja e, por mais que tenham tentado, não conseguiram avançar mais a tempo.
O CFO entra na sala, pergunta se pode testar e começa a fazer perguntas sobre o passado da companhia, preço médio, EBITDA das unidades de negócio, etc. Após cinco minutos de teste, visivelmente desconfortável, ele pergunta à equipe: “Vocês não treinaram direito essa IA? Ela não está respondendo de forma precisa. Assim não é possível usarmos para nada. Preciso que ela seja certeira, assim como se eu estivesse pedindo o dado para meu assistente”.
Eu entendo que posso parar aqui a narrativa. Certo? Você já deve ter entendido.
Fluência x Precisão
Venho batendo nesse ponto há meses. Quem demanda precisão para seus casos de uso não deveria investir pesado em modelos de IA Generativa agora. Talvez, em questão de meses ou poucos anos, isso esteja resolvido. Agora não está.
Os modelos generativos são probabilísticos e vão alucinar, querendo ou não. Por mais que você se esforce e crie diferentes estratégias para reduzir esse desvio estatístico, ele continuará existindo e nunca será zero.
Se você precisa que a informação chegue exatamente como foi registrada no banco de dados, sem aceitar qualquer variação estatística, não recomendo usar soluções generativas ou agênticas, ainda. Por algum tempo, pelo menos, o bom e velho painel ou dashboard de Power BI irá atendê-lo melhor.
*Carlos Eduardo Carvalho, Sócio-Diretor e CEO da Bridge & Co., é Engenheiro de Produção e Mestre pela COPPE/UFRJ. Possui MBA Executivo pela Fundação Dom Cabral e especialização em Plataformas Digitais pelo MIT. É especialista em Business Transformation com ênfase em automação de processos, análise avançada de dados e Inteligência Artificial. Atua também como palestrante, autor e professor de pós-graduação em instituições como UFRJ, FGV e UFJF.
