Caio Saldanha
Arquiteto de IA & Advisor Executivo de IA
Caio Saldanha é Arquiteto de IA e Advisor Executivo de IA, atuando na interseção entre sistemas autônomos e governança corporativa. Arquiteta soluções e comportamentos em IA no contexto de empresas altamente regulamentadas, além de orientar Boards e Executivos na adoção de IA com propósito, metodologia e controle operacional aliado a princípios contemporâneos de cibersegurança.
Ensaios
42Dívida técnica como carteira de crédito: falta a coluna da taxa de juros
23 min de leituraA dívida de Cunningham era um empréstimo tomado para aprender e quitado quando se sabe mais. Levada a sério, a metáfora pede um registro com principal, juros e vida útil esperada para cada item, mais uma regra de retorno para decidir a quitação.
Vazamento de dados é como um modelo fraco ganha nota de forte
13 min de leituraUm modelo treinado com puro ruído pode marcar 86% na validação cruzada se uma etapa de pré-processamento estiver no lugar errado. O vazamento explica muitos resultados que desaparecem ao contato com a produção.
O não de um CTO ao hype precisa de teste, gatilho e registro, ou é só humor
20 min de leituraA firma de venture capital Bessemer publica uma página com as empresas em que decidiu não investir, o Google entre elas. As recusas de um líder de tecnologia não deixam esse tipo de registro, e sem ele ninguém distingue um bom não de um não com sorte.
Construir, comprar ou ajustar são três decisões, e a maioria dos debates as mistura
13 min de leituraDe onde vem o modelo, como ele é adaptado à sua tarefa e quem é dono do sistema em volta têm respostas diferentes. Tratar tudo como uma só pergunta gera erros caros nos dois sentidos.
Leis de escala preveem a perda, e a previsão mudou duas vezes
13 min de leituraO Chinchilla mostrou que a receita de treino mais conhecida gastava o orçamento no lugar errado. A próxima correção vem da oferta de texto humano e importa para quem planeja em torno do progresso dos modelos.
Os preços dos tokens caem e as faturas de IA sobem: a elasticidade decide quem ganha
14 min de leituraSe um corte de preço encolhe ou aumenta o gasto total depende de como a demanda responde. Orçar IA a partir de uma tabela de preços, e não de uma projeção de volume, é o erro de planejamento mais comum da categoria.
A economia da inferência define o produto que você consegue bancar
13 min de leituraUma única conversa de 128.000 tokens com um modelo de 70B guarda cerca de 40 GiB de cache. Esse número explica a tabela de preços, e a tabela de preços explica quais desenhos saem baratos.
O aprendizado por reforço funciona onde a resposta pode ser conferida
13 min de leituraOs modelos de raciocínio melhoraram mais depressa em problemas com um programa capaz de corrigir a resposta. A mesma regra mostra a uma empresa quais de suas tarefas estão prontas para o ajuste fino por reforço e quais não estão.
Soberania em IA, para uma empresa, é uma lista de dependências que se pode precificar
14 min de leituraO português custa mais tokens que o inglês, as faturas chegam em dólares e a lei de dados cruza fronteiras. Cada dependência pode ser medida e coberta sem esperar por um modelo nacional.
O conjunto de avaliação é a especificação
12 min de leituraBenchmarks públicos medem o próprio benchmark. Numa aplicação com LLM, o conjunto de casos que você escreveu, rotulou e defendeu é o que mais se aproxima de uma especificação.
Quando um modelo resolve o teste, refaça a amostra de trabalho em vez de policiar o candidato
22 min de leituraA Anthropic refez seu teste técnico conforme os modelos Claude o venciam. A literatura de seleção trata o teste como amostra de trabalho, e o conserto é uma amostra melhor com pontuação estruturada. Não achei estudo que valide os formatos novos.
Rotear entre modelos economiza dinheiro, e o que você realmente compra é o plano de saída
13 min de leituraOs artigos sobre roteadores prometem cortes grandes de custo, e alguns entregam. O valor duradouro de um desenho multimodelo é poder deixar um provedor numa terça à tarde sem reescrever o sistema.
A decisão deve acompanhar o conhecimento, e produtos de IA precisam disso por escrito
20 min de leituraO lançamento do Challenger mostra o que ocorre quando os direitos de parar, liberar e aceitar risco ficam dispersos. Um time de produto de IA pode registrar suas próprias respostas em oito decisões.
Dívida técnica oculta em aprendizado de máquina, dez anos depois
13 min de leituraO artigo do Google de 2015 alertou que ganhos rápidos em aprendizado de máquina nunca saem de graça. A maioria das categorias dele sobrevive em sistemas com LLMs, com uma dependência que os autores não poderiam imaginar: um modelo que outra pessoa pode mudar.
Com a prosa de graça, o memorando que merece aprovação diz o que faria o autor mudar de ideia
20 min de leituraA prosa fluente custava esforço, o que a tornava uma prova fraca de raciocínio. Agora que os modelos a escrevem de graça, quem revisa memorandos e design docs deve pedir a decisão, as opções rejeitadas, a evidência e a condição de saída.
O que o Transformer mudou foi a ordem da computação
13 min de leituraA atenção existia três anos antes do Transformer. O artigo de 2017 removeu a dependência sequencial que impedia as redes recorrentes de aproveitar o hardware, e o resto da década decorreu disso.
A lei de Brooks precifica coordenação, e a IA levou a conta para a revisão de código
22 min de leituraBrooks apresentou sua lei como uma simplificação escandalosa de dois custos, a adaptação e a comunicação. A geração de código por IA barateou a escrita e deixou a revisão e a integração como o lugar onde os times pagam.
Postmortems sem culpa são um método para obter fatos exatos, e o teste é o que muda depois
23 min de leituraA ausência de culpa serve para obter fatos exatos de pessoas que têm motivos para guardá-los. Aplicada à promessa errada de um chatbot ou a uma regressão silenciosa de modelo, ela aponta para a barreira que falhou, e o teste é o que muda depois.
Quando o seu fornecedor também é seu rival: as cinco forças para aplicações de IA
13 min de leituraOs fornecedores de modelos podem cortar o acesso, vender direto aos seus clientes e baratear o seu insumo para todos de uma vez. O arcabouço de Porter ainda explica para onde vai o lucro.
A teoria da disrupção é estreita por escolha, e muitos produtos de IA ficam fora dela
19 min de leituraChristensen descreveu um mecanismo específico: líderes ignoram entrantes que começam com clientes deixados de lado. Copilotos de suítes não passam nesse teste; cinco perguntas ajudam a examinar outros casos.
Nem ferramenta nem funcionário júnior: trate a saída da IA como um lote com taxa de defeitos
22 min de leituraUma visão de controle de qualidade ajuda a gerir saídas de IA: estimar a taxa de defeitos por amostragem, definir a revisão pelo custo do erro e medir também os revisores.
Governança de IA que chega à produção é um conjunto de travas no pipeline, não um comitê no fim
13 min de leituraA UE adiou em dezesseis meses o prazo para sistemas de alto risco, e o projeto de lei brasileiro continua pendente. Os dois fatos pedem uma governança construída como controles por nível de risco que geram evidências como subproduto da engenharia.
Quando um fluxo de trabalho vence um agente
13 min de leituraAgentes gastam confiabilidade, latência e dinheiro para comprar flexibilidade. A maioria dos processos de negócio deve entregar o controle do fluxo ao código e dar ao modelo apenas os julgamentos.
O arquiteto que ainda escreve código deveria, na maior parte do tempo, estar lendo código
23 min de leituraArquitetos que deixam de tocar no código perdem de vista o que o sistema faz, e os que escrevem no caminho crítico atrasam o time. Com o código barato, o contato útil é ler diffs, mais um pouco de escrita descartável ou fora do caminho crítico.
Árvores com gradiente ainda definem a linha de base em tabelas, mas ela está se movendo
13 min de leituraUm benchmark de 2022 colocou conjuntos de árvores à frente das redes profundas em dados tabulares de tamanho médio. Os modelos de fundação tabulares agora reivindicam a liderança em conjuntos pequenos, o que muda o que é um bom primeiro experimento.
Uma pontuação de confiança só serve se significar o que diz
13 min de leituraUm modelo pode ordenar bem os clientes e ainda assim mentir sobre suas probabilidades. A calibração decide se o número pode entrar num cálculo de valor esperado, num limiar ou na passagem do caso a uma pessoa.
Uma janela de contexto não é memória
13 min de leituraEm 200.000 conversas simuladas, os modelos foram em média 39% piores quando as instruções chegavam em vários turnos em vez de uma só mensagem. Agentes que rodam por horas precisam de memória projetada como sistema.
A profundidade se tornou treinável por meio de poucos ajustes pouco glamorosos
14 min de leituraUma rede com cem camadas multiplica cem números entre si, e é nessa multiplicação que o treino quebra. Inicialização, normalização, conexões de atalho e otimizadores domam, cada um, uma parte do problema.
Seu sistema de IA vai copiar o organograma, e o conjunto de avaliação mostra a cópia
21 min de leituraUm estudo da Microsoft mostrou que medidas organizacionais previram as falhas do Windows Vista melhor que medidas de código. A mesma lógica vale para produtos de IA, em que o conjunto de avaliação é o artefato que cai entre os times.
Um modelo que prevê bem ainda pode errar sobre o que fazer
13 min de leituraPacientes com pneumonia e asma pareciam mais seguros nos dados do hospital porque eram tratados com mais agressividade. Todo modelo que dispara uma ação precisa de uma pergunta causal e de um experimento para respondê-la.
O Futuro da IA Corporativa: Escalando Agentes Inteligentes
2 min de leituraPor que a transição de chatbots para arquiteturas multi-agentes representa a próxima grande fronteira para as corporações.
Uma estratégia de IA que começa por uma ambição pulou o diagnóstico
12 min de leituraA Klarna anunciou que um assistente fazia o trabalho de 700 atendentes e depois disse que o custo havia sido um critério dominante demais. O núcleo da estratégia de Richard Rumelt explica por quê: meta e diagnóstico são coisas diferentes.
Princípios de Design para Interfaces Nativas em IA
2 min de leituraRefletindo sobre como as interfaces de usuário devem evoluir quando o software compreende ativamente a intenção do usuário.
A maioria dos pilotos de IA dá certo como demonstração e falha como fluxo de trabalho
13 min de leituraAs pesquisas discordam nos números, mas concordam no formato: experimentos são comuns, valor em escala é raro. A lacuna é mais organizacional que técnica, e um piloto pode ser desenhado para fechá-la.
A lei de Goodhart reúne quatro falhas, e um time de ML pode orçar cada uma delas
20 min de leituraToda métrica usada para escolher ou premiar um modelo se degrada sob pressão, mas a degradação tem quatro mecanismos e quatro defesas diferentes. O ritual mais comum, proteger o conjunto de teste, cobre o mais brando deles.
O andaime em volta de um modelo é uma aposta contra o próximo modelo
13 min de leituraA lição amarga de Sutton costuma ser contada sobre laboratórios de pesquisa. Seu uso mais afiado é nos prompts, cadeias e regras que as equipes constroem em volta de um modelo, e alguns deles expiraram em três anos.
Assentos, tokens ou resultados: a IA quebrou as métricas de preço antigas
13 min de leituraO preço por assento acompanha o número de funcionários, uma assinatura fixa esconde um custo que varia dez vezes entre usuários, e a precificação por resultado convida a discussões sobre o que conta como resultado. Uma boa métrica passa em quatro testes.
Fossos de dados são mais fracos do que parecem, e mais fortes onde ninguém espera
12 min de leituraCurvas de aprendizado são leis de potência, o valor para o cliente é um limiar, e os modelos de fundação reduziram o que o volume bruto compra. As vantagens duradouras vêm de desfechos, posição no fluxo de trabalho e controle do ciclo de feedback.
Mistura de especialistas divide em dois o preço de um parâmetro
13 min de leituraUm modelo de mistura de especialistas calcula com uma fração dos seus pesos e ainda precisa guardar todos eles. Essa divisão define quanto o modelo custa para treinar, para servir e para hospedar por conta própria.
Horas poupadas não são dinheiro ganho, e os casos de negócio de IA confundem as duas coisas
13 min de leituraDesenvolvedores que ficaram mais lentos com a IA acreditavam que ela os acelerava. Pesquisas relatam economias de tempo que nunca chegam a uma linha de orçamento. Um caso de negócio crível segue as horas por quatro conversões, e cada uma perde parte delas.
Recuperação de informação é decisão de arquitetura, não funcionalidade
13 min de leituraA Anthropic reduziu em 67% as falhas de recuperação sem mexer no modelo que escreve as respostas. Saber onde um sistema RAG ganha qualidade mostra quais decisões custam caro para desfazer.
A acurácia é a última coisa que um modelo em produção conta a você
12 min de leituraOs rótulos chegam semanas ou meses depois da previsão. O monitoramento precisa ser construído em camadas, da integridade dos dados à deriva e aos desfechos, com alertas dimensionados pelo efeito e não pelo valor-p.