Multiagente · código auditável
Uma especificação em linguagem natural vira extração, limpeza e carga de dados de várias fontes, e depois uma resposta para a sua pergunta de negócio. Cada etapa gera código Python que você lê, e não uma resposta de chat que some quando a aba fecha.
Especificação
Junte as corridas de janeiro com a tabela de zonas, remova duplicatas e grave o total por bairro no PostgreSQL.
Por que não um chat
Pergunta justa. Para um arquivo isolado e uma pergunta pontual, um chat resolve. O AI-ETL existe para onde isso para de funcionar.
CSV, Excel, PDF e DOCX, bancos PostgreSQL, MySQL, MongoDB e SQLite, e APIs REST. Um agente decide como combinar.
Cada execução guarda o código gerado, o plano e o relatório de qualidade. Dá para revisar, comparar e rodar de novo.
Um pipeline salvo roda sozinho no horário definido, com aprovação antes de gravar se você quiser.
Dados isolados por conta no banco, código gerado em ambiente isolado com tempo-limite, e um registro de cada ação.
Como funciona
A camada de ETL é um grafo com estado compartilhado: cada agente recebe o estado, faz uma coisa e passa adiante. A camada de análise trabalha sobre os dados já carregados.
Orchestrator
Lê a especificação e planeja o pipeline (fontes, transformações, destino).
Extractor
Extrai e inspeciona os dados de cada fonte (CSV, Postgres, REST, PDF/DOCX).
Transformer
Gera e executa (em sandbox) o código de limpeza e transformação: a camada Silver.
Quality
Verifica nulos, duplicatas e outliers nos dados transformados.
Loader
Persiste os dados limpos no destino configurado.
Só o planejamento e a transformação usam o modelo. Extração, qualidade e carga são determinísticas. Se o portão de qualidade bloqueia, nada é gravado e o motivo fica registrado.
O que você audita
O modelo escreve, o sistema executa e registra. Você tem como conferir cada etapa.
def transform(dfs):
trips = dfs["trips"].drop_duplicates()
zones = dfs["zones"]
df = trips.merge(
zones, left_on="PULocationID", right_on="LocationID"
)
return df.groupby("Borough", as_index=False).agg(
trips=("fare_amount", "size"),
revenue=("fare_amount", "sum"),
)Toda transformação é uma função Python que você lê, copia e roda de novo.
Ausentes, duplicatas, tipos e valores atípicos são verificados antes de gravar. Acima do limite, nada vai para o destino.
Cada agente do pipeline registra o que fez e quando, junto com o código e o relatório de qualidade.
Configura a fonte, escreve a especificação, audita o código gerado antes de confiar nele. Sabe ler Python e pandas, mas não precisa escrever tudo do zero toda semana.
Quer a resposta e a recomendação sem depender de um número que a IA pode ter inventado, porque alguém do time pôde conferir de onde ele veio.
Perguntas
Não. Para escrever a transformação, o modelo recebe o esquema de cada fonte e uma amostra de três linhas. O código gerado roda em ambiente isolado, sobre a tabela inteira.
Se a execução falhar, o código e o erro voltam ao modelo, em até três tentativas. Depois disso a execução termina como falha, com o motivo registrado, e tudo o que foi gerado fica salvo para leitura.
Um portão de qualidade determinístico verifica valores ausentes, duplicatas, tipos e valores atípicos antes da carga. Se uma coluna passa de 20% de valores ausentes, nada é gravado no destino.
Arquivos CSV, Excel, JSON, PDF e DOCX; bancos PostgreSQL, MySQL, MongoDB e SQLite; APIs REST. Destinos: CSV, PostgreSQL, MySQL, MongoDB e Parquet no S3.
Você vê uma estimativa antes de rodar e pode definir um teto mensal. No estudo de caso, com o modelo padrão, cada execução custou menos de um centavo de dólar.
Sim. Pipelines que leem bancos ou APIs rodam no horário definido, e você pode exigir aprovação antes de gravar no destino.
Descreva o que você quer. Leia o código. Aprove a carga.