Por que a próxima era da IA ​​empresarial precisa de engenharia de contexto

Tecnologia

A taxa de adoção da inteligência artificial nas empresas não mostra sinais de abrandamento, mas embora as organizações se tenham concentrado em qual dos muitos modelos utilizar, o campo de jogo está a começar a nivelar-se.

Conversamos com Saket Saurabh, CEO e cofundador da Nexla para discutir ‘engenharia de contexto‘ e por que ele acredita que isso será fundamental para obter vantagem competitiva.

BN: O que é a camada de contexto e por que ela é importante?

SS: Se a engenharia imediata consistia em fazer perguntas melhores, a engenharia de contexto trata de dar à IA a base para respondê-las bem. A camada de contexto é tudo o que molda a forma como os sistemas de IA raciocinam e agem – dados proprietários, documentos, fluxos de trabalho, conhecimento de domínio, políticas e até memória de interações anteriores.

Por que é importante: à medida que os modelos convergem em qualidade, a verdadeira vantagem competitiva não virá da escolha do modelo certo. Isso vem da construção do contexto certo. Pense em integrar um novo funcionário em uma organização complexa. Leva meses para que compreendam os sistemas, as políticas e as nuances necessárias para tomar boas decisões. A IA enfrenta a mesma curva de aprendizado. Quanto melhor for o contexto fornecido, melhor será o desempenho da IA, seja resumindo relatórios, sinalizando anomalias ou otimizando fluxos de trabalho.

BN: Como isso pode ser combinado com sistemas de IA de agência?

SS: Os sistemas de IA da Agentic podem raciocinar, planejar e executar tarefas – mas exigem mais do que instruções inteligentes. Eles precisam de uma compreensão mais profunda de onde estão, do que sabem e das restrições aplicáveis. É isso que a engenharia de contexto oferece.

A mudança é de instruir a IA para equipá-la. Em vez de programar todas as regras, você define limites, fornece contexto e deixa a IA raciocinar dentro desses limites. Este é um aumento contextual, não uma automação completa. Você não está dando à IA o controle de sistemas críticos como o razão geral. Você está permitindo que ele lide com o tecido conjuntivo – o trabalho que os humanos fariam no mesmo contexto organizacional.

BN: Quais são os principais desafios do gerenciamento do contexto em sistemas grandes e dinâmicos?

SS: O problema de escala não tem mais a ver com o poder computacional – ele se tornou abundante. É uma questão de orquestração. Quando você reúne dezenas de produtos de dados em sistemas distribuídos e os alimenta em modelos de IA, a confiabilidade e a observabilidade tornam-se fundamentais.

O contexto agora vem de todos os lugares: transcrições de bate-papo, tickets de suporte, feeds de sensores, vídeos, contratos, PDFs. Essa explosão de variedade de dados ultrapassou os métodos tradicionais de engenharia de dados. A IA não consome tabelas estáticas, ela precisa de fluxos de informações dinâmicos e dinâmicos. Você precisa projetar sistemas que possam recuperar, transformar e entregar o contexto certo ao processo certo, tudo em tempo real.

O outro desafio é a governação. Para uma instituição financeira que alimenta modelos de subscrição com dados históricos de sinistros, é necessário mascarar informações confidenciais, manter a linhagem e garantir a conformidade. Para provedores de saúde que integram dados de pacientes locais com IA baseada em nuvem, você deve garantir a privacidade e, ao mesmo tempo, fornecer contexto relevante. Estes não são apenas problemas técnicos – são problemas de governação que requerem automação.

BN: Em sistemas multiagentes, como o contexto pode ser compartilhado e mantido entre diferentes agentes para evitar suposições conflitantes e trabalho duplicado?

SS: Você precisa de uma orquestração que entenda as dependências, monitore os fluxos e garanta que o contexto alimentado à IA seja sempre completo, consistente e compatível. Quando os agentes têm visões isoladas do mundo, você obtém exatamente o que descreveu: duplicação e suposições conflitantes.

A solução é projetar um ambiente de contexto compartilhado. Os agentes acessam as mesmas bases de conhecimento, respeitam as mesmas regras de negócios e reconhecem as mesmas permissões. Eles se coordenam em vez de colidirem. Isso requer ir além dos fluxos de trabalho estáticos para sistemas adaptativos que possam ser flexíveis à medida que os dados e os requisitos mudam.

Na verdade, trata-se de construir sistemas combináveis ​​– onde você pode empacotar dados em produtos de dados seguros e bem documentados, com metadados incorporados sobre como eles podem ser usados. Quando os agentes utilizam esses produtos, todos trabalham a partir da mesma fonte de verdade.

BN: Como o tamanho crescente das janelas de contexto e o desenvolvimento de novas arquiteturas de modelos impactarão a prática da engenharia de contexto no futuro?

SS: Janelas de contexto maiores mudam o jogo, mas não porque você pode colocar mais dados em um prompt. Eles mudam a forma como arquitetamos sistemas empresariais de IA.

Neste momento, gastamos uma enorme energia na recuperação – encontrando o subconjunto perfeito de documentos ou dados para incluir. Com janelas de 200.000 tokens em vez de 8.000, podemos mudar da engenharia de recuperação para a verdadeira engenharia de contexto. Você pode trazer bases de conhecimento mais amplas, memória mais rica, regras de negócios mais completas e contexto de usuário mais profundo, tudo de uma vez.

Novas arquiteturas que processam o contexto com mais eficiência são igualmente importantes. Modelos que podem raciocinar sobre dados estruturados, compreender relacionamentos temporais e manter a consistência em interações mais longas desbloqueiam casos de uso corporativo em que a IA opera durante dias ou semanas, e não apenas em conversas únicas.

Mas aqui está o que as pessoas não percebem: maiores janelas de contexto significam maiores desafios de governação. Se você estiver alimentando mais dados nos agentes, precisará de um rastreamento de linhagem mais forte, melhor controle de versão e orquestração mais sofisticada. A disciplina da engenharia de contexto torna-se mais importante, e não menos.

O futuro não consiste em dar memória infinita à IA. Trata-se de fornecer a memória certa, estruturada de forma que seja dimensionada de acordo com a complexidade da empresa. As organizações que dominam isto – tornando o contexto dinâmico, escalável e durável ao longo do tempo – terão agentes mais conscientes, mais fiáveis ​​e mais alinhados com a forma como o seu negócio realmente funciona. É aí que mora a vantagem competitiva.

Fonte: www.betanews.com
Link da Fonte

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *