Janela de Contexto.

Uma janela de contexto é a quantidade máxima de texto, medida em tokens, que um modelo de linguagem consegue considerar numa única passagem. As instruções, a conversa até ao momento, os documentos recuperados e a própria resposta do modelo consomem-na. Quando a janela enche, o conteúdo mais antigo é descartado ou resumido e, quando a sessão termina, a janela é descartada por inteiro.

A janela de contexto é frequentemente confundida com memória. Não é memória; é atenção de trabalho, e reinicia-se. Uma janela maior permite a um modelo ter mais coisas presentes de uma vez, mas não permite a uma organização acumular nada: o mesmo contexto é fornecido de novo e pago de novo a cada pedido, e desaparece quando a sessão fecha. É por isso que a IA empresarial pode parecer brilhante numa janela e amnésica na seguinte, e é por isso que a resposta à amnésia organizacional é uma camada de memória e não uma janela maior.

Uma propriedade técnica dos modelos de linguagem transformer, não uma invenção da Timer. Aparece no glossário porque a distinção entre uma janela de contexto e a Memória Organizacional é a confusão mais comum na arquitetura de IA empresarial.