Neste vídeo, Praveen Morgan, especialista em análise da AWS, demonstra como utilizar o Amazon Open Search Service como um banco de dados de vetores para extrair insights de dados não estruturados, específicamente documentos PDF. Ele apresenta uma aplicação web baseada em chat construída com Streamlit, onde os usuários podem carregar documentos PDF e fazer perguntas baseadas no conteúdo, e a aplicação fornecerá respostas usando o Open Search Service.
Como funciona a aplicação
A aplicação processa os documentos PDF carregados por chunking (dividindo em partes menores), convertendo-os em vetores usando um modelo de embedding, e indexando-os no Open Search Service. Em seguida, a aplicação pode responder a perguntas dos usuários baseadas no conteúdo dos documentos.
**_componentes do sistema_
O sistema é composto por vários componentes, incluindo:
* Banco de Dados de Vetores (Amazon OpenSearch Service): armazena os documentos PDF carregados em formato de vetor e fornece respostas às perguntas dos usuários.
* Document Encoder (Função Lambda com Langchain Framework): preprocessa o conteúdo dos PDF, ingere-os no OpenSearch e gera vetores usando um modelo de embedding.
* Query Encoder (Função Lambda com Langchain Framework): consulta o OpenSearch para obter respostas com base nas entradas dos usuários.
* Embedder Component (SageMaker): codifica documentos de texto em vetores usando um modelo de embedding de 6 bilhões de variantes do GPT.
* Memory Store (DynamoDB): mantém o contexto de conversas múltiplas, permitindo que o sistema entenda o contexto das perguntas anteriores.
Fluxo de trabalho
Quando um usuário carrega um PDF, o sistema:
1. Armazena o PDF no S3, acionando uma função Lambda.
2. A função Lambda limpa, chunka e transforma o PDF em vetores usando o componente Embedder.
3. Os vetores são ingeridos no OpenSearch em um processo em lote.
Quando um usuário faz uma pergunta:
1. A pergunta é enviada para o API Gateway, que proxy para uma função Lambda.
2. A função Lambda converte a pergunta em um vetor usando um endpoint SageMaker que hospeda o modelo de embedding.
3. A função Lambda usa uma consulta de busca neural para buscar documentos relevantes no OpenSearch.
4. A resposta é aumentada com mensagens da tabela DynamoDB relacionadas à mesma sessão ID.
5. A resposta aumentada é passada para um modelo de linguagem grande (Flan-T5 double excel) para gerar uma resposta final baseada no contexto.
Em resumo, o processo funciona da seguinte maneira: o usuário faz uma pergunta, que é enviada para o API Gateway, então para a função Lambda, em seguida, para o Open Search (banco de dados de vetores), que gera uma resposta. A resposta é então enviada de volta através da função Lambda e do API Gateway, e finalmente, o usuário vê a resposta à sua pergunta no chat.