Em uma apresentação, Vinayak Hedge, CTO em Residência para Microsoft for Startups, apresentou “Introduzindo o Co-Pilot de IA para Startups”. O Founders Hub by Microsoft for Startups fornece benefícios para startups em diferentes estágios, desde a ideação até o crescimento e escalabilidade. Além disso, o padrão Co-Pilot e seus casos de uso foram discutidos, destacando a importância do desenvolvimento de IA responsável.
O Lado Técnico da Pilha do Co-Pilot
A plataforma utiliza o Azure OpenAI para extração de entidades e resumo, e o CoPilot utiliza modelos de fundação modernos para aumentar os usuários, permitindo que eles interajam usando linguagem humana. Além disso, exemplos de integrações do CoPilot, incluindo GitHub Copilot e Windows Copilot, foram apresentados.
Sistema do Microsoft 365 Copilot
O sistema é alimentado por três tecnologias fundamentais: aplicativos do Microsoft 365, Grafo do Microsoft e um modelo de linguagem grande (LLM). O Grafo do Microsoft analisa e produz texto legível por humanos, tomando prompts, fundindo-os e enviando-os para o LLM. A resposta é pós-processada, incluindo chamadas adicionais de fundo, verificações de IA responsável, segurança, conformidade e privacidade.
Habilidades do CoPilot e Casos de Uso
O CoPilot permite processos iterativos e probabilísticos para produzir resultados que parecem mágicos. Os exemplos de startups que utilizam o CoPilot para automação e produtividade incluem Commerce.ai e Icera. Além disso, o Microsoft Fabric é uma solução de análise única para empresas que integra o CoPilot.
Limitações dos Modelos de Linguagem Grande (LLMs)
Os LLMs podem ser propensos a alucinações e requerem curadoria humana. Eles fornecem saídas probabilísticas que requerem entrada humana para garantir a precisão. O controle de temperatura pode ajustar o nível de criatividade ou previsibilidade na saída. As limitações incluem latência, necessidade de grande poder de computação e dados de treinamento desatualizados.
Superando Limitações e Customização
Para superar as limitações dos LLMs, estão sendo introduzidos “plugins”. O Co-Pilot pode ser usado como fundação de aplicação, ajudante no aplicativo ou orquestrador que interage com sistemas e APIs externos. Além disso, é customizável e extensível, permitindo que os usuários construam uma vez e usem em todos os lugares.
Design e Framework de Orquestração
A ênfase está na experiência do usuário (UX) e no design ao construir Co-Pilots eficazes. O Framework de Orquestração é o coração do modelo de negócios de uma aplicação. As ferramentas de código aberto como Semantic Kernel e LangChain foram mencionadas, além de uma nova ferramenta chamada Prompt Flow.
Criação de Prompts e Fundo
A criação de prompts eficazes é fundamental para garantir a precisão e a qualidade da saída gerada. O fundo é crucial para garantir a qualidade e a precisão da saída gerada. O Meta Prompt foi apresentado como um prompt geral e versátil que pode ajudar a formatar respostas e restringir a saída.
Segurança de IA e Recursos
A segurança de IA é construída em cada camada da pilha do Co-Pilot. Os recursos para aprendizado e sessões técnicas futuras, incluindo Founders Hub e Azure AI Pairing Sessions, foram promovidos.