O palestrante, Sage Elliott, lidera o workshop sobre monitoramento de modelos de linguagem em produção utilizando bibliotecas de código aberto como Hugging Face e LinkIt. A palestra destaca a importância de coletar estatísticas e métricas ao implantar modelos de aprendizado de máquina, monitorando para detecção de dados, precisão, viés e justiça, além de riscos de segurança.
Além disso, o palestrante apresenta os desafios dos modelos de linguagem, incluindo alucinações e a falta de monitoramento e medição, e sugere que o futuro dos modelos de linguagem reside em engenharia de prompt e monitoramento e medição.
A palestra ainda demonstra como utilizar o LinkIt para extrair métricas de prompts e respostas, garantindo a preservação da privacidade, e destaca a importância do desenvolvimento de IA responsável. Além disso, o palestrante orienta a audiência em como utilizar a plataforma Y Labs para monitorar e visualizar métricas, permitindo o acompanhamento de distribuições ao longo do tempo e a configuração de alertas para violações de limite.
Por fim, a palestra conclui com uma sessão de perguntas e respostas e um resumo da discussão. Em resumo, o vídeo destaca a importância do monitoramento e medição de modelos de linguagem em produção e apresenta soluções práticas para superar os desafios associados à sua utilização.