• Advanced LLM Optimization techniques

  • Apr 7 2025
  • Durée: 16 min
  • Podcast

Advanced LLM Optimization techniques

Écouter gratuitement

Voir les détails du balado

  • Résumé

  • Welcome to another Data Architecture Elevator podcast! Today's discussion is hosted by Paolo Platter supported by our experts Antonino Ingargiola and Irene Donato.

    In this episode, we explore effective strategies for optimizing large language models (LLMs) for inference tasks with multimodal data like audio, text, images, and video.

    We discuss the shift from online APIs to hosted models, choosing smaller, task-specific models, and leveraging fine-tuning, distillation, quantization, and tensor fusion techniques. We also highlight the role of specialized inference servers such as Triton and Dynamo, and how Kubernetes helps manage horizontal scaling.

    Don't forget to follow us on LinkedIn! Enjoy!
    Voir plus Voir moins
Voir plus Voir moins

Ce que les auditeurs disent de Advanced LLM Optimization techniques

Moyenne des évaluations de clients

Évaluations – Cliquez sur les onglets pour changer la source des évaluations.

Évaluations sur Audible.ca

Évaluations sur Amazon.ca
Il n'y a pas encore de critiques pour ce titre.