Comment réduire les coûts d'Amazon CloudFront dans le contexte du streaming et notamment du live streaming tout en maintenant la fiabilité et la qualité vidéo ?

Même les diffuseurs nationaux riches considèrent Amazon AWS, ainsi que d'autres fournisseurs de cloud américains tels que Microsoft Azure et Google Cloud Platform (GCP), comme un luxe. Cependant, ces fournisseurs sont plus couramment utilisés par les développeurs ou les équipes DevOps dans le cadre du processus agile pour obtenir des mises en production plus rapides, ce qui n'est pas toujours l'aspect le plus critique pour la gestion de services de streaming 24/7. Dans de tels scénarios, la priorité devrait être accordée à l'assurance qualité et aux tests. Que vous utilisiez Amazon Elemental MediaLive ou AWS IVS, il est fort probable qu'Amazon incite fortement à utiliser exclusivement CloudFront pour la diffusion, car cela représente une part importante des coûts. Cependant, même en utilisant ces deux services, il n'est pas obligatoire d'avoir CloudFront comme seul fournisseur.

Dans mon expérience de travail précédente avec une plateforme vidéo en ligne (OVP), j'ai été surpris de constater que tous les éléments vidéo étaient stockés sur Amazon AWS S3, malgré les tentatives mensuelles de minimiser les coûts AWS. Il semblait que le choix était motivé par un manque de confiance dans la mise en place d'un hébergement et d'un traitement internes, ce qui conduisait à l'idée que la fiabilité était garantie. Cependant, les trois importantes pannes d'AWS survenues fin 2021 ont fait en sorte que l'OVP ne pouvait rien faire pour les flux de ses clients tant qu'AWS était hors service. Cet événement a démontré l'importance de ne pas se fier uniquement à un seul fournisseur, aussi luxueux que cela puisse paraître, car il existe une règle commerciale qui suggère que ce n'est jamais une bonne idée.

“Tant qu'AWS connaît des temps d'arrêt, nous ne pouvons rien faire pour restaurer les flux de nos clients.” (Selon un développeur travaillant pour un OVP qui dépend fortement de CloudFront...)

Quel est le potentiel de négociation des tarifs avec Amazon AWS ou un autre fournisseur de cloud ?

Le potentiel de négociation des tarifs avec Amazon AWS ou un autre fournisseur de cloud peut varier. Dans certains cas, il peut y avoir une marge de négociation, en particulier si vous avez un volume d'utilisation important ou êtes prêt à vous engager dans un contrat à long terme. Cependant, il est important de garder à l'esprit que les fournisseurs de cloud fonctionnent à grande échelle et ont généralement des structures de tarification standardisées qui sont difficiles à changer et les marges sont assez élevées, donc même une remise de 90% pourrait encore être plus coûteuse que d'autres fournisseurs pour votre cas d'utilisation, comme le montre notre calculateur des coûts de CDN Live Streaming.

Si vous souhaitez négocier les prix avec un fournisseur de cloud, il est essentiel de faire des recherches et de comprendre le modèle de tarification du fournisseur, ainsi que les éventuelles remises ou promotions disponibles. De plus, il est utile d'avoir une compréhension claire de vos propres habitudes d'utilisation et de vos besoins, car ces informations peuvent être utilisées pour négocier un accord de tarification plus favorable. En fin de compte, bien qu'il soit possible de négocier les prix avec un fournisseur de cloud, cela n'est pas toujours garanti et le potentiel de négociation peut varier en fonction du fournisseur spécifique et des circonstances.

Le problème lié à la tarification des régions

Les fournisseurs de cloud ont tendance à privilégier leurs régions les moins chères, qui se trouvent généralement aux États-Unis, lorsqu'ils proposent leurs services. Malheureusement, peu d'informations sont disponibles sur d'autres régions telles que l'Asie, où les prix peuvent souvent être deux fois supérieurs, voire plus, par rapport à la région principale. Ce manque d'attention portée à la tarification des autres régions peut causer des problèmes inattendus pour les entreprises qui connaissent du succès et connaissent une croissance significative. Ces coûts autrefois marginaux peuvent rapidement devenir un centre de coûts principal, notamment en Asie, qui est la région la plus densément peuplée au niveau mondial. Il est donc essentiel que les entreprises examinent attentivement la tarification des fournisseurs de cloud dans toutes les régions, en particulier si elles prévoient d'étendre leurs services à l'échelle mondiale.

Il est possible de mesurer à l'avance les régions d'audience en utilisant un portail de billetterie ou un modèle d'abonnement. Si votre fournisseur de vidéos en ligne propose des informations sur l'audience avant l'événement, comme il se doit, vous pourrez déterminer combien de personnes assistent à l'événement et d'où elles viennent. Même si l'événement est gratuit, vous pouvez toujours collecter ces informations grâce à une collecte d'adresses e-mail.

En utilisant ces informations, vous pouvez choisir un fournisseur de cloud qui propose des tarifs compétitifs dans les régions où votre public est concentré, ce qui vous permet d'éviter des coûts imprévus à l'avenir. Cela peut également vous aider à optimiser votre réseau de diffusion de contenu afin de garantir à votre public la meilleure expérience de visionnage possible, quel que soit leur emplacement. En général, disposer d'informations sur votre public à l'avance est essentiel pour prendre des décisions éclairées sur le choix du fournisseur de cloud à utiliser et sur l'optimisation de votre stratégie de diffusion de contenu.

Qu'est-ce que les "crédits cloud" et comment anticiper leur expiration ?

Les crédits cloud sont une sorte de monnaie proposée par certains fournisseurs de cloud qui peuvent être utilisés pour compenser les coûts d'utilisation de leurs services. Ces crédits sont généralement offerts dans le cadre d'une offre promotionnelle et peuvent être attribués aux nouveaux clients ou en récompense pour certains types d'utilisation.

Les modalités exactes des crédits cloud peuvent varier en fonction du fournisseur, mais en général, ils ont une date d'expiration au-delà de laquelle ils ne peuvent plus être utilisés. Dans certains cas, les crédits cloud peuvent également avoir des limites d'utilisation ou d'autres restrictions, tels que leur applicabilité uniquement à certains types de services ou scénarios d'utilisation.

Pour anticiper la fin de vos crédits cloud, il est important de suivre attentivement votre utilisation et de surveiller le solde de votre compte. La plupart des fournisseurs de cloud proposent des outils et des tableaux de bord qui vous permettent de suivre facilement votre utilisation et les crédits restants, afin que vous puissiez planifier en conséquence et éviter de vous retrouver à court de crédits de manière inattendue. De plus, il est conseillé de lire attentivement les modalités et conditions de toute offre de crédits cloud, afin de comprendre la date d'expiration et les éventuelles restrictions d'utilisation qui peuvent s'appliquer.

Il est conseillé de mettre en place une méthode de diffusion de secours lorsque vous utilisez un fournisseur de cloud, afin d'éviter de grosses factures une fois vos crédits épuisés. Pour assurer une transition en douceur, il est en réalité facile de le faire pour les opérations liées à la diffusion en continu.

Qu'est-ce qui rend la réduction des coûts sur AWS CloudFront, Azure et GCP si facile pour le streaming ?

Contrairement à la livraison web conventionnelle, certains protocoles de streaming tels que HLS intègrent directement plusieurs points de diffusion dans la norme, permettant ainsi au diffuseur d'avoir un contrôle direct sur l'équilibrage de charge pondéré et la haute disponibilité.

La fonction de basculement (failover) du HTTP Live Streaming (HLS), utilisée par le répéteur d'iReplay.TV, est une fonctionnalité du protocole de streaming HLS qui permet à un diffuseur de spécifier plusieurs sources du même contenu à différents débits dans le fichier de manifeste de niveau supérieur. Lorsqu'un spectateur lance une session de lecture, le lecteur demande le fichier de manifeste et reçoit la liste des sources disponibles pour ce contenu. Le lecteur décide ensuite quelle source utiliser en se basant sur la bande passante disponible et d'autres facteurs.

Dans le cas où l'une des sources ne peut pas faire face à la demande, le lecteur peut automatiquement basculer vers une autre source avec le même débit (et le même fichier source en mode "répéteur"), puis vers un débit inférieur (si le spectateur n'a pas suffisamment de bande passante avec la source secondaire) pour éviter les problèmes de mise en mémoire tampon et assurer une expérience de lecture fluide. Ce processus est connu sous le nom de streaming adaptatif avec débits variables (adaptive bitrate streaming) et est une fonctionnalité clé de HLS. Avec plusieurs sources disponibles, le lecteur peut basculer entre elles de manière transparente pour garantir la meilleure expérience de visionnage possible pour l'utilisateur.

En utilisant la fonction de basculement du HLS (HLS failover), les diffuseurs peuvent s'assurer que leur contenu est toujours accessible aux spectateurs, même pendant les périodes de forte demande. Cette fonctionnalité offre un niveau de redondance qui améliore la fiabilité globale du service de streaming.

Cependant, tous les lecteurs ne sont pas équipés pour gérer cette fonctionnalité, il est donc essentiel de réaliser des tests avant le déploiement si vous manquez d'expertise en matière de streaming.

Suis-je en train de compromettre l'expérience de streaming en ne sélectionnant pas un fournisseur de cloud comme méthode principale de diffusion de contenu ?

Le système de basculement du HLS garantit non seulement qu'une source principale ne sera pas utilisée en cas de dysfonctionnement, mais il assure également que le lecteur (s'il est entièrement compatible, comme mentionné précédemment) chargera la qualité la plus élevée possible. En sélectionnant une source alternative, vous pouvez être sûr de maintenir à la fois la fiabilité de la lecture et la qualité, tout en bénéficiant également d'économies de coûts lorsque la source principale est accessible. Veuillez vous référer aux quatre scénarios distincts à la fin de cette page, allant de 100% à 0,1% d'utilisation de votre fournisseur de cloud actuel.

Que puis-je faire d'autre sur le plan technique ?

Si vous n'avez pas de fournisseur de cloud qui propose une fonctionnalité de répéteur, les options pour contrôler les coûts de streaming sont limitées, telles que le blocage ou la limitation du débit dans des régions spécifiques où le streaming peut être plus coûteux. Cependant, un moyen de contrôler les coûts est la mise en cache, notamment dans le cache du périphérique et du navigateur, ce qui peut réduire considérablement la quantité de données utilisée. Il est important de s'assurer que les segments multimédias sont mis en cache pendant une longue durée pour chaque spectateur, en particulier lors de l'utilisation de fonctions de cloud DVR, de playlists d'événements, de signalisation numérique ou de tout contenu répétitif par le biais de playlists ou de boucles qui n'ont pas la fonctionnalité hors ligne du HLS. En utilisant efficacement la mise en cache à l'aide des en-têtes de cache HTTP habituels (Pragma, expires, etc.), vous pouvez réduire la quantité de données à transférer et potentiellement économiser sur les coûts de streaming.

Le cas particulier du streaming en direct

Même avec le streaming en direct, des pics de trafic imprévus peuvent survenir, par exemple lorsque de nouveaux spectateurs décident d'acheter un billet après le début de l'événement en raison de la diffusion en direct de moments forts partagés. Pour gérer cette situation, un lecteur compatible avec le pair-à-pair (peer-to-peer) peut être utilisé pour les spectateurs supplémentaires, en exploitant votre architecture existante en essayant de diffuser en premier lieu à partir de pairs proches, puis à partir des sources existantes comme option secondaire. Cette approche est rentable et peut aider à gérer le trafic imprévu sans augmenter significativement les dépenses.

Je n'ai pas le choix et je dois utiliser le CDN de mon fournisseur de vidéo en ligne qui est AWS CloudFront / Microsoft Azure / Google Cloud Platform / Akamai / Fastly / Limelight Networks. Puis-je quand même réduire mes coûts ?

Absolument. La fonctionnalité de répéteur peut être intégrée à n'importe quel CDN ou fournisseur de cloud, à condition qu'une URL m3u8 pour votre flux soit accessible.

Combien coûte la diffusion d'un flux avec un fournisseur de cloud uniquement et avec une combinaison d'un fournisseur de cloud et de la fonctionnalité iReplay.TV ?

Prenons l'exemple du flux de recommandations habituel d'Apple, avec 1000 spectateurs regardant un flux HD de 7,8 Mbps pendant une heure (3,351 To) aux États-Unis, en Europe et en Asie.

GAFA ou GAFAM, RGPD et souveraineté

En configurant le répéteur d'iReplay.TV à 100% (en éliminant complètement votre fournisseur GAFA/GAFAM du manifeste auquel le lecteur vidéo accède), vous pouvez générer un flux entièrement localisé pour vos spectateurs européens.

Il est important pour une entreprise européenne de diffuser du contenu en streaming depuis l'Europe en utilisant des CDN et des serveurs européens. L'Union européenne dispose de réglementations strictes en matière de protection des données, telles que le Règlement général sur la protection des données (RGPD). En maintenant les services de streaming en Europe, les entreprises peuvent mieux se conformer à ces lois sur la confidentialité et garantir que leurs données utilisateur sont traitées conformément aux normes européennes.

Certaines industries peuvent être soumises à des exigences réglementaires spécifiques qui imposent le stockage et le traitement des données dans la région européenne. En utilisant des serveurs et des CDN européens, les entreprises peuvent respecter ces réglementations et éviter d'éventuelles amendes ou sanctions.

Article written (translated from English) by
Sylvain Corvaisier

Independent streaming and iOS engineer

Last modified: December 13th, 2024