Comment optimiser la gestion du transfert des données Google Ads vers BigQuery ?

Le transfert de données Google Ads vers BigQuery est un outil puissant pour analyser vos campagnes marketing. Ce guide explore des méthodes avancées pour accélérer le backfill, gérer plusieurs comptes, limiter les tables importées et automatiser les mises à jour, afin de maximiser la performance sans complexité inutile.

3 principaux points à retenir.

• Accélérez vos backfills en segmentant les plages de dates pour contourner les limites de jobs.
• Centralisez vos comptes Ads via un MCC pour éviter la multiplication des datasets.
• Automatisez vos rechargements avec Cloud Shell pour suivre des conversions qui évoluent sur le temps.

Comment accélérer le backfill des données Google Ads ?

Réduire le temps du backfill des données Google Ads dans BigQuery est un enjeu crucial pour une gestion efficace des données. Le processus de backfill peut sembler fastidieux à première vue, mais une approche méthodique peut véritablement accélérer ce chargement de données. Google Ads a une contrainte importante : il n’autorise qu’un nombre limité de jobs de backfill simultanés et espace ces jobs de 35 minutes. Cela signifie que lancer plusieurs backfills à la suite, sans stratégie, peut rapidement étirer le temps total d’importation à des durées inacceptables.

La clé pour optimiser le backfill est donc de segmenter les périodes de chargement. En divisant le backfill en tranches plus courtes, par exemple, deux mois à la fois, vous pouvez activer un cycle de chargement plus dynamique. Ce faisant, essayez de lancer les jobs avec des intervalles de 8 minutes au lieu des 35 imposés par Google. Ce système permet de réduire le délai global de chargement considérablement – parfois jusqu’à 8 mois de données en un jour et demi.

Pour illustrer cela, voici un exemple de commande shell simplifiée qui peut être utilisée pour programmer plusieurs backfills :

for i in {1..5}
do
    bq load --source_format=CSV 'project_id:dataset_id.table_name' gs://your_bucket/path_to_file_$i.csv
    sleep 480 # attend 8 minutes
done

En mettant en place ce type de script, vous pouvez automatiser votre processus de backfill tout en respectant les contraintes de Google. Cela va vous permettre d’optimiser votre temps et vos ressources efficacement.

Néanmoins, surveillez vos jobs afin de ne pas saturer la file d’attente. Évitez de dépasser le nombre maximum de jobs autorisés simultanément par Google, et assurez-vous que chaque job s’exécute sans problème. En gros, il s’agit de jouer la carte de la patience tout en restant efficace. En suivant ces bonnes pratiques, vous optimisez non seulement votre backfill, mais vous garantissez également l’intégrité de vos données transférées.

Comment gérer plusieurs comptes Google Ads efficacement ?

Lorsqu’une entreprise gère plusieurs comptes Google Ads, l’organisation des données dans BigQuery peut rapidement devenir un casse-tête. La solution idéale est d’utiliser le compte MCC (My Client Center), qui permet d’administrer plusieurs comptes via un seul point d’accès. Pourquoi est-ce important ? Cela vous permet de lancer un transfert consolidé, regroupant toutes les données des différents comptes, ce qui simplifie la gestion et contribue à réduire les coûts de transfert de données.

Si, pour une raison quelconque, vous ne pouvez pas accéder à un MCC, il va falloir jongler avec plusieurs transferts. Dans ce cas, une nomenclature judicieuse est essentielle pour éviter de vous perdre dans cette marée de données. Voici quelques convention de nommage recommandées :

• Nom du compte_type de données_date : cela permet de savoir d’un seul coup d’œil la provenance des données.
• clientA_campagnes_YYYYMM : cela donne un contexte temporel et identifie le client.
• MCC_nomduclient_sessions_YYYY : cela affiche clairement une structure à partir du MCC.

En harmonisant les noms des datasets et des transferts, vous simplifiez non seulement la maintenance de votre infrastructure de données, mais vous facilitez aussi la collaboration entre les équipes. Éviter les ambiguïtés dans les noms vous permet de résoudre plus rapidement tout problème potentiel. Si un transfert échoue ou si vous avez besoin d’analyser des données spécifiques, une nomenclature claire vous aide à identifier rapidement la source du problème.

Vous pouvez aussi vous référer à la documentation officielle pour des conseils supplémentaires et la résolution de problèmes de transfert en consultant ce lien : troubleshooting des transferts BigQuery. L’optimisation de votre processus de transfert de données est cruciale pour une gestion performante de vos campagnes publicitaires.

Comment limiter les tables importées pour simplifier l’analyse ?

Le transfert des données de Google Ads vers BigQuery est souvent perçu comme une avalanche d’informations, avec jusqu’à 109 tables à gérer. Cela peut donner l’impression d’un service compliqué à appréhender. En réalité, la majorité de ces données peuvent être pertinentes, mais il est crucial de savoir limiter ce qu’on importe pour simplifier l’analyse. Pourquoi ? Parce que certaines tables peuvent être volumineuses sans apporter de valeur ajoutée, tandis que d’autres contiennent des insights indispensables.

Lorsque vous configurez votre transfert, vous avez la possibilité de filtrer les tables à importer selon vos besoins en spécifiant leurs noms ou en utilisant le sésame de l’exclusion, comme le signe moins (-). Cela peut sembler simple, mais attention, cela nécessite une certaine prudence. Par exemple, la table ClickStats semble massive, mais elle est souvent vitale pour évaluer la performance des campagnes. S’en passer pourrait vous priver d’informations essentielles sur le comportement des utilisateurs et leur parcours de conversion.

Configurer le filtre est une étape clé. Voici un exemple de code qui illustre comment spécifier les tables à inclure ou exclure :

SELECT * FROM `project_id.dataset.table_name`
WHERE table_name NOT IN ('excluded_table_1', 'excluded_table_2');

Pour vous aider à mieux visualiser les implications de vos choix, voici un tableau comparatif des avantages entre un dataset complet et un dataset filtré :

• Dataset Complet :
  • Toutes les données à disposition.
  • Analyse exhaustive et détails fins.
• Dataset Filtré :
  • Concentration sur les KPI essentiels.
  • Réduction des coûts de stockage et de traitement.
  • Analyse plus rapide et ciblée.

En somme, il est impératif de peser les bénéfices et les risques d’exclure des tables. Si un filtrage judicieux peut alléger votre travail d’analyse, abandonner des données clés peut se traduire par des lacunes dans vos insights. Pour plus d’informations sur la configuration des transferts, consultez le guide de Google ici.

Comment automatiser les backfills avec Cloud Shell pour suivre les conversions ?

Le suivi des conversions Google Ads, c’est un vrai casse-tête sans un système automatisé. Les données changent constamment, et les conversions peuvent être enregistrées plusieurs jours après un clic. Pour éviter de courir après les chiffres, pourquoi ne pas automatiser le processus de backfill avec Cloud Shell ? Voici comment faire.

Tout d’abord, il vous faut l’identifiant de configuration pour votre projet. Vous pouvez le récupérer via la console Google Cloud, sous la section “API et services”. Ensuite, vous devez vous assurer que Cloud Shell est activé pour votre projet. Lancez Cloud Shell à partir de la console, qui se trouve dans le menu supérieur droit.

Une fois dans Cloud Shell, créez un script shell. Ce script va automatiser le backfill sur une période choisie – idéal pour les entreprises qui ont des cycles de vente longs ou des abonnements, où chaque conversion compte. Voici un exemple de script simple :

#!/bin/bash

# Définir vos dates de début et de fin
START_DATE="2023-01-01"
END_DATE="2023-01-31"

# Remplacer YOUR_CONFIG_ID par votre identifiant de configuration
CONFIG_ID="YOUR_CONFIG_ID"

# Lancer la commande de backfill
bq query --use_legacy_sql=false "
  INSERT INTO `your_project.your_dataset.your_table`
  SELECT *
  FROM `your_project.your_dataset.your_raw_data`
  WHERE conversion_date BETWEEN '$START_DATE' AND '$END_DATE'
  AND config_id = '$CONFIG_ID'
"

Ce script utilise BigQuery pour insérer des données dans votre table à partir de données brutes, en filtrant selon les dates de conversion. Modifiez les noms de projet, jeu de données, et tableaux selon votre configuration.

Automatiser ce processus permet de s’assurer que toutes les conversions sont reprises sans le risque d’erreurs humaines. Relancer ce script périodiquement garantit que vous ne manquez aucune donnée cruciale pour votre analyse. Quand on gère des campagnes publicitaires avec des subtilités dans le cycle de vente, chaque donnée a son importance. Un automatisme fiable¹, c’est ce qu’il vous faut pour rester à flot dans ce monde numérique en constante évolution.

Pour une approche plus aboutie, explorez les possibilités d’automatisation plus avancées sur ce lien.

Quelle stratégie adopter pour maîtriser le transfert Google Ads vers BigQuery ?

Maîtriser le transfert des données Google Ads vers BigQuery passe par une bonne organisation et l’exploitation des flexibilité offertes. Segmenter les backfills accélère l’ingestion de gros volumes historiques. Centraliser via un MCC limite la duplication de datasets. Filtrer les tables évite la surcharge d’information inutile. Enfin, automatiser les rechargements répond aux besoins des business à longs cycles de conversion. Cette approche pragmatique garantit une donnée robuste, rapide à exploiter, et un gain de temps significatif pour vos analyses marketing.

FAQ

A propos de l’auteur

Je suis Franck Scandolera, analyste, consultant et formateur indépendant spécialisé en Web Analytics et Data Engineering depuis plus d’une décennie. Responsable de l’agence webAnalyste, j’accompagne les professionnels à structurer, automatiser et valoriser leurs données marketing avec des outils comme BigQuery et Google Ads. Mon expertise mêle technique pointue et pédagogie: je conçois des environnements data fiables, orientés résultats, et adaptés aux besoins réels des entreprises.