Présentation de 4GMark qui vient de dépasser les 9 millions de tests !

Share on Facebook0Tweet about this on TwitterShare on Google+0Print this page

4Gmark-Logo

Aujourd'hui je vais vous présenter l'application 4Gmark qui vient tout juste de dépasser les 9 millions de tests !

Vous allez me dire, mais on la connait déjà, et tant mieux ! Mais savez-vous tout ?!

4Gmark-Banniere-02

Alors 4Gmark c'est quoi ? Thierry Moncorger, directeur associé de 4Gmark nous répond (la lecture peut prendre un peu de temps) :

4Gmark c’est une aventure qui a démarré en 2012 à Créteil (comme un certain Xavier Niel d’ailleurs 😉 ) au sein d’une petite startup de 4 personnes qui s’est penchée sur ce premier petit projet qui allait devenir au fil du temps bien plus gros.

Avec plusieurs années d’expériences dans le milieu de la mesure Télécom (Audit, QoS/QoE et statistiques), les fondateurs ont souhaité créer un outil innovant et fiable pour automatiser les mesures, qui, pour certaines, étaient encore manuelles (relevés par un technicien, un logiciel de saisie et un chrono, etc). En résumé, un outil made in France, à l’esprit French'tech et Big Data.

De cette idée est né le moteur 4Gmark, qui innovait par des protocoles nouveaux, sa scénarisation totale, la synchronisation OTA et la capacité d’analyse très poussée par des métriques très précises. Après de long mois de travail, la première version du moteur, de la base de données et de son portail d’exploitation donnaient naissance à la solution professionnelle de 4Gmark. Aujourd’hui utilisée par les opérateurs, les équipementiers et leurs prestataires, 4Gmark est aussi un des outils proposés pour les mesures de l’ARCEP et d’autres régulateurs.

Par jeu, et aussi parce que confronter ce moteur à des millions de configurations différentes apporteraient la plus grande preuve de fiabilité, l’équipe a décidé de créer une version publique issue d'un projet de crowdsourcing qui permet la récolte de données exploitables statistiquement, en contrepartie d’un service gratuit qui doit répondre à une promesse-client forte.

L’idée était de créer un outil de mesure grand public mais se différenciant du classique (et markété) Speedtest. Le test de débit est insuffisant pour qualifier une connexion dans sa globalité. C’est un syndrome « qui a la plus grosse » qui pousse les outils à s’éloigner de la réelle expérience-client. Il y avait pour 4Gmark un créneau à proposer et une réelle expertise pour cela. Le FULL TEST était né ! Offrant un test de débit mono-thread (c’est-à-dire non saturé et représentatif de 90% de vos usages de data), une navigation Web (3 pages au départ), suivi très bientôt en exclusivité mondiale d’un test de streaming YouTube, le FULL TEST offrait enfin une vision globale de la QoE (la Qualité de l’expérience client) au grand public. Avec une notation simple sous forme de score, la qualité d’un opérateur se devait avant tout d’être globale, pour obtenir via l’algorithme le plus haut niveau.

En février 2013 sortait sur Google Play la toute première version de l’outil, suivi en mai 2013 de la version iOS. Depuis ce jour l’application 4Gmark a toujours été gratuite, sans contenu payant ni publicité.

 

En tant que statisticiens, nous constations que l’usage pouvait présenter un aspect extrême. Grosso modo, l’utilisateur de telles applications est plus souvent motivé par d’excellentes ou mauvaises conditions. 4Gmark a donc imaginé de motiver ces usages, actuellement personnels, vers un projet collaboratif en temps réel de monitoring des performances des opérateurs français.

Nombreuses furent les rédactions contactées, mais à l’été 2013, c’est ZDnet qui a répondu (et pris le risque) pour ce partenariat qui allait aboutir au 4Gmonitor, le baromètre de référence en France. L’objectif était de fournir un baromètre fiable, transparent et surtout indépendant quel que soit le résultat. L’attente était forte et le succès d’autant plus. Au-delà de la collecte inédite de 4Gmark, les calculs et graphiques du 4Gmonitor sont très travaillés. Afin de fiabiliser les données chaque utilisateur est moyenné (par période et localisation) afin d’éviter la sur-représentation de "mass testeurs" (qui attention ne sont pas forcément illégitime car c’est avant tout un utilitaire). De nombreux mécanismes aussi bien in-app que lors des calculs permettent d’isoler les mesures biaisées et augmentent la pertinence des indicateurs.

Le partenariat avec ZDnet.fr a permis à beaucoup de découvrir 4Gmark mais il est très important de souligner que l’accueil encourageant, parfois exigeant, mais toujours passionnant des twittos est pour beaucoup dans ce succès. Pour nous qui avons toujours voulu rester transparents, ces échanges constants, les retours, les critiques, les débats mais surtout les relais, les partages de cette communauté, incroyable, sont une énorme richesse.

L'enthousiasme autour du 4Gmonitor a permis à 4Gmark de voir sa notoriété exploser et son savoir-faire reconnu. En octobre 2013, SFR classe l’application dans « Les indispensables » de l’Appliscope. De Mars à Avril, le compte Twitter officiel Orange France reprendra ses résultats au 4Gmonitor. En mai 2014, Free s’auto-proclame n°1 en 4G sur la base des résultats du 4Gmonitor et diffuse une campagne de publicité nationale. En novembre 2014, Bouygues Telecom lance une grande campagne Presse/TV pour promouvoir son réseau 4G, sur la base des résultats présentés sur le 4Gmonitor.

Depuis, ce projet collaboratif n’a cessé d’évoluer :

  • Décembre 2013 (4G à Paris : quelles performances par rapport à la 3G et que valent les opérateurs ?) 4Gmark propose la 1ere campagne de comparaison de la 4G vis à vis de la 3G, en conditions professionnelles, afin de comparer les débits pratiques et non seulement théoriques. Grande première en France du protocole YouTube automatisé dans un outil de mesure.
  • Février 2014 (4G : la cartographie des débits moyens dans 10 villes françaises) 4Gmark invente le concept de débits projetés en cartographie (via une méthodologie d’agrégation par zone géographique)
  • Juillet 2014 (Mesures de débits 3G/4G : 4Gmark devient encore plus précis) : En exclusivité mondiale, 4Gmark devient le 1er outil grand public proposant :
    • Un test de qualité du streaming YouTube.
    • Un repli technologique pour adapter le protocole en 2G, 3G, 4G ou Wifi.
    • Une navigation de 60s de 1 à 10 (maximum) pages web différentes sur un panel de 30 pages aléatoires.
  • Révélé uniquement en septembre 2014(Free Mobile : enquête sur le bridage des débits en itinérance) lors d’une grande expertise de référence dans les télécoms sur le bridage en itinérance pour les clients free mobile grâce au test de débits sur plusieurs types de fichiers.
  • En octobre 2014 (4G Monitor : notre service fait peau neuve), pour le 1er anniversaire du 4Gmonitor, 4Gmark totalise 500 000 téléchargements, présentation de nouveaux indicateurs dynamiques exclusifs (évolution de la distribution des débits ou de la répartition technologique, taux de non qualité YouTube et Web), également de nouvelles cartographies dynamiques (Score, Download, Upload, YouTube et Web), proposant aussi bien le plus fort échantillon de tests en France que la meilleure méthodologie (sectorisation par zone géographique proposant une moyenne agglomérée et non de simples points se recouvrant les uns et les autres).
  • En Avril 2015 (4G Monitor : découvrez la version 3.0 de notre service), toujours militant d’un baromètre représentatif de l’experience client, 4Gmark fait évoluer les indicateurs du 4Gmonitor. Partant du constant logique, qu’un utilisateur 4G, s’appuie aussi sur la 3G, les indicateurs passent en vision 'abonné 4G'. Car il est plus facile d’être 1er sur l’une ou l’autre des technologies (en 4G avec une couverture moindre, en 3G quand les concurrents n’ont plus qu’un panel composé de vieux téléphones ou de zone de densités faibles). Les indicateurs prennent également le virage d’une pondération par strate de population, et les règles de fiabilisation sont encore accentuées. Avec cette approche le baromètre se rapproche encore plus de l’état de l’art du métier et de la méthodologie de référence ARCEP.
  • En Aout 2015 (4Gmark fait le plein de nouveautés avec une version 2.0) : Nouveau design et généralisation à tous les pays des cartographies (Débits et carte de détection des Pylones 4G), Kpis du pays, compteur de contribution et benchmark dynamique en fin de test.
  • En Octobre 2015 : 4Gmark totalise plus d’1 million de téléchargements sur Android et iPhone (1 035 000) autour du monde, dont 1 million sur les 24 derniers mois (depuis la création du 4Gmonitor). C’est 9 millions de SPEED ou FULL TEST, c’est plus de 40 millions de mesures (Ping, Download, Upload, YouTube ou Page web), et plusieurs milliards de métriques instantanées.

4Gmark cherche à se différencier sur le difficile créneau de la mesure QoE (Qualité de l’expérience utilisateur). L’idée est de fournir une mesure fiable et représentative, voire pédagogique. Pour beaucoup d’utilisateurs, hélas, l’outil présentant le plus gros débit serait le meilleur voire le plus fiable. Pourtant ces débits ‘maximisés’ ne sont jamais constatés dans la pratique (comme les téléchargements depuis les stores ou de pièces jointes).

Les spécificités (les points forts pour nous) de 4Gmark comme outil de mesure sont :

  • Le FULL TEST et son score qui donnent une vision synthétique et globale bien plus pertinente qu’un simple test de débit
  • Mesures de débits mono-thread. On ne cherche pas à saturer la bande-passante disponible, car ce n’est pas représentatif.
  • Affectation aléatoire aux serveurs et non pas vers le plus performant, pour être représentatif des conditions diverses de peering de l’usage-type
  • Plusieurs types de fichiers permettant de vérifier le respect de la neutralité du net
  • Test du streaming YouTube adapté à la technologie & Navigation Web (aléatoire et limitée à 60s).
  • Cartographie qui utilise une méthodologie d’agrégation permettant une donnée fiable et exploitable rapidement.
  • Statistiques : Créer un indicateur fiable n’est pas que faire la moyenne d’une colonne. C’est un métier qui demande beaucoup d’expertise et de savoir-faire : repérer et diminuer les biais, créer les algorithmes, assurer une représentativité et si nécessaire ne pas publier d’indicateurs n’ayant pas l’indice confiance suffisant.
  • Indépendance : Nous n’avons pas d’intérêt à ce qu’un opérateur ou l’autre soit mis en avant. Notre ligne se veut objective et uniquement technique. Nous prônons la transparence (volume, méthodologie), n’hésitons pas à corriger ou reconnaitre des erreurs.
  • Expertise : Parmi les associés, 2 fondateurs cumulent chacun 10 ans dans l’expertise de la Qualité des Services Telecom, dont une experte plusieurs fois en Direction de Projet pour l’ARCEP.
  • Passionnés et technophiles, nous améliorons continuellement notre outil, toujours en étroite collaboration avec nos gentils utilisateurs.

Merci à Thierry Moncorger pour ses réponses et la présentation de son application 4Gmark, d'autres informations sont disponibles sur le site http://www.4gmark.com/ et sur le compte Twitter @4Gmark.

Personnellement, j'utilise l'application pour faire mes tests 3G, 4G mais aussi WiFi et elle a définitivement remplacé les applications comme nPerf, Speedtest.net ou encore DegroupTest.

 

Pour rappel, l'application 4Gmark (gratuite) est disponible :

AppStoreGoogle_PlayWindows_Phone_Store