Analyse de trafic web : quels sont les outils utilisés ?

Article comparant les solutions Open Source d’analyse de trafic web. Open Web Analytics et Piwik sont analysés. Remplacer Google Analytics ?

Table des matières

Introduction

Pour un projet, je devais choisir un outil d’analyse de trafic web libre afin de se passer du trop curieux et si peu respectueux Google Analytics. Deux outils ressortent du lot : Piwik et Open Web Analytics.

Je devais faire des préconisations en présentant les points forts et points faibles de chacun. Pour commencer, la première étape a été de regarder l’usage, autrement dit les parts de marché de chaque outil. Cela donne une bonne idée de l’intérêt de la communauté envers ces projets.

Parts de marché des outils d’analyse de trafic web

Pour obtenir des chiffres assez proches de la réalité et me permettant d’avoir une confiance suffisante dans les résultats affichés, j’ai utilisé les mesures de W3techs. Les méthodes de mesure utilisées semblent permettre de s’approcher de la réalité.

Le résultat des analyse fait ressortir que 1 site sur 2 utilise Google Analytics (51,6%) – je pensais que les parts de marché de Google furent plus importantes -, suivi loin derrière par Yandex (4,4%) et WordPress Stats (3,8%). Voilà pour le podium. Noter, que sur 1 an, Google Analytics progresse de 2,7% !!! Merci aux webmaster de donner un peu de notre vie privé à Google et à la NSA (voir d’autres états / entreprises) ! C’est la plus grosse progression, le deuxième du classement ne prenant que 0,8% et le 3ème 0,6%. A noter aussi que 37,2% des sites n’utilisent aucun outil d’analyse (2,1% de moins qu’il y a 1 an). Il y a des parts de marché à prendre pour les outils libres. Let’s go girls and boys.

Evolution de l'utilisation des outils de mesure du trafic web

Plus de détails pour l’ensemble des outils d’analyse de trafic web, c’est par ici.

En ce qui concerne nos outils libres, Piwik est utilisé par 1,3% des sites et Open Web Anaytics par moins de 0,02% des sites. En pourcentage c’est faible, mais étant donné le nombre de sites web, cela fait quand même beaucoup d’installation.

Open Web Analytics : présentation

Open Web Analytics a été créé par Peter Adams. Sous licence GPL, l’application est développée en PHP (version 5.2.X min) et une utilise exclusivement une base de donnée MySQL (version 4.1 min). Afin d’obtenir les logs des visites, il est possible d’utiliser des scripts javascript, PHP ou des APIs (REST). A noter, qu’il est possible d’utiliser des plugins pour les sites fonctionnant sous WordPress ou MediaWiki. Un module Drupal est développé par une tierce partie.

dashboard screenshot open web analytics

La dernière version en date est la 1.5.7 sortie le 27 février 2014. Depuis cette date, le volume de code publié est faible, mais le projet est encore actif. La faible activité vient surement du fait le nombre de contributeur est limité : 2 !

Le support est assuré via le forum, mailing list et IRC de Open Web Analytics et semble bien suivi par le créateur de Open Web Analytics. Je n’ai pas trouvé de service payants ou premium, le financement se faisant exclusivement par un système de dons.

Les fonctionnalités standards sont bien présentes : usage du site (nombre de pages vues, de visiteurs, …), le suivi des objectifs, des statistiques pour l’e-commerce, l’usage de variables mais aussi des fonctionnalités avancées comme les cartes de chaleur des clicks, le suivi des mouvements de souris, des reporting multi-dimensionnels … Ces dernières fonctionnalités sont par exemple absentes de Google Analytics (quand migrez vous ?).

Par ailleurs, l' »architecture d’Open Web Analytics a été construite de telle manière à supporter une montée en charge importante : traitement et enregistrement des logs gérés par des évènements asynchrone, mise en cache des objet (Memcache) et définition des modèles de la base de données afin de stocker de grand volume.

Je vous engage à voir les démonstrations d’Open Web Analytics.

Les habitués de Google Analytics ne seront pas perdus. L’interface et les couleurs ne sont pas sans rappeler celles de GA.

J’ai particulièrement apprécié une interface claire, la partie e-commerce simple mais efficace, le suivi des flux rss

Piwik : présentation

Piwik est sous licence GPL, fonctionne sous PHP (Version 5.3.3 min) et MySQL (version 4.1 min). Attention, il est tout de même recommandé l’usage de PHP 5.5 afin de mieux utiliser la mémoire de votre serveur.

La communauté de Piwik est importante : presque 100 contributeurs (99 au moment de l’écriture de cet article), un nombre de commits très importants et un forum actif !

Plutôt qu’un long discours, je vous invite à regarder la vidéo de présentation de Piwik :

Les fonctionnalités de base et avancées sont là aussi au rendez-vous. Piwik remplace aisément Google Analytics. Le petit plus, vous pouvez paramétrer un reporting automatique par email. Ainsi, le matin, en buvant votre café, vous pouvez analyser les stats de la veille.

Piwik dispose aussi d’une place de marché Piwik qui vous permet d’utiliser des applications sous forme de plugins développer par la communauté et ainsi enrichir votre installation Piwik.

Le financement de Piwik se fait par différent biais : dons, sponsoring mais aussi par les services Premium (Piwik Pro).

Enfin, Piwik dispose de plugins pour la plupart des CMS : WordPress, Drupal, Joomla …

Avantages et inconvénients

Installation : match nul

Les procédures d’installation de Open Web Analytics et de Piwik sont bien expliquées et claires. Ces installations sont simples à réaliser en quelques minutes. La documentation de Piwik semble un peu plus précise si l’on souhaite aller plus loin.

Mise à jour : avantage Piwik

Sans aucune comparaison possible, la mise à jour de Piwik est un modèle du genre. Un simple click via un bouton de l’interface graphique, et la procédure de mise à jour s’enclenche. Du côté de Open Web Analytics, il faut télécharger en ligne de commandes la dernière version, remplacer les anciens fichiers lancer le script de mise à jour (web ou cli). Pas très compliqué, mais moins simple que Piwik.

Documentation : avantage Piwik

La documentation disponible que ce soit pour l’utilisateur et pour le développeur est plus importante pour le projet Piwik et que pour le projet Open Web Analytics.

Interface : match nul

Les 2 interfaces sont agréables et bien pensées. Je les mets à égalité car ce sera plus une affaire de goût. Les 2 me semblent efficaces. Les utilisateurs de Google Analytics seront moins dépaysés avec l’interface de Open Web Analytics alors que celle de Piwik est plus moderne.

Fonctionnalités : match nul

Les 2 projets présentent une longues listes de fonctionnalités. Les principales sont présentes des 2 côtés et faciles à utiliser.

Open Web Analytics proposent quelques fonctions avancées complémentaires comme les cartes de chaleur et le suivi des clicks. Des plugins proposent aussi cela pour Piwik (mais je n’ai pas testé leur efficacité).

De son côté Piwik propose la possibilité de suivre la rapidité d’affichage des pages (de plus en plus important), l’envoi de reporting par email et la prise en compte de la volonté de protection de la vie privée de l’internaute (laisse la possibilité à l’internaute d’indiquer qu’il ne souhaite pas être traqué).

Il est difficile de déclarer un vainqueur. Cela va dépendre des projets et des besoins associés.

WordPress : avantage Piwik

L’installation et l’usage du plugin est extrêmement simple. En quelques clics, votre installation fonctionne et vos logs commencent à apparaître. Pour Open Web Analytics, l’installation nécessite un minimum de connaissance – pas très compliqué tout de même – . Mais cette installation basique force l’utilisation de la même base de données que celle utilisée par WordPress. Si vous avez plusieurs sites à gérer, et que vous souhaitez centraliser vos logs, cela devient plus compliquer. De plus, la sécurité liée aux requêtes sur la BDD centralisée doit bien être intégrée. Donc pour la facilité et la souplesse d’utilisation, c’est Piwik sans aucun problème.

Suivi des stats via mobile : avantage Piwik

Dans un monde où les personnes sont de plus en plus nomades et les stats sont nécessaires à tout moment de la journée (surtout au resto !), il est important de pouvoir accéder à notre application d’analyse de trafic web via notre mobile. L’interface de Open Web Analytics n’est pas responsive (en fait, ça dépend des pages) et l’usage n’est pas très agréable. Par contre, l’interface de Piwik est responsive et plutôt agréable à utiliser même si je trouve que parfois c’est un lent. Mais pour palier à ce défaut, le projet Piwik met à disposition une application pour IOS et Android particulièrement bien pensée. L’usage téléphone est plus agréable, mais l’usage sur tablette est vraiment un plus. L’expérience utilisateur est grandement améliorer comparativement à l’usage de la version full web.

Communauté : avantage Piwik

Un autre point important concerne le nombre de personnes utilisant et participant au projet. Encore une fois, Piwik gagne haut la main : part de marché supérieure et 50 fois plus de contributeurs. Le nombre de commits est aussi et de manière écrasante en faveur de Piwik.

Conclusion

Les projets Open Web Analytics proposent une vrai alternative à Google Analytics. Ce sont des projets libres sous licence GPL permettant de mieux appréhender le trafic de nos sites web. Open Web Analytics semble architecturé pour supporter une montée en charge importante alors que d’un autre côté Piwik dispose d’une interface plus moderne et utilisable sur touts les supports.

Piwik sort légèrement vainqueur de mon point de vue du fait de la taille de la communauté et la qualité de la documentation. Mais sur certains points fonctionnels notamment les cartes de chaleur, Open Web Ananlytics peut-être le meilleur choix pour certains projets.

Moteur de recherche respectant la vie privée : https://www.privatesearch.io/

Alors que les Google, Bing ou Yahoo stockent jusqu’à plus soif vos recherches, croisent ces données avec vos historiques de navigation, utilisent abusivement les cookies dans le seul but de rendre ces données aux plus offrant. Vous coupler cela à Facebook, les grandes multinationales connaissent vos goûts, vos opinions politiques …

Je vous invite à découvrir ce moteur de recherche privateserach.io , en fait un meta moteur, qui permettra d’effectuer vos recherches en évitant le stockage abusif de vos données.

Les résultats sont de qualité, nettoyés de toutes publicité et de tous liens payants.

Ce type de moteur de recherche (comme d’autres) fait partie de l’arsenal à votre disposition afin de se protéger de la curiosité malsaine des grandes multi-nationales et états.

Hiawatha, serveur web sécurisé, utilise mbed TLS

Hiawatha, serveur web sécurisé, utilisent maintenant mbed TLS. Explication de ce changement.

Lors de la Release 9.12, Hiawatha, un serveur web sécurisé open source,  a annoncé utiliser maintenant mbed TLS au lieu de PolarSSL. En effet, ARM a acquis PolarSSL qui a été renommé mbed TLS. Juste un changement de nom ? (malheureux, car comment perdre de la renommée, mais ce n’est que mon humble avis). En fait non, car des changements sont intervenus au niveau du code ce qui a pour conséquence une perte de compatibilité avec les anciennes versions de PolarSSL. Hiawatha ne supporte plus que les versions de mbeb TLS à partir de la version 1.3.10.
Attention lors de vos mises à jour, même si l’impact doit être nul d’après le mainteneur.

Par ailleurs, les nouvelles versions des paquets debian sont disponibles comme d’habitude grâce à Chris sur le site files.tuxhelp.org. Enfin, si vous recherchez un package pour votre Raspberry PI préférée, c’est par ici : https://files.intermezzo.net/hiawatha_raspi/

Par ailleurs, je suis curieux de connaître le retour d’expérience d’utilisateurs de Hiawatha ainsi que les raisons de leur choix. Postez un message en commentaire !

Migration de Ciel vers Dolibarr

Script de migration de Ciel vers Dolibarr, logiciel libre et gratuit de gestion d’entreprise

Dolibarr est une solution de gestion d’entreprise (TPE/PME) complète et Open Source. Créé à l’origine par R. Quiédeville et maintenant soutenu par l’association Dolibarr, Dolibarr se positionne comme un ERP / CRM libre permettant de gérer vos contacts, clients, commandes, factures, stocks, agenda, règlements, projets … Pour ne rien gâcher, ce logiciel est libre et gratuit, mais cela ne vous empêche pas d’aider son financement en adhérant à l’association par exemple.

Afin de faciliter la reprise de données existantes et éviter une saisie fastidieuse et source de nombreuses erreurs, une des sociétés participants activement à l’éco système de Dolibarr, Patas Monkey, a développé des moulinettes Excel afin de simplifier ce travail de migration.

Vous souhaitez utiliser Dolibarr mais vous avez vos données sous Ciel, pas de soucis, ije vous invite à découvrir leur moulinette excel.

Vous n’avez maintenant plus d’excuses pour tester ce fabuleux logiciel.

 

Installation FreeSwitch sur Ubuntu automatisée

Installation automatisée de FreeSwitch à partir des sources sur Ubuntu/Debian

L’installation de FreeSwitch à partir des sources n’est pas une tâche bien compliquée. Il suffit de suivre le guide expliquant le processus sur le site de FreeSwitch. Mais cette tâche est longue et si vous installez de manière régulière de serveurs FreeSwitch, cela devient vite répétitif et source d’erreur.

Je vais vous présenter une manière simple et automatique pour installer FreeSwitch sur votre serveur tout neuf Ubuntu 14.04 64 bits LTS. (Cela marche aussi pour Debian 7).

Voici le process d’installation FreeSwitch :

sudo apt-get install -y python-apt python-pycurl libtiff5-dev
sudo git clone https://github.com/mwolff44/freeswitch-mw.git
sudo echo localhost > inventory
sudo ansible-playbook -i inventory freeswitch-mw/test.yml --connection=local

Prenez un grand café, prenez votre temps pendant que vous voyez FreeSwitch se compiler et s’installer.

Vous pouvez personnaliser les modules à installer, pour cela il faut utiliser la variable « freeswitch_modules_template » pour pointer sur votre propre fichier. Je vous laisse découvrir les autres options sur le Readme de github pour le script freeswitch-mw.

PyFreeBilling : démo en ligne

Suite à de nombreuses demandes, j’ai pris le temps d’installer un serveur de démo de PyFreeBilling, le logiciel de routage et de facturation opérateur basé sur FreeSwitch.

Certaines fonctions sont désactivées comme la possibilité d’émettre ou de recevoir des appels.

Pour se connecter, le username est « admin » et le password « pyfreebilling ».

Essayez de garder la démo propre, merci d’avance.

Si vous souhaitez avoir plus d’information sur la solution open source de billing FreeSwitch, le site de PyFreeBilling vous attend.

Django : comment changer le mot de passe d’un utilisateur en ligne de commande

Comment changer le mot de passe d’un utilisateur dans un framework Django en ligne de commande ?

En fait c’est assez simple. Il faut ouvrir un shell python, importer le modèle User, récupérer l’objet correspondant à votre utilisateur, modifier l’attribut « password » et sauver l’objet.

Ne pas oublier d’activer l’environnement virtuel si nécessaire.

Voici le code correspondant à la description (n’oubliez pas de changer l’attribut « username » afin qu’il corresponde à votre utilisateur et le « password » bien sûr)

# Lancement du shell
python manage.py shell

# Le prompt change !!! >>>

# Chargement du modèle User
from django.contrib.auth.models import User

# Récupération de l'objet correspondant à notre utilisateur root
u = User.objects.get(username='root')

# Changement du mot de passe
u.set_password('mon_mot_de_passe_res_complique')

# Sauvegarde
u.save()

# On quitte le shell
exit()

Manipuler les objets Django en CLI via le shell n’est pas bien compliqué, mais terriblement utile et puissant.

django-simple-invoice : installation via pip

Installer django-simple-invoice via pip.

django-simple-invoice est une application pour le célèbre framework python Django permettant de créer et générer des factures, envoyer et télécharger les factures au format pdf et de les envoyer par mail. L’application s’intègre avec n’importe quel modèle (user, company …).

Il n’était pas possible d’installer django-simple-invoice via pip (petite étourderie de ma part – désolé). C’est maintenant possible, je viens d’effectuer la correction.

django-simple-invoice est une application pour le célèbre framework python Django permettant de créer et générer des factures, envoyer et télécharger les factures au format pdf et de les envoyer par mail. L’application s’intègre avec n’importe quel modèle (user, company …).

Hiawatha : le serveur web léger et sécurisé à découvrir

Présentation de Hiawatha, un serveur web léger, performant et sécurisé et de plus simple à configurer.

Table des matières

Introduction

J’étais à la recherche d’un serveur web léger et sécurisé afin de succéder à Cherokee. En effet, ce dernier ne semble plus maintenu. Après de nombreux tests, j’ai retenu Hiawatha.

Description de Hiawatha

Le serveur web Hiawatha a été créé en 2002 par un étudiant Hollandais du nom de Leisink. L’objectif était de pouvoir réutiliser de vieux serveurs comme serveurs web sans négliger la sécurité. Ainsi, est né ce serveur web qui est reconnu pour sa légèreté, sa performance et sa sécurité. Autre point important, le projet a remplace OpenSSL qui se débat au milieu de nombreux problèmes de sécurité par PolarSSL dès janvier 2012.

Hiawatha web server integre nativement de nombreuses fonctionnalités qui ne sont disponibles qu’au sein de modules dans d’autres serveurs (Apache par exemple). Cette intégration permet de gagner en efficacité et en sécurité.

Un autre point important concerne la simplicité de configuration. L’ensemble de la configuration est claire et se fait au sein d’un unique fichier de configuration.

Fonctionnalités

Installation de Hiawatha

L’installation de Hiawatha sur un serveur Debian/Ubuntu est simplifiée par la mise à disposition de paquets Debian Hiawatha par Chris WADGE.

Vous trouverez sur le site la liste des paquets non officiels pour votre distribution préférée.

Mais, il existe aussi un script shell très bien fait permettant une installation simplifiée d’un serveur complet intégrant Hiawatha, MariaDB, php-fpm et même wordpress ! Il suffit de changer la version du paquet Debian selon les releases (lignes 34 et 37) et d’exécuter le script.

Hiawatha script installation serveur web mariadb php-fpm

Présentation de Hiawatha

Je vous laisse découvrir cette présentation faite par le créateur de ce superbe serveur web.

Conclusion

J’ai été séduit par la qualité de ce serveur web. Je suis en train de tester l’integration avec Django et très prochainement, mes serveurs WordPress vont tourner sous Hiawatha (J’écrirais un tuto si vous êtes intéressez).

Par ailleurs, j’ai évité de publier des benchmarks, il y en a un plusieurs disponibles sur le net. Je pense que le mieux est de réaliser des tests avec son application et ainsi obtenir des résultats proches de ses propres besoins.

Enfin, je vous invite à découvrir le script de configuration de iptables, Firetable, développé par le même créateur.

Migration WordPress : vidéo explicative

Retrouver une vidéo expliquant pas à pas la migration d’un site wordpress d’un hébergement à un autre (local ou distant)