Introduction
WhatWeb Cloner est un outil qui permet de cloner des sites web à l’aide d’une ligne de commande. Cet outil est très utile pour les pentesters et les développeurs web qui ont besoin de tester des sites web de manière locale ou qui ont besoin de copier un site pour une utilisation hors ligne. Dans cet article, nous allons explorer WhatWeb Cloner et vous apprendre comment l’utiliser ainsi que quelques astuces pratiques pour maximiser son utilisation.
Qu’est-ce que WhatWeb Cloner ?
WhatWeb Cloner est un outil de ligne de commande open source qui permet de cloner des sites web. L’outil utilise la bibliothèque Go colly pour récupérer les données d’un site web, puis utilise la bibliothèque Go Template pour générer une copie du site web en HTML. WhatWeb Cloner peut également être utilisé pour générer des rapports sur les vulnérabilités du site web, les liens cassés, les images manquantes et les erreurs de syntaxe HTML.
Comment installer WhatWeb Cloner ?
WhatWeb Cloner est écrit en Go, vous devez donc avoir Go installé sur votre ordinateur avant de pouvoir utiliser l’outil. Pour installer WhatWeb Cloner, vous pouvez utiliser la commande go get :
go get github.com/EgeBalci/WhatWebCloner
Cela téléchargera le code source de WhatWeb Cloner et installera les bibliothèques Go nécessaires.
Comment utiliser WhatWeb Cloner ?
Pour utiliser WhatWeb Cloner, vous devez exécuter la commande suivante :
whatwebcloner -url= -output=
Par exemple, si vous voulez cloner le site web "https://www.mon-site-web.fr" dans un dossier de sortie appelé "mon-site-web", vous devez exécuter la commande suivante :
whatwebcloner -url=https://www.mon-site-web.fr -output=mon-site-web
La commande clonera le site web et générera une copie en HTML dans le dossier "mon-site-web".
Astuces pratiques
Utiliser les options de ligne de commande
WhatWeb Cloner dispose de plusieurs options de ligne de commande qui peuvent être utiles pour personnaliser la copie d’un site web. Voici quelques-unes des options les plus utiles :
-
-depth=: spécifie la profondeur de la copie. Par défaut, WhatWeb Cloner copiera toutes les pages accessibles à partir de l’URL de départ, mais avec cette option, vous pouvez spécifier la profondeur de la copie. Par exemple, si vous voulez copier uniquement les pages du site web de niveau 1, vous pouvez utiliser-depth=1. -
-max-requests=: spécifie le nombre maximum de requêtes HTTP que WhatWeb Cloner peut effectuer lors de la copie du site web. Cette option est utile pour éviter les blocages de l’adresse IP en raison d’un trop grand nombre de requêtes. -
-timeout=: spécifie la durée maximale de chaque requête HTTP. Si une requête prend plus de temps que la durée spécifiée, WhatWeb Cloner abandonnera la requête. -
-user-agent=: spécifie le User-Agent à utiliser lors des requêtes HTTP. Cette option est utile pour simuler différentes versions de navigateurs ou des robots d’exploration différents.
Modifier les modèles de génération de sortie
WhatWeb Cloner utilise des modèles Go pour générer la sortie HTML. Vous pouvez modifier ces modèles pour personnaliser la sortie HTML. Les modèles se trouvent dans le dossier templates du code source de WhatWeb Cloner.
Voici quelques exemples de modèles que vous pouvez modifier :
-
base.html: ce modèle définit la structure de base de la page HTML générée. Vous pouvez modifier les balises HTML, les styles CSS et les scripts JavaScript pour personnaliser la mise en page et la conception de la copie du site web. -
index.html: ce modèle définit la page d’accueil de la copie du site web. Vous pouvez modifier les balises HTML pour ajouter des informations sur le site web et fournir des liens vers d’autres pages de la copie. -
page.html: ce modèle définit la mise en page de chaque page de la copie. Vous pouvez modifier les balises HTML pour personnaliser la mise en page de chaque page.
Générer des rapports sur les vulnérabilités du site web
WhatWeb Cloner peut être utilisé pour générer des rapports sur les vulnérabilités du site web. Pour générer un rapport de vulnérabilités, vous devez exécuter WhatWeb Cloner avec l’option -report. Cette option génère un fichier de rapport appelé report.html dans le dossier de sortie.
Le rapport de vulnérabilités répertorie les vulnérabilités du site web, telles que les failles XSS, les injections SQL et les vulnérabilités de sécurité du serveur. Les vulnérabilités sont classées par catégorie et sont accompagnées d’une description et d’une recommandation de correction.
Vérifier les liens cassés
WhatWeb Cloner peut être utilisé pour vérifier les liens cassés sur un site web. Pour vérifier les liens cassés, vous devez exécuter WhatWeb Cloner avec l’option -check-links. Cette option vérifie tous les liens sur le site web et signale tous les liens cassés dans le fichier de journal.
Le fichier de journal est généré dans le dossier de sortie et s’appelle log.txt. Les liens cassés sont accompagnés d’un message d’erreur qui indique la cause du lien cassé.
Vérifier les images manquantes
WhatWeb Cloner peut également être utilisé pour vérifier les images manquantes sur un site web. Pour vérifier les images manquantes, vous devez exécuter WhatWeb Cloner avec l’option -check-images. Cette option vérifie toutes les images sur le site web et signale toutes les images manquantes dans le fichier de journal.
Le fichier de journal est généré dans le dossier de sortie et s’appelle log.txt. Les images manquantes sont accompagnées d’un message d’erreur qui indique la cause de l’image manquante.
Vérifier les erreurs de syntaxe HTML
WhatWeb Cloner peut être utilisé pour vérifier les erreurs de syntaxe HTML sur un site web. Pour vérifier les erreurs de syntaxe HTML, vous devez exécuter WhatWeb Cloner avec l’option -check-syntax. Cette option vérifie la syntaxe HTML de toutes les pages du site web et signale toutes les erreurs de syntaxe dans le fichier de journal.
Le fichier de journal est généré dans le dossier de sortie et s’appelle log.txt. Les erreurs de syntaxe HTML sont accompagnées d’un message d’erreur qui indique la cause de l’erreur.
Conclusion
WhatWeb Cloner est un outil utile pour les pentesters et les développeurs web qui ont besoin de copier des sites web pour une utilisation hors ligne ou pour une analyse de sécurité. Dans cet article, nous avons exploré les bases de l’utilisation de WhatWeb Cloner, ainsi que quelques astuces pratiques pour maximiser son utilisation. Avec WhatWeb Cloner, vous pouvez cloner des sites web, générer des rapports de vulnérabilités, vérifier les liens cassés, les images manquantes et les erreurs de syntaxe HTML. Utilisez ces astuces pratiques pour tirer le meilleur parti de WhatWeb Cloner.
Note : Cet article n'est pas mis à jour régulièrement et peut contenir des informations obsolètes ainsi que des erreurs.