Mise en œuvre
Pour pouvoir réaliser le site, nous avons décidé d’utiliser le langage Python avec le framework Django, qui permet d’aider au développement de sites internet.
Python semblait être le meilleur choix car nous avons eu à développer un bot permettant de crawler les sites d'offres immobilières afin de pouvoir faire un site qui propose directement les annonces les plus intéressantes.
C'est aussi une occasion pour nous de découvrir un nouveau langage de programmation très utilisé.
Un bot pratiquant le crawling a pour but d’explorer différents autres sites web pour en analyser le contenu et aussi possiblement y récupérer des données. Vu que nous devions récupérer des annonces immobilières provenant de plusieurs sites afin de les indexer sur un seul site (le nôtre), on voit rapidement en quoi un robot crawler est indispensable pour la bonne réalisation de ce projet.
Nous avons décidé d'utiliser Scrapy, qui est un bot en Python permettant de facilement crawler des sites web.
Un problème nous a été remonté par rapport au bot: il devait être autorisé par Google et les sites que nous voulons crawler. En effet Google regarde sur chaque site qu’il a indexé s’il dispose d’un fichier robots.txt. Ce document contient une liste des pages ou fichiers qui peuvent, ou non, accéder au site et à ses informations.
Julien Frisson a donc dû dresser une liste des sites dont il aimerait que les annonces remontent sur notre site afin qu’il puisse les contacter et demander une autorisation pour notre bot de crawler les sites en question. Ce problème n'était donc pas de notre ressort, mais il nous a permis d’apprendre comment un robot est autorisé ou non sur un site qui ne nous appartient pas.
Une fois le bot prêt de notre côté, nous avons pu l'ajouter à notre site que nous avons développé en parallèle.
Pour le site en lui-même, la principale problématique était de pouvoir calculer quelle annonce immobilière est la meilleure selon les besoins de l'utilisateur.
Le calcul a été décrit avec l'aide de Julien et la spécialiste afin qu'il soit le plus complet et efficace pour l’internaute.
Cette partie a été assez compliquée à comprendre de notre part. La législation n'étant pas notre spécialité, c'était quelque chose de nouveau et il y avait beaucoup d'informations à prendre en compte.
Mais une fois le calcul défini et bien compris de notre côté, nous avons pu l'implémenter sur le site, et continuer le développement du site de manière sereine.
Sur le site, je me suis principalement occupé de faire l'affichage des détails d'une offre que nous récupérions.
On peut voir avec les deux captures d’écran ci-dessus que l’on utilise principalement "offer.X" pour afficher des données dans les différentes balises, où X est la donnée que l’on veut afficher. On parcourt aussi toutes les images que nous avons récupérées afin d’avoir un carrousel pour les afficher. Les données proviennent du code ci-dessous, qui récupère l’offre et ajoute les informations à l’objet "offer" que nous utilisons au-dessus. La requête SQL est elle utilisée pour récupérer les images liées à l’offre pour le carrousel.
