Web Scraping

Scrapy — extraction de données web à grande échelle.

📄️Scrapy

Scrapy (2008) est un framework complet d'extraction de données web — à différencier d'une simple combinaison requests + BeautifulSoup : Scrapy fournit une architecture asynchrone entière (crawl de milliers de pages en parallèle), la gestion des files d'attente de requêtes, le respect automatique de robots.txt, l'export structuré, et un système de plugins (middlewares).