D4Vinci/Scrapling
- ScraplingはPythonで構築されたウェブスクレイピングフレームワークで、静かなブラウザや並列クロールを統合したライブラリ
- FetchersとSpidersのAPI、Cloudflare対策、Proxy Rotation、MCPサーバーによるAIエージェント連携
- HTTPリクエストとブラウザ自動化の両方に対応し、セッション管理とプロキシローテーションが標準で含まれる
GitHub - D4Vinci/Scrapling: 🕷️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev


