Скраппер для rusprofile (https://www.rusprofile.ru/)

Парсит компании по кодам ОКВЭД и добавляет в БД MySQL.

В проекте присутствует возможность использования ротируемого списка прокси.

Таблица в БД не создаётся автоматически, скрипт для создания таблицы находится в table.sql.

settings.py

Настройки проекта (количество одновременных запросов, подключение к базе, проксирование и т.д.) находятся в файле settings.py.

Python3, Scrapy, MySQL

python3 scrapper.py 89220 429110

Name		Name	Last commit message	Last commit date
Latest commit History 9 Commits
.gitignore		.gitignore
README.md		README.md
requirements.txt		requirements.txt
rusprofile_spider.py		rusprofile_spider.py
scrapper.py		scrapper.py
settings.py		settings.py
table.sql		table.sql