Разработка программы и диплом вар. 983066

Нужно написать программу, и после утверждения, диплом.

ScraPy - web crawler для Python. Надо проиндексировать в рунете как можно больше сайтов и классифицировать их по ряду признаков. Признаки для классификации задаются в конфиге перед запуском робота. Веб-интерфейс для запуска - Django с админкой Django Suit.

Процесс следующий: Заходим в админку Django, там заполняем форму запроса - по каким полям (атрибутам сайтов, которые возвращает ScraPy) группировать данные, по каким фильтровать, что выводить (кол-во сайтов, сумму, максимальное/минимальное значение какого-либо поля итд), наподобие GROUP BY в SQL. Также указываем требуемый объем - сколько сайтов или на какую глубину обходить. Нажимаем кнопку "Запуск робота". Если запрос составлен корректно, то робот запускается, показываем процент выполнения. Когда робот своё дело заканчивает, строим отчёт с графиком.

Обязательные требования: О стоимости договоримся!