Выгрузка и качество данных stat.gibdd.ru

[ustnv]

Нынешний парсер не очень функциональный и долгий. Хочется сделать новый. Помимо старого функционала парсер должен:

• делать параллельные запросы, чтобы ускорить парсинг
• вести лог парсинга, так как stat.gibdd.ru часто зависает, то надо понимать, что скачалось, а что нет, чтобы повторно запускаться по конкретным запросам

Скорее всего, лучше это реализовать на scrapy.

И еще дополнительно:

• записывать в базу, если информация о ДТП изменилась (например, в течение времени после ДТП в больнице умер пострадавший или были откорректированы координаты)

[bender-spb]

FYI
Данные по ДТП (2015-2018) выложены как json и csv: https://безопасныедороги.рф/opendata
К сожалению, информация по каждому ДТП не настолько полная как отдает stat.gibdd:

{
"reg_code": "38",
"reg_name": "Курская область",
"road_code": "",
"road_name": "КУРСК-ПОНЫРИ",
"road_type": "Региональная или межмуниципальная дорога общего пользования",
"oktmo": "38620000",
"address": "ЦФО, Курская область, Курский район",
"crash_type_name": "Опрокидывание",
"crash_date": "20180101",
"crash_time": "19:20",
"crash_reason": "Другие нарушения ПДД водителями",
"fatalities_amount": "1",
"victims_amount": "0",
"vehicles_amount": "1",
"participants_amount": "12",
"latitude": "51.8679",
"longitude": "36.2959"
},

[bender-spb]

Чуть более детальный анализ выложенных открытых данных показал что там очень много других проблем (не сходятся со статистикой от ГИБДД, есть дубликаты, перепутаны погибшие и пострадавшие, файлы за один год содержит так же записи за другие годы). Видимо этот вариант можно отложить до повышения качества этих открытых данных.

[c13]

Видимо этот вариант можно отложить до повышения качества этих открытых данных.

Такой подход не работает с открытыми данными в РФ.
Нужно улучшать парсер, чтобы он писал о проблемах с открытыми данными. Потом логи парсера посылать в ГУБДД и требовать исправления данных.