447.87K

Презентация проекта

1.

РТУ МИРЭА
Монитор обновлений
открытых данных ФНС
ПРОЕКТ ДЛЯ
Росстата
Автоматическое получение файлов
для рабочих баз Росстата
Фургал Илья Константинович
Шенцев Владимир Сергеевич
Григорьев Дмитрий Владимирович
Шморгунов Дмитрий Сергеевич
Лытаев Кирилл Андреевич
Постановщик
задания
[ФИО]

2.

Почему возникла задача
Открытые данные ФНС нужно регулярно получать для обновления рабочих баз.
8 страниц
Разные даты
≈ 2,2 ГБ
с наборами
открытых данных
в названиях
файлов
один выпуск
реестра МСП
Разные графики публикации
приходится проверять
вручную.
Нужно выбрать свежий выпуск
и файл его структуры.
При обрыве связи
важна докачка файла.
Ручной контроль создаёт риск пропустить обновление.
02 / 09

3.

Что требовалось разработать
Приложение для Windows: обнаруживать
изменения на страницах ФНС и скачивать файлы.
01
Контроль изменений
Имя, размер и дата обновления
02
Скачивание файлов
Данные и описание структуры
03
Настройки пользователя
Страницы, шаблоны имён и расписание
04
Журнал проверок
Свежие записи в начале файла
03 / 09

4.

Место проекта в работе Росстата
Наше решение выполняет этап получения внешних данных.
Открытые
данные ФНС
Монитор
обновлений
Специалист
Росстата
Рабочие
базы
Публикация
наборов данных
Поиск новых файлов,
загрузка и журнал
Проверка файлов
и обновление баз
Аналитика и
статистическая
работа
Файлы поступают специалисту автоматически.
Загрузку в рабочие базы выполняет сотрудник.
04 / 09

5.

Приложение в работе
Главное окно на тестовом стенде: источники, расписание и результаты проверок.
Источники
Все 8 наборов
в одной таблице
Управление
Проверка вручную
или по расписанию
Протокол
Что найдено
и что скачано
05 / 09

6.

Настройка источника и расписания
Параметры задаёт пользователь в окне программы.
1. Источник
Ссылка на страницу
и шаблоны файлов
2. Расписание
Периодичность,
дата и время
3. Проверка
Поиск файлов по шаблонам
до сохранения настроек
06 / 09

7.

Какие сценарии проверены
Проверки ядра и тестовый стенд с копиями страниц ФНС
Первая загрузка
7
Скачивание данных и структуры
автотестов
ядра
Обновление файла
Повторная проверка
Без лишней загрузки неизменённых файлов
Новое имя, изменение размера или даты
Обрыв соединения
Докачка после прерывания загрузки
07 / 09

8.

Что получает специалист Росстата
Свежие файлы ФНС
без ручной проверки страниц
ВРУЧНУЮ
С ПРИЛОЖЕНИЕМ
Просмотр страниц ФНС
Проверка по расписанию
Поиск и скачивание выпусков
Загрузка данных и структуры
Ручной учёт загрузок
Протокол каждой проверки
Комплект проекта
EXE-приложение · исходный код · инструкция
08 / 09

9.

Итоги проекта
Монитор автоматизирует получение
обновлений ФНС для Росстата
Реализовано
Контроль обновлений, загрузка данных и структуры,
настройка источников и расписания, журнал.
Польза для Росстата
Меньше ручной работы при подготовке файлов
для обновления рабочих баз.
Готовое решение
Приложение для Windows, исходный код
и инструкция пользователя.
Спасибо за внимание!
09 / 09
English     Русский Правила