Разработка прототипа автоматизированной системы сбора, классификации и реферирования публикаций СМИ из новостных источников

1. Доклад на тему: «Разработка прототипа автоматизированной системы сбора, классификации и реферирования публикаций СМИ из

новостных источников сети Интернет»
Докладчик:
сержант Зюзин С.Д.

2. Разработка прототипа автоматизированной системы сбора, классификации и реферирования публикаций СМИ из новостных источников

сети Интернет
Цель: повышение оперативности и результативности процесса сбора, классификации и реферирования
публикаций СМИ из новостных источников сети Интернет.
Объект: процесс сбора, классификации и реферирования публикаций СМИ из новостных источников сети
Интернет.
Предмет: методы и способы получения новостей из источников сети Интернет и их классификации по темам,
математические методы отбора схожих новостей и алгоритмы автоматического реферирования публикаций
СМИ.
Частные задачи:
1. Выбор и обоснование методов получения новостей из источников сети Интернет и их классификации по темам.
2. Выбор и обоснование математических методов отбора схожих новостей из источников сети Интернет.
3. Разработка алгоритма метода автоматического реферирования публикаций СМИ.
4. Программная реализация разработанного алгоритма.
5. Разработка пользовательского интерфейса.
2

3. Обоснование актуальности

1. Федеральный закон от 27.05.1996 N 57-ФЗ (ред. от 30.04.2021) «О государственной охране»:
ст.15 п.5 «…организация информационно-аналитического обеспечения деятельности Президента Российской
Федерации, Правительства Российской Федерации, иных государственных органов…»
2. Указ Президента РФ от 7 августа 2004 г. N 1013 «Вопросы Федеральной службы охраны Российской Федерации» :
п.48 «осуществляет информационно-аналитическое обеспечение своей деятельности;»
3. Приказ №184 от 21.04.2008 «Об утверждении Положения об управлении информационных систем Службы
специальной связи и информации Федеральной службы охраны Российской Федерации»:
п.7 «…информационно-аналитическое обеспечение государственных органов…»
4. Положение об отделе информационно-аналитического и технологического обеспечения Управления Спецсвязи ФСО
России в федеральном округе:
п.2.1 «Организация информационно-аналитического обеспечения …»
3

4. Функциональная модель процесса формирования информационно-справочного материала, вариант AS-IS

Функциональная модель процесса формирования
USED AT:
AUTHOR:
DATE: 09.02.2022
Wвариант
ORKING
READER
информационно-справочного
материала,
AS-IS
PROJECT: Proba1
REV: 10.05.2022
DRAFT
RECOMMENDED
PUBLICATION
NOTES: 1 2 3 4 5 6 7 8 9 10
Правила
оформления
рефератов
Рекомендации по
составлению
рефератов
Запрос на информационно-справочный
материал
Метод сбора
данных с
новостных
сайтов
Метод отбора
схожих новостей
Метод
классификации
новостей по
тематикам
DATE CONTEXT:
TOP
Рекомендации по формированию
информационно-справочного
материала
Информационно-справочный материал
Формирование информационно-справочного
материала
0
Сотрудник
ПЭВМс доступом в
Интернет
4

5. Диаграмма декомпозиции первого уровня процесса формирования информационно-справочного материала, вариант AS-IS

Диаграмма декомпозиции первого уровня процесса
формирования информационно-справочного материала,
USED AT:
AUTHOR:
DATE: 09.02.2022
WORKING
READER
DATE CONTEXT:
вариант AS-IS
PROJECT: Proba1
REV: 10.05.2022
DRAFT
RECOMMENDED
PUBLICATION
NOTES: 1 2 3 4 5 6 7 8 9 10
Метод сбора данных
с новостных сайтов
Запрос на
информационно-справочный
материал
Метод
классификации
новостей по
тематикам
Поток
новостей
Сбор данных из
достоверных
инсточников
1
Рекомендации по
составлению
рефератов
Метод отбора
схожих
новостей
Поток
классифицированных
новостей
Классификация
новостей по
тематикам
2
A-0
Рекомендации по
формированию
информационно-справочного
материала
Правила
оформления
рефератов
Поток
отобранных
новостей
Отбор
схожих
новостей
3
Информационно-справочный
материал
Поток
рефератов
Обобщение
новостей
4
Формирование
документа
5
Сотрудник
ПЭВМс доступом в
Интернет
5

6. Диаграмма декомпозиции второго уровня подпроцесса сбора данных из достоверных источников, вариант AS-IS

Диаграмма декомпозиции второго уровня подпроцесса
READER
WORKING
DATE: 03.03.2022источников,
AUTHOR: данных из достоверных
USED AT: сбора
REV: 10.05.2022
PROJECT: Proba1
DRAFT
вариант AS-IS
RECOMMENDED
A0
PUBLICATION
NOTES: 1 2 3 4 5 6 7 8 9 10
Запрос на
информационно-справочный
материал
DATE CONTEXT:
Метод сбора данных с новостных сайтов
Выбранные
новостные
сайты
Выбор достоверных
новостных сайтов
1
Новости за
выбранную дату
Поиск новостей за
определеннуюдату
2
Сбор всех новостей
Поток новостей
3
6
ПЭВМс доступом в Интернет
Сотрудник

7. Диаграмма декомпозиции второго уровня подпроцесса отбора схожих новостей, вариант AS-IS

Диаграмма
декомпозиции
второго
уровняWORподпроцесса
USED AT:
AUTHOR:
DATE: 03.03.2022
KING
READER
отбора
схожих
новостей,REвариант
PROJECT:
Proba1
V: 10.05.2022
DRAS-IS
AFT
DATE CONTEXT:
RECOMMENDED
PUBLICATION
NOTES: 1 2 3 4 5 6 7 8 9 10
A0
Метод отбора схожих новостей
Поток
классифицированных
новостей
Новости со
схожим названием
Поиск новостей со
схожими заголовками
1
Поток отобранных
новостей
Отбор релевантных
новостей
3
Поиск новостей со
схожим содержанием
2
Новости со
схожим
содержание
7
Сотрудник
ПЭВМс доступом в Интернет

8. Диаграмма декомпозиции второго уровня подпроцесса обобщения новостей, вариант AS-IS

Диаграмма декомпозиции второго уровня подпроцесса
USEDAT:
AUTHOR: обобщения новостей,
DATE: 02.03.2022 вариант
WORKING
READER
DATE CONTEXT:
AS-IS
PROJECT: Proba1
REV: 10.05.2022
DRAFT
RECOMMENDED
PUBLICATION
NOTES: 1 2 3 4 5 6 7 8 9 10
A0
Правила
оформления
рефератов
Рекомендации по составлениюрефератов
Поток
отобранных
новостей
Осознанный текст
Прочтение текстов
1
Выжимка из
текста
Выделение смысловых
едениц
2
Формирование рефератов
Поток рефератов
3
Сотрудник
ПЭВМс доступом в Интернет
8

9. Функциональная модель процесса формирования информационно-справочного материала, вариант TO-BE

Функциональная
модель процесса
формирования
USED AT:
AUTHOR:
DATE: 09.02.2022
WORKING
READER
PROJECT: Proba1
Rматериала,
EV: 10.05.2022
информационно-справочного
DRAFT вариант TO-BE
RECOMMENDED
PUBLICATION
NOTES: 1 2 3 4 5 6 7 8 9 10
Руководство по
реферированию
Алгоритм
Инструкция по
Алгоритм
формирования базы работыpython вызову лексических
данных
библиотек для единиц
парсинга
Запрос на информационно-справочный
материал
Алгоритм
выполнения
математических
операций
Метод отбора
схожих новостей
Формирование информационно-справочного
материала на основе данных из открытыого
источника сети Интернет
DATE CONTEXT:
TOP
Метод
Рекомендации по
классификации формированию ИСМ
новостей по
тематикам
Информационносправочный материал
0
Сотрудник
Программный модуль
СУБД
ПЭВМс доступом в
9

10. Диаграмма декомпозиции первого уровня процесса формирования информационно-справочного материала, вариант TO-BE

Диаграмма декомпозиции первого уровня процесса
формирования информационно-справочного материала,
USEDAT:
AUTHOR:
DATE: 09.02.2022
WORKING
READER
DATE CONTEXT:
вариант
TO-BE
PROJECT: Proba1
REV: 13.05.2022
DRAFT
RECOMMENDED
PUBLICATION
NOTES: 1 2 3 4 5 6 7 8 9 10
Алгоритм
работыpython
библиотек для
парсинга
Метод
Метод отбора Алгоритмвыполнения
классификации схожих
математических
новостей по
новостей
операций
тематикам
Инструкция по
вызову лексических
единиц
A-0
Руководство
по
реферированию
Алгоритм
формирования базы
данных
Рекомендации по
формированиюИСМ
Поток
новостей
Сбор данных из
достоверных
инсточников
1
Запрос на ИСМ
Формироване
реляционной БД
Классификация
новостей по
тематикам
2
5
Отбор
схожих
новостей
3
Поток
классифицированных
новостей
ПЭВМс доступомв
Интернет
Программный модуль
"СКР-2022"
База данных
Поток
отобранных
новостей
Поток
рефератов
Обобщение
новостей
4
Формирование
документа
ИСМ
6
10
СУБД
Сотрудник

11. Диаграмма декомпозиции второго уровня подпроцесса сбора данных из достоверных источников, вариант TO-BE

Диаграмма декомпозиции второго уровня подпроцесса
USED AT:
AUTHOR:
DATE: 03.03.2022
WORKING
READER
DATE CONTEXT:
сбора
данных из достоверных
источников,
PROJECT: Proba1
REV: 10.05.2022
DRAFT
вариант TO-BE RECOMMENDED
NOTES: 1 2 3 4 5 6 7 8 9 10
PUBLICATION
A0
Алгоритм работыpython
библиотек для парсинга
Запрос на ИСМ
Выбранные
новостные
сайты
Выбор достоверных
новостных сайтов
1
Новости за
выбранную дату
Поиск новостей за
определеннуюдату
2
Сбор всех новостей
Поток новостей
3
Сотрудник
ПЭВМс
доступом в
Интернет
Программный модуль
"СКР-2022"
11

12. Диаграмма декомпозиции второго уровня подпроцесса отбора схожих новостей, вариант TO-BE

Диаграмма
декомпозиции второго
уровня
подпроцесса
USED AT:
AUTHOR:
DATE: 03.03.2022
WORKING
READER
P
ROJECT: Proba1 схожих новостей,
REV: 10.05.2022
отбора
вариант
TO-BE
DRAFT
RECOMMENDED
PUBLICATION
NOTES: 1 2 3 4 5 6 7 8 9 10
1
A0
Алгоритм выполнения
математических операций
Метод отбора схожих новостей
Новости со
Поток
схожим
классифицированных
Поиск новостей со названием
новостей
схожими заголовками
DATE CONTEXT:
Новости со
схожим
содержанием
Поиск новостей со
схожим содержанием
Рассчет
косинусной
меры
3
Значения
косинусной меры
для каждой пары
схожих
новостей
Поток отобранных
Отбор релевантных новостей
новостей
2
4
ПЭВМс доступом в Интернет
АС"СКР-2022"
12
Сотрудник

13. Диаграмма декомпозиции второго уровня подпроцесса обобщения новостей, вариант TO-BE

Диаграмма
декомпозиции
второго
подпроцесса
USEDAT:
AUTHO
R:
DATE: 02.03.2022уровня
WORKING
READER
DATE CONTEXT:
PR
O
JE
C
T:
P
roba1
R
E
V:
1
0.
0
5.
2
022
DRAFT TO-BE
обобщения новостей, вариант
RECOMMENDED
PUBLICATION
NOTES: 1 2 3 4 5 6 7 8 9 10
A0
Инструкция по вызову
лексических единиц
Поток отобранных
новостей
Руководство
по
реферированию
Массив
токенов
Токенизация
текста
1
Декодированные
лексические
единицы
Выделение из памяти
лексических единиц
по токенам
2
Формирование рефератов
Поток рефератов
3
13
АС"СКР-2022"
ПЭВМс доступом в Интернет

14. Структурная схема работы системы сбора, классификации и реферирования публикаций СМИ из новостных источников сети Интернет

Модуль ввода и
редактирование
разделов
СУБД PostgreSQL
REF.txt
Модуль ввода
схожих новостей
Модуль ввода
классифицированных
новостей
База данных
Модуль реферирования
новостей
Модуль ввода
выгруженных новостей
Подсистема реферирования
новостей
Подсистема
управления БД
Модуль извлечения
данных c html-страниц
новостных сайтов
Модуль классификации
новостей по заданным
разделам
ДД-ММ-ГГГГ
(наименование сайта).docx
Модуль поиска новостей
за заданную дату на
новостном сайте
Подсистема сбора данных
с новостных сайтов
Модуль отбора
схожих новостей
Подсистема классификации
выгруженных новостей
html-страница
Модуль загрузки страниц
новостных сайтов за
заданную дату
Новостные сайты
Подсистема загрузки html-кода
новостных сайтов
14

15. Оценка эффективности функционирования программных решений

Оперативность подготовки раздела ИАМ «Регион»
P(t ≤ 30 мин ) ≥ 0,95
где t – среднее время, подготовки раздела ИАМ «Регион».
tтреб – требуемое время выполнения работы программой.
n – номер эксперимента