Лекция_4_Разведка_по_открытым_источникам_часть_2

1.

Разведка по открытым источникам
(часть 2)

2.

В предыдущих сериях…
• Базовые понятия
• Активная и пассивная разведка
• Доменные имена
• Whois
• Whois history
• Reverse Whois
• И многое многое другое…

3.

Технический OSINT. Credentials stuffing
Credentials stuffing — это атака, при которой атакующий находит
почты пользователей и ищет пароли от них в базах утечек, а затем
пытается вставить их во все возможные формы входа целевой
системы.
Сама атака уже не относится к пассивной разведке, но сбор
паролей и email-адресов мы рассмотрим
Пароли можно поискать в следующих сервисах:
• https://haveibeenpwned.com/ — самый популярный сервис поиска
утечек email-адресов.
• https://psbdmp.cc/ — сервис, который автоматически находит
строки, похожие на пароли в файлах, размещенных на вебсайте pastebin.com
• Collection #1 — сборник практически всех утечек, которые
попадали в интернет.
• Глазбога.рф.

4.

Технический OSINT. Credentials stuffing

5.

Технический OSINT. Поиск email-адресов
Для проведения атак credential stuffing для социальной
инженерии и других атак, необходимо иметь список emailадресов и/или юзернеймов пользователей. Также по emailадресам можно делать поиск reverse Whois.
Два сервиса, которые собирают email-адреса:
https://hunter.io/search — помимо адресов, показывает еще и
страницы, где он их нашел.
https://snov.io/

6.

Технический OSINT. Поиск email-адресов

7.

Технический OSINT. Поиск email-адресов
Также, существует утилита, позволяющая провалидировать
почтовые адреса https://github.com/reacherhq/check-if-emailexists. Причем она работает без отправки писем на адреса
цели. Можно не хостить ее у себя, а воспользоваться вебверсией от разработчиков, с ограничением на количество
запросов https://reacher.email/.

8.

Технический OSINT. Поиск email-адресов
Linkedin\hh.ru\\career
На сайтах типа linkedin и hh, а также на сайтах компаний, на
эндпоинтах \career или \job, можно найти вакансии, в которых
зачастую присутствует полезная информация.
Существуют специализированные парсеры соцсетей,
например для Linkedin есть минимум 2 парсера:
https://github.com/vysecurity/LinkedInt
https://github.com/joeyism/linkedin_scraper

9.

Технический OSINT. Поиск email-адресов
• Используя эти сервисы, можно получить фамилии и имена
сотрудников с их аватарами. По аватарам можно найти
другие соцсети сотрудников и попробовать найти что-то
полезное, но поиск людей, это тематика для другой статьи.
• Если мы знаем формат почты (например
имя.фамилия@домен или
первая_буква_имени.фамилия@домен), то мы можем из
полученных ранее данных составить список почт
сотрудников.

10.

Технический OSINT. Поиск email-адресов
Что нам это дает?
• Email-адреса
• Стеки технологий и используемое ПО
• Никнеймы сотрудников
• Информация о сотрудниках для соц. инжнерении
• Личные соцсети сотрудников

11.

Технический OSINT. IP и подсети
Справка:
Представь Интернет как огромный город, где каждый компьютер
— это дом с уникальным номером, то есть IP-адресом. Чтобы
проще управлять этим городом, его делят на районы — это и есть
IP-подсети. Они помогают быстро находить нужный дом, когда ты
отправляешь сообщение. То есть, IP-подсети — это способ
группировки IP-адресов для удобной навигации в сети.
IP-адрес
Подсеть
– 192.168.0.1
– 192.168.0.1 – 192.168.0.254 или 192.168.0.0/24

12.

Технический OSINT. IP и подсети
Справка:
Представь Интернет как огромный город, где каждый компьютер
— это дом с уникальным номером, то есть IP-адресом. Чтобы
проще управлять этим городом, его делят на районы — это и есть
IP-подсети. Они помогают быстро находить нужный дом, когда ты
отправляешь сообщение. То есть, IP-подсети — это способ
группировки IP-адресов для удобной навигации в сети.
IP-адрес
Подсеть
– 192.168.0.1
– 192.168.0.1 – 192.168.0.254 или 192.168.0.0/24
/24 – Маска подсети

13.

Технический OSINT. IP и подсети

14.

Технический OSINT. IP и подсети
Reverse DNS lookup
В приложениях часто используется роутинг на основании
имени хоста, поэтому зная только IP-адрес, мы попадем на
страницу ошибки веб-сервера, а с помощью Reverse DNS
lookup можно получить имя хоста и добраться к самому вебприложению.
Обратный резолв DNS-адресов — поиск по PTR записям
DNS. Если администратор добавил такую запись, то по IPадресу можно будет узнать, какие доменные адреса на него
указывают.

15.

Технический OSINT. IP и подсети
Неполный список сервисов, которые могут провести Reverse
DNS lookup:
• https://dnschecker.org/ip-to-hostname.php
• https://check-host.net/check-dns
• https://mxtoolbox.com/ReverseLookup.aspx
• https://dnschecker.org/reverse-dns.php

16.

Технический OSINT. IP и подсети

17.

Технический OSINT. IP и подсети
DNS history - История DNS записей домена.
Существуют сервисы, которые запоминают записи DNS, и
показывают их историю.
Это позволяет расширить область аудита, узнав новые IPадреса, а также получить:
• DNS-серверы.
• Доменные имена.
• Почтовые серверы.

18.

Технический OSINT. IP и подсети
Сервис https://viewdns.info/iphistory, запоминает только A
записи доменов и дату привязки.

19.

Технический OSINT. IP и подсети
Сервис https://securitytrails.com/, помимо А записи, позволяет
искать также по АААА, MX, NS, SOA и TXT записям.

20.

Технический OSINT. IP и подсети
Можно также воспользоваться selfhosted решениями:
https://github.com/MrH0wl/Cloudmare

21.

Технический OSINT. IP и подсети
ASN lookup - (autonomous system number) — номер
автономной системы.
Интернет состоит из локальных сетей, каждая из которых
имеет подсети и свои политики маршрутизации, и которые
соединяются с другими локальными сетями. Одна такая
локальная сеть, это одна автономная система и у нее есть
уникальный номер — ASN.
По номеру AS можно посмотреть IP-адреса и подсети,
которые в ней содержатся. Если это большая компания, типа
Яндекса, или университетов, то можно предположить что вся
AS принадлежит этой компании, и большая ее часть, может
войти в область аудита. Также в выводе можно обнаружить
почтовые адреса и другую информацию о компании.

22.

Технический OSINT. IP и подсети
Неполный список сервисов, которые имеют возможность
поиска по ASN:
https://bgp.he.net/
https://ipinfo.io/
https://viewdns.info/asnlookup/

23.

Технический OSINT. IP и подсети

24.

Технический OSINT. Поисковые системы
Что можно получить из результатов Google?
• Поддомены.
• Диапазоны IP-адресов.
• Информацию об утечках учетных данных.
• Комментарии в исходном коде.
• Веб-страницы для разработчиков (например dev.*).
• Файлы и страницы, содержащие секреты и пароли.
• Карты веб-сайтов.
• Закэшированные страницы.
• Потенциально опасные файлы.
• URL-адреса и пути, которые могут являться точками входа.
• Другие ресурсы, связанные с организацией.

25.

Технический OSINT. Поисковые системы
Как искать?
Для поиска нужно использовать специальные операторы. Например, список
операторов для Google:
• “” – точное совпадение.
• – исключить из поиска.
• Логические операторы: &, ||.
• Site:itmo.ru – поиск в пределах сайта.
• cache:itmo.ru – возвращает кэш сайта.
• filetype:txt – только txt файлы.
• related:itmo.ru – сайты связанные с искомым.
• inurl:test – в URL встречается слово test.
• intitle:test – в Title встречается слово test.
• intext:test – в тексте встречается слово test.
В других поисковых системах список операторов может отличаться.

26.

Технический OSINT. Поисковые системы
• https://www.exploit-db.com/google-hacking-database —
подборка готовых полезных нагрузок для поиска Google.
• https://habr.com/ru/post/437618/ — полный список
операторов поиска Google.
• https://yandex.ru/support/search/query-language/searchoperators.html — документация по поиску в Яндекс.
• https://www.tutorialspoint.com/google_hacking_tests.htm —
однокнопочное решение для поиска: вводите домен,
нажимаете на нужную кнопку и получаете вывод Google.
• http://www.googleguide.com/advanced_operators_reference.ht
ml.

27.

Технический OSINT. Поисковые системы
Поисковые системы для хакеров
Помимо поиска в обычных поисковых системах типа Google
можно искать в специальных "хакерских" поисковых
системах. Примеры таких поисковиков:
• https://www.shodan.io/
• https://censys.io/
• https://www.binaryedge.io/
Эти сервисы постоянно сканируют весь интернет, и
заполняют свои базы ответами серверов.

28.

Технический OSINT. Поисковые системы
Shodan
• Сервис позволяет искать по IP-адресам, портам и
содержимому ответов сервера. Для поиска используется
свой синтаксис https://help.shodan.io/the-basics/search-queryfundamentals.

29.

Технический OSINT. Поисковые системы
Справка
- Порты: Представь, что твой компьютер — это большой дом с
множеством окон. Каждый порт — это как отдельное окно, через
которое проходит определённый вид информации. Например,
одно окно может быть для писем, другое — для газет. В
компьютере порты помогают различать разные виды данных,
которые приходят и уходят.
- Службы: Службы — это как разные отделы в большом офисе.
Каждый отдел занимается своей задачей: один отвечает за почту,
другой — за телефонные звонки и так далее. В компьютере службы
— это программы или процессы, которые выполняют конкретные
функции, например, отправка электронной почты или загрузка вебстраниц.

30.

Технический OSINT. Поисковые системы
Справка
- Запросы: Запрос — это как когда ты звонишь в пиццерию и
заказываешь пиццу. Ты отправляешь информацию о том, что ты
хочешь получить. В Интернете, когда ты открываешь сайт, твой
компьютер отправляет запрос на сервер, чтобы получить нужные
данные.
- Ответы: Ответы — это как когда пиццерия подтверждает твой
заказ и доставляет пиццу. После отправки запроса сервер
обрабатывает его и отправляет ответ с нужной информацией
обратно на твой компьютер. Например, когда ты открываешь сайт,
сервер отправляет данные, чтобы страница отобразилась на твоём
экране.

31.

Технический OSINT. Поисковые системы
Censys
Censys этот тот же самый Shodan, но более новый и с
приятным интерфейсом. Опять же используется свой
синтаксис https://search.censys.io/search/language.

32.

Технический OSINT. Поисковые системы
Метаданные - Каждый раз, когда вы создаете или
редактируете файл, в нем остается множество метаданных.
Когда вы загружаете этот файл в интернет, зачастую
метаданные сохраняются. Так как поисковые системы
индексируют файлы, вы можете найти их, например, в google
используя оператор поиска file.
Существуют уже готовые решения, которые позволяют
ввести домен, выбрать интересующие расширения файлов и
ожидать результатов:
https://github.com/laramies/metagoofil
https://github.com/ElevenPaths/FOCA

33.

Технический OSINT. Поисковые системы

34.

Технический OSINT. Поисковые системы
Что нам это дает?
• Email-адреса
• ФИО сотрудников
• Используемое ПО
• Используемые операционные системы
• IP-адреса
• Поддомены

35.

Технический OSINT. Поисковые системы
Системы контроля версий.
Расскажу на следующей паре

36.

Технический OSINT. Поисковые системы
Subdomain enumeration - в дословном переводе означает
перечисление поддоменов, а смысл у словосочетания
примерно следующий: «использовать все известные методы
для получения как можно большего числа поддоменов».
Для получения списка поддоменов существуют онлайн базы,
а также утилиты, которые требуется запускать локально,
после чего они будут делать запросы в различные онлайн
сервисы и поисковые системы.

37.

Технический OSINT. Поисковые системы
Неполный список сервисов и утилит, которые могут показать
список поддоменов для домена:
Online сервисы:
• https://hackertarget.com/find-dns-host-records/
• https://securitytrails.com/
• https://cloudflare.com
• https://dnsdumpster.com/
• https://www.threatminer.org/
• https://spyse.com/tools/subdomain-finder

38.

Технический OSINT. Поисковые системы

39.

Технический OSINT. Поисковые системы

40.

Технический OSINT. Поисковые системы
Selfhosted:
• https://github.com/aboul3la/Sublist3r
• https://github.com/projectdiscovery/subfinder
• https://github.com/OWASP/Amass
• https://github.com/blechschmidt/massdns
• https://github.com/projectdiscovery/shuffledns

41.

Технический OSINT. Поисковые системы

42.

Технический OSINT. SSL\TLS
сертификаты
Справка
1.SSL/TLS сертификаты: Это как специальные замки для информации,
которую ты отправляешь через Интернет. Они обеспечивают, чтобы
данные оставались конфиденциальными и не были изменены по пути.
Когда ты видишь замочек в адресной строке браузера, это значит, что
сайт использует такой сертификат для защиты данных.
2.Шифрование: Это процесс, который превращает твои данные в
"секретный код". Только тот, у кого есть правильный ключ (в данном
случае, сервер с сертификатом), может расшифровать этот код и
прочитать информацию.
3.Подтверждение подлинности: Сертификаты также помогают
убедиться, что ты общаешься с настоящим сайтом, а не с мошенником.
Это как проверка удостоверения личности, чтобы убедиться, что ты
говоришь с тем, с кем думаешь.

43.

Технический OSINT. SSL\TLS
сертификаты
Получение новых поддоменов из сертификатов
• Для шифрования трафика у веб-приложения должен быть
сертификат, по которому браузер пользователя сможет
определить, что этот сайт надежен.
• Google решил, что протокол https недостаточно надежный, и
создал свой проект по мониторингу и проверке
сертификатов https://transparencyreport.google.com/https/certificat
es
• Этот сервис предназначен не для тестирования на
проникновение или разведки, но так как сертификаты
выпускаются как для доменов, так и для поддоменов, а иногда
один сертификат даже включает в себя множество доменов и
поддоменов, сервис Google может дать нам довольно много
информации.

44.

Технический OSINT. SSL\TLS
сертификаты

45.

Технический OSINT. SSL\TLS
сертификаты
Получение новых поддоменов из сертификатов
Также есть еще как минимум два онлайн сервиса с подобной
функциональностью:
https://spyse.com/tools/ssl-lookup
https://crt.sh/
self-hosted - https://github.com/lanrat/certgraph.

46.

Технический OSINT. SSL\TLS
сертификаты
SSL\TLS scan
Сертификаты также можно провалидировать. Для этого есть
онлайн сервисы, которые за нас отправляют запросы на
серверы нашей цели.
Из вывода этих сервисов мы можем опять же получить
поддомены, которые есть в сертификате, а также эти
сервисы могут найти уязвимости в используемой
криптографии или протоколах.
Еще эти сервисы выводят http-ответы серверов, в которых
может находиться версия сервера или используемого ПО.

47.

Технический OSINT. SSL\TLS
сертификаты
SSL\TLS scan
Неполный список сервисов, которые могут просканировать
сертификаты:
https://www.cyphercraft.io/tls
https://ssltools.digicert.com/checker/views/checkInstallation.jsp
https://decoder.link/sslchecker
https://www.immuniweb.com/ssl/
https://www.ssllabs.com/ssltest

48.

Полезные ссылки: