Для проведения мероприятий по розыску Wi-Fi пользователя по информации по внешним ресурсам, которые он посещал, WNAM использует работу со статистикой NetFlow, собираемой с маршрутизатора/сервера доступа.
Информации о факте подключения абонента к беспроводной сети, собираемой от сервера доступа и хранящейся в БД в коллекции "Сессии" недостаточно для розыска, так как все пользователи одновременно используют один общий публичный адрес, через трансляцию адресов (NAT). Таким образом, если владельцу площадки придет запрос вида "кто в период с ... по ... обращался на сайт vk.com" максимум что можно сделать, это выгрузить данных обо всех сессиях всех абонентов за заданный период.
Некоторые сервера доступа (Mikrotik, Cisco-роутер) способны собирать и отправлять в сторону внешней системы (коллектора) данные обо всех потоках трафика, включая IP-адреса посещенных ресурсов. Собирая такие данные, можно с большой точностью сопоставить профиль пользователя посещенному им ресурсу, таким образом успешно решив задачу розыска пользователя беспроводной сети, точно попадающего под критерии.
Внимание! NetFlow не собирает и не анализирует ссылки (URL) помещенных ресурсов. Более того, повсеместное использование SSL (шифрованного доступа к сайтам) делает принципиально неразрешимой мониторинг посещенных ссылок (если только вы не применяете дорогостоящие DPI системы).
Начиная с версии 1.2 и до версии 1.5.2222 WNAM использовал собственный (встроенный) коллектор NetFlow данных, с хранением этих данных в базе MongoDB и привязкой к сессиям и профилям пользователей в реальном времени. Данный подход мел следующие преимущества:
- нет необходимости устанавливать дополнительное ПО-коллектор трафика NetFlow
- данные хранятся в общей базе данных, и можно использовать те же средства резервирования данных
- собираемые данные тут же привязываются к сессии и профилю пользователя
и одновременно недостатки:
- объём базы данных растёт очень быстро, а удаление данных из БД не уменьшает её размера на диске (свойство работы MongoDB)
- непрерывная привязка данных NetFlow к сессиям создаёт серьезную нагрузку на сервер БД в поиске текущих сессий
Для предотвращения проблем с производительностью начиная с версии 1.5.2222 WNAM применят другой способ работы с данными NetFlow, при котором:
- для сбора данных NetFlow требуется внешний коллектор-утилита nfcapd, хранящая собранные данные в файле на файловой системе сервера
- для анализа данных WNAM при запуске соответствующего отчёта по розыску запускает утилиту nfcap и произвоит анализ принятых результатов по выполненной выборке по данным из файлов
Предлагаемый метод более не требует хранения данных NetFlow в БД в коллекции flows, таким образом рост базы не будет таким быстрым. Также у администратора появляется возможность вручную/автоматизированно удалять устаревшие данных NetFlow прямо с файловой системы, делая освободившееся место немедленно доступным. Резервирование собранных данных также должно выполняться дополнительным средством.
Ниже описан порядок действий, необходимых для включения сбора и обработки NetFlow
Установка пакетов ПО
apt-get nfdump
joe /etc/default/nfdump
nfcapd_start=yes
/var/cache/nfdump
/home/wnam/wnam.properties
nfdump_path = environment.getProperty("nfdump_path", "/usr/bin/nfdump");
nfdump_db = environment.getProperty("nfdump_db", "/var/cache/nfdump");
● nfdump.service - netflow capture daemon
Loaded: loaded (/lib/systemd/system/nfdump.service; enabled; vendor preset: enabled)
Active: inactive (dead) since Fri 2019-08-09 13:51:13 MSK; 3s ago
Process: 15298 ExecStart=/usr/bin/nfcapd -D -l /var/cache/nfdump -P /var/run/nfcapd.pid -p 2055 (code=exited, status=0/SUCCESS)
Main PID: 15298 (code=exited, status=0/SUCCESS)
Tasks: 1 (limit: 4915)
CGroup: /system.slice/nfdump.service
└─15300 /usr/bin/nfcapd -D -l /var/cache/nfdump -P /var/run/nfcapd.pid -p 2055
авг 09 13:51:13 debian64 systemd[1]: Started netflow capture daemon.
авг 09 13:51:13 debian64 nfcapd[15300]: Startup.
авг 09 13:51:13 debian64 nfcapd[15300]: Init IPFIX: Max number of IPFIX tags: 62
root@debian64:~# ls -lat /var/cache/nfdump/ | head -n 20
итого 459024
drwxr-xr-x 2 root root 1523712 авг 9 13:51 .
-rw-r--r-- 1 root root 276 авг 9 13:51 nfcapd.current.15298
-rw-r--r-- 1 root root 9948 авг 9 13:51 nfcapd.201908091347
-rw-r--r-- 1 root root 18740 авг 9 13:47 nfcapd.201908091342
-rw-r--r-- 1 root root 14260 авг 9 13:42 nfcapd.201908091337
-rw-r--r-- 1 root root 18236 авг 9 13:37 nfcapd.201908091332
-rw-r--r-- 1 root root 15492 авг 9 13:32 nfcapd.201908091327