Малые сети редко нуждаются в специальном проектировании. В средних сетях на начальных стадиях их развития основные проблемы проектирования сводятся к оптимизации длины соединяющих кабелей, сохранению не более трех уровней в схеме подключения концентраторов и обеспечению безопасности отдельных ПК и серверов. В сентябре 2001 г. схема соединений ЛВС ЦЭМИ (см. рис. 34) представляла собой единое некоммутируемое пространство. Как известно [1], в такой сети каждый пакет, испущенный любым ПК, через концентраторы виден всем остальным ПК этой сети (т.е. анализируется их сетевыми адаптерами). Мониторинг на этой сетевой топологии [2] показал, что при одновременной сетевой активности более 50 ПК резко нарастало число сетевых коллизий и понижалась эффективная пропускная способность сети в целом. К аналогичным последствиям вела и повышенная активность ряда ПК и серверов. Неисправность одной сетевой карты вызывала торможение всей сети. Появление сетевого вируса (напр., атаки сетевыми вирусами Code Red и Nimda [3, 4] в 2001 – 2002 г.г. с поражением ряда ПК и др.) при невозможности оперативно локализовать и отключить пораженный ПК, являющийся источником распространения вируса по ЛВС и Интернету, вызывало длительный его поиск. К этим проблемам добавлялась неэффективность работы сети вследствие произвольности каскадного подключения концентраторов с разными скоростями (10 или 100 Мбит/с).
В то же время, несомненным достоинством указанной схемы являлось то, что включение разработанных в ЦЭМИ РАН средств мониторинга сети [2] в любую точку ЛВС давало аутентичные данные об общей загрузке сети и трафиках конкретных ПК, позволяя ставить и оперативно решать разные [5] задачи отслеживания нужных компонент потоков по нужным сетевым объектам (серверам, сетевым принтерам и отдельным ПК). Запланированная реконструкция сети, вместе с решением задачи улучшения характеристик ее пропускной способности, должна была сохранить возможность полного охвата мониторингом всех сетевых объектов.
Рис. 34. Схема подключения серверов через центральный хаб
Введение в строй коммутатора Cisco Catalyst (см. рис. 35) резко изменило пропускную способность сети, физически разбив ее на фрагменты по числу задействованных рабочих портов. Теперь испущенный любым ПК пакет, попадая на порт коммутатора, к которому он подключен, передается только на порт коммутатора, соответствующий MAC-адресу устройства назначения. Если исходный и принимающий ПК находятся на одном и том же порту коммутатора, ходящие между ними пакеты вообще не пропускаются коммутатором на другие его порты. К примеру, пакеты между антивирусным сервером AVServer и мониторной станцией (МС, рис. 35) достигают только ПК, подключенных к их общему концентратору (хабу), но не других ПК сети. Это и есть то основное свойство коммутаторов, которое дает основание его применения в сетях. Применительно к ЦЭМИ РАН, речь идет о модели Catalyst-2924, однако рассуждения статьи справедливы и для других моделей коммутаторов.
Помимо обеспечения развязывания трафика, коммутатор Catalyst-2924 решает и другие задачи. Важной из них является то, что его FastEthernet-порты независимо обеспечивают скорость 10 или 100 Мбит/сек, так что скорость порта всегда соответствует скорости подключенного к нему концентратора [6], и имевшиеся ранее проблемы каскадирования концентраторов с разными характеристиками с введением в строй коммутатора отступают.
Наконец, наиболее важной в смысле обсуждаемой тематики особенностью введенного в строй коммутатора является его возможность фильтрации пакетов конкретных ПК по их MAC-адресам. Режим Secure, который может быть введен на коммутаторе по каждому порту независимо от прочих, позволяет задать исчерпывающий список MAC-адресов сетевых устройств, пакеты от которых обслуживаются коммутатором и для которых разрешена коннективность к остальной сети. Это означает, что при введении режима Secure любой ПК, MAC-адрес которого не включен в специальные таблицы коммутатора, не сможет получить доступ к серверам ЛВС, серверам КВС и Интернету (за исключением компьютеров, подключенных к общему с ним концентратору). Реализация коммутатором этой важной функции позволила реально взять под жесткий оперативный контроль допуск новых ПК к ЛВС ЦЭМИ. К моменту написания данной статьи среди 10 реально занятых в оперативном режиме портов (из 21 возможного) 7 находятся в режиме Secure. Неохваченными остался ряд ПК, для которых необходимо предварительно реорганизовать существующие соединения.
Управление списками Secure-адресов по портам коммутатора и иными сервисами Catalyst-2924 осуществляется с ограниченного числа ПК, перечень которых определяется с помощью обычного метода ACL – списков управления доступом, входящего в стандартный набор обеспечения безопасности маршрутизаторов и коммутаторов Cisco Systems [7]. Из них 2 ПК задействовано через концентратор «дисп», 1 ПК управляется через вышестоящий Catalyst-2912, а оставшийся – через выделенный номер модемного пула DialUp. Обращаясь снова к рис. 35, легко видеть, что пакеты управлением коммутатора могут поступать либо через концентратор «дисп», либо через интерфейс Cisco2511-Cisco7206-Cisco2912-транковый порт Catalyst-2924. Таким образом, управляющие пакеты не видны большинству пользователей ЛВС, что обеспечивает изоляцию управляющего трафика и повышает безопасность ЛВС.
Проведенные нами эксперименты установили точный смысл режима Secure в IOS 12.0. В этих экспериментах участвовали 2 наблюдающие станции (НС), настроенные на избирательный показ всех пакетов, излучаемых MAC-адресом 00ca.ca00.0000. Одна из станций находилась на мониторном порту, вторая, как и показано на рисунке – на хабе «дисп». Испускание в сегменте второй НС тестовых ARP-пакетов с указанного MAC-адреса, отсутствующего в Secure-таблице этого сегмента, полностью регистрировалось второй НС. Однако, основная НС регистрировала только самый первый из испущенных пакетов и не показывала последующие до истечения Aging Time коммутатора, после которого исполняется сброс динамической таблицы MAC-адресов.
Таким образом, находящийся в Secure-режиме порт коммутатора коммутирует только первый из нарушающих Secure-режим пакетов с образованием состояния Violation, которое сохраняется на порту до истечения Aging Time. Представляется целесообразным соотнести устанавлимое значение Aging Time с периодом формирования отчетов основной наблюдающей станцией (15 минут).
Рис. 35. Современная схема подключения серверов через коммутатор
Оперативное управление списками доступа и режимом портов коммутатора возложено на одного из авторов данной статьи, ответственного за информационную безопасность ПК ЛВС ЦЭМИ РАН. Введение Secure-режима уже дало ряд положительных результатов: все вводимые в строй новые ПК вынуждены предварительно проверяться и настраиваться специалистами Отделения; блокированы попытки подключения к ЛВС ПК с некорректно настроенными сетевыми подключениями; обеспечена возможность оперативного отключения выборочных ПК за несоблюдение правил эксплуатации сети.
Однако, из сказанного ясно, что в результате ввода в строй коммутатора обеспечение полного мониторинга всей сети без применения специальной технологии невозможно: на каждую ветвь ЛВС, подключенную к некоторому рабочему порту коммутатора, передаются пакеты только для ПК этой ветви. К счастью, операционная система коммутатора (IOS 12.0) предусматривает возможность копирования трафика любой ветви на иной порт. Мы решили выделить особый вид порта – мониторный, – на который копировать трафик всех остальных рабочих (но не транковых!) портов. К этому порту подключены исключительно НС. Теперь по каждому наблюдаемому таким образом рабочему порту коммутатора все поступающие на порт пакеты, подвергающиеся мониторингу и не отвергнутые коммутатором, дублируются на мониторный порт. Конфигурация Catalyst-2924 при этом включает строки, указанные на рис. 361. Отметим, что транковые порты не нуждаются в мониторинге: все проходящие через них пакеты мониторируются при прохождении рабочих портов.
В 2004 г. с помощью доработанного программного обеспечения НС было проведено исследование полноты мониторинга, обеспечиваемого Catalyst 2924 с IOS 12.0. В исследованиях посылались тестовые ARP-пакеты, исходящие от фиктивных MAC-адресов, направленные на реальные MAC-адреса сетевых ПК. Исследованиями установлено, что:
- созданная схема мониторинга обеспечивает полноту протоколирования пакетов, циркулирующих по обычным (рабочим) портам;
- не регистрируются пакеты, не проходящие через коммутатор вследствие нарушения Secure-режима (кроме самого первого за время Aging Time);
- пакеты, проходящие между реальными ПК, подключенными к одному и тому же порту, не регистрируются, за исключением бродкастинга (ARP-запрос является бродкастингом и регистрируется всегда, ARP-ответ является направленным и регистрируется лишь в том случае, если пакет коммутируется).
Рис.36. Конфигурирование коммутатора для обеспечения мониторинга
Таким образом, вместе с центральным местом в ЛВС ЦЭМИ РАН, которое отныне занимает коммутатор Cisco Catalyst-2924, определено новое понимание мониторинга ЛВС как учет и разбор пакетов, проходящих через этот коммутатор. Отметим, что для учета и исследования полного трафика серверов ЛВС желательно, чтобы они были подсоединены к отдельному порту коммутатора. Выбранная схема размещения серверов Интернет, к примеру, гарантирует мониторинг всех пакетов между ними и любым ПК ЛВС ЦЭМИ, однако не включает внешний трафик между этими серверами и Интернетом. Аналогично, протоколируется весь трафик между входами DialUp и серверами ЛВС, но не учитывается трафик между DialUp и Интернет.
Менее очевидным ограничением такой схемы реализации мониторинга является возможность использования лишь одного транкового порта между коммутаторами: при подключении второго транка поступающие от Catalyst-2912 пакеты произвольно распределяются по транкам, вследствие чего пакеты Интернет-серверов is1 и ss1 оказываются блуждающими по обоим транковым портам, что вызывает постоянный сброс динамической таблицы MAC-адресов, формируемой коммутатором. Использование второго транкового порта в данном случае возможно лишь в качестве резервного, при разрыве связи по основному транку.
Введение в строй коммутатора Cisco Catalyst-2924 открывает принципиально новую возможность оперативного управления компьютерами ЛВС ЦЭМИ РАН. Как показано в [8], администрирование вручную не удовлетворяет по скорости современным требованиям к реакции на инциденты информационной безопасности. Поэтому в настоящее время в ЦЭМИ РАН разрабатывается метод автоматического отсечения ПК ЛВС ЦЭМИ, нарушающих установленные правила поведения в ЛВС, с использованием информации наблюдающих станций и интерфейса с коммутатором.
В частности, нарушающими правила следует считать ПК, испускающие любые пакеты с какими-либо ip-адресами, кроме явно назначенного. Дело в том, что кроме ПК с явно установленным неверным ip-адресом, источником посторонних ip-адресов могут служить ПК, зараженные сетевыми вирусами и использующие фальсифицированный адрес источника (например, Linux.Sorso [9]; W32.Blaster.D.Worm [12]; W32.HLLW.Kazmor [10] и др.), имеющие возможности организации атак типа DoS и DDoS [7]. Для пресечения указанных нарушений сетевой безопасности также может быть применено автоматическое отсечение от сети. Программное обеспечение этой возможности запланировано реализовать в 2005 г.
В настоящее время, к сожалению, в ЛВС ЦЭМИ присутствуют ПК, грубо нарушающие правило однозначности ip-адреса. На рис. 37 приведен пример только одного ПК, непосредственно администрируемого зав. Лабораторией локальных сетей.
Рис. 37. Сводка нарушений Правил эксплуатации ЛВС одним из ПК ЛВС
Приведенная на рис. 37 информация свидетельствует, что упомянутый ПК (ему назначен адрес 193.232.194.33) излучает сам или пропукает через себя пакеты с явно сфальсифицированными адресами2. Это однозначно свидетельствует о присутствии вирусов либо в данном ПК, либо в сети, маршрутизируемой3 через него.
Наличие сетевого мониторинга позволяет оперативно уточнять причину появления Secure-инцидентов. Как пример можно взять сводку нарушений с начала года за 8 месяцев. Было зарегистрировано 3928 инцидентов (см. табл. 12). Большинство их составляют пакеты: новых ПК в процессе установки; долгое время неиспользованных ПК при настройке режима Secure; ПК, проходящих паспортизацию. В то же время, 223 инцидента (5,68% от всех) составили случаи, которые объяснить не удалось. В целом, мы склонны рассматривать их как неизвестные ПК, самовольно подключенные к ЛВС.
Табл. 12. Сводка инцидентов нарушения Secure-режима за 8 месяцев
В качестве иллюстрации изменения режима в сети при замене центрального хаба коммутатором можно предложить рисунки 38 и 39.
Рис. 38. Трафик в ЛВС за неделю до введения Catalyst-2924
Рис. 39. Трафик в ЛВС через неделю после введения Catalyst-2924
Поскольку масштаб по оси ординат на этих графиках сильно изменен, зрительное восприятие этих диаграмм может быть неадекватным. На самом деле суммарные цифровые данные (см. табл. 13) по второй неделе более, чем вдвое выше. Разумеется, такая картина долго не задержалась: после завершения периода отпусков трафик сильно возрос. Более современные данные даны в других статьях [11] данного сборника.
Табл. 13. Данные о недельном трафике до и после введения Catalyst-2924
Аналогичный характер имеют и данные средних скоростей: смысл внедрения коммутатора именно в «развязывании» трафика, т.е. в устранении общей очереди ожидания сетевых адаптеров и распараллеливании потоков по фрагментам ЛВС, подключенным к разным портам коммутатора.
1 Для обеспечения конфиденциальности конкретные номера портов заменены звездочками
2 К примеру, 64.12.200.89 принадлежит America Online, Inc, Manassas,VA-20109, US; 199.67.204.28 - Salomon Inc., Rutherford, NJ, US; 205.188.2.26 - America Online, Inc, Sterling, VA-20166,US; и т.д.
3 Например, через личный DialUp, сконфигурированный на данном ПК; либо через вторую сетевую карту, подключенную к завирусованной сети.
(X)Работа выполнена при финансовой поддержке РФФИ, проект N 04-07-90260в