С весны 2002 г. пользователи ЛВС ЦЭМИ РАН начали испытывать регулярные затруднения в работе с сетевыми сервисами. Особенно заметным было замедление работы в Интернете, участились жалобы на самопроизвольные обрывы связей с внешними серверами.
Анализ существующих информационных потоков в ЛВС ЦЭМИ РАН, проведенный с помощью разработанной в ЦЭМИ системы независимого аудита корпоративной сети [1] показал явные неравномерности в средней скорости передачи информации в сети (рис. 40) в основном за счет внутрисетевых пересылок информации. Одновременно стало заметным число сетевых коллизий, причем они явно совпадали с пиками трафика.
Рис. 40. Пример выраженных пиков внутрисетевых (пунктирная линия) пересылок
Так, для примера рис. 40 левая часть сдвоенного пика соответствует интервалу 13¸14 часов, в течение которого из Интернета получено 84,6 Мб, а от ряда ПК внутри сети - значительно больше: (отдельные ПК бухгалтерии дали свыше 30 Мб, а бухгалтерский сервер 421,5 Мб). Второй пик в этот же день в 19 часов образован излучением: Интернет 54 Мб, бухгалтерский сервер 55,4 Мб, сотрудник бухгалтерии 82,4 Мб. Однако, оставалась неясной направленность этих пересылок, поскольку структура отчетов существующего на тот момент аудита давала суммарную информацию по объемам, испускаемым различными ПК, но отсутствовала информация об адресатах передачи. Существующая к этому моменту технология аудита зафиксировала также совпадение резкого увеличения числа сетевых коллизий с моментами достижения предельно высоких скоростей в ЛВС. Так, для приведенного выше примера число коллизионных пакетов увеличивалось в 50 раз (с 28 до 1012 за 15 минут).
В связи с этим, в версии 4.14 наблюдающей программы были существенно расширены функции аудита, в которые впервые была добавлена возможность полного слежения за трафиком ряда конкретных ПК, включая регистрацию внутрисетевых получателей с фиксацией составляющих трафика по ним.
Надо сказать, что отслеживание трафика N компьютеров плюс Интернета занимает 4*4*(N+1) байт оперативной памяти, в то время как полный веер - 4*4*(N+1)*N, что при N=230 с учетом уже задействованных объемов выводило наблюдающую программу за ресурсные рамки MS-DOS. Поэтому было принято решение отслеживать не более чем M компьютеров одновременно плюс Интернет. Оказалось возможным [2] обеспечить максимум M=10. В число этих 10 выделенных ПК вошли, в первую очередь, те, которые показали наиболее высокий излучаемый трафик.
Регулярное наблюдение трафика отдельных ПК после первых же недель наблюдений выявило причину сетевых отказов. В большинстве случаев этой причиной явились внутрисетевые пересылки, в первую очередь на сервер и с сервера бухгалтерии. Необычно высокий трафик периодически отмечен также на серверах других лабораторий.
Консультации с сотрудниками административно-финансовой группы и изучение их работы выявило, что в соответствии с методикой своей работы как сотрудники непосредственно бухгалтерии, так и группы ее математического обслуживания и сопровождения исполняют постоянные пересылки обрабатываемого ими фрагмента БД для фиксации состояния (объем всей БД порядка 1 Гб) несколько раз в течение рабочего дня. Безусловно, подлинной причиной подобного является, как уже не раз отмечалось, системная и проектная отсталость всей концепции разработки обеспечивающей бухгалтерской системы. Вместо современных SQL-транзакций основой доступа к бухгалтерской БД еще из MS-DOS с механическим перенесением в Windows является файловый метод. Поэтому для обеспечения синхронности в обработке сотрудники после работы с БД попросту копируют фрагмент БД, относящийся к их конкретной задаче (а главбух - БД полностью!) на сервер: и таких пересылок особенно много под конец рабочего дня сотрудников бухгалтерии, что, как неоднократно отмечалось [3], совпадает по времени с пиком использования Интернета научными сотрудниками ЦЭМИ. Вероятно, не лишне в этом месте еще раз напомнить, что ЛВС устроена так, что каждый испускаемый пакет виден всеми ПК сети, и в один и тот же момент времени может быть передан только один пакет одним из всего множества ПК. Поэтому высокий трафик внутрисетевых пересылок по технологии Microsoft Network "забивал" остальные дейтаграммы TCP/IP, исчерпывая время их жизни и разрывая соединения с Интернетом.
Этим объясняется отмеченное многими сотрудниками ЦЭМИ неоправданно выросшее число отказов сетевых служб (в первую очередь, почты и DNS) и число сетевых коллизий. К концу 2002 г. стало очевидным, что в ЛВС ЦЭМИ начали проявляться факторы, блокирующие работу части сетевых служб на время, сравнимое со временем жизни пакетов TCP/IP и "сбивающие" таким образом работу TCP/IP.
На рис. 41 приведены фрагменты одного из отчетов сетевого мониторинга (оставлены главным образом те строки, данные по которым резко выделяются среди прочих). Начальные секции отчета показывают пересылку 99'118'273 байт за 15 минут. Всего же, судя по всем отчетам (здесь не приведены), в сети за этот час передано около 500Мб. По секциям строк #60-#62, дающим в приведенном отчете сводные показатели за весь час, легко видеть, что основной трафик был между административно-бухгалтерским сервером и ПК Железновой: 134,7 Мб было им получено и 191Мб - закачано обратно на сервер.
В этих условиях естественной рекомендацией было принятие неотложных мер по обособлению административно-финансовой группы в выделенный сегмент ЛВС, что и было предложено впервые администраторами Узла.
Следует отметить, что топологическое решение проблемы было очевидным. На протяжении ряда лет в ЦЭМИ РАН в рамках действующей ЛВС успешно работают два выделенных сегмента, в которых их группы ПК образовывали собственные сегменты за роутерами, функционирующими на основе Windows NT 4.0 и Windows 2000 Server.
Рис. 41. Основные строки отчета аудита на 18:00 30.05.2002.
Роутеры этих сегментов исполняют также функции внутренних серверов сегментов с рядом различных сетевых служб. Так, в одном из указанных случаев дополнительной функцией роутера была поддержка службы DialUp. В обоих случаях роутер используется также как файлсервер, поддерживая используемые сотрудниками лабораторий общие файловые области.
Однако, при создании сегмента административно-финансовой группы наблюдался ряд существенных отличий в условиях функционирования по сравнению с указанными сегментами. Во-первых, в выделенных ранее в самостоятельные сегменты лабораториях рабочие места непосредственно соседствовали друг с другом, занимая 1-2 смежные комнаты, и максимальное число рабочих мест в любом из сегментов не превышало 5. К ПК административно-финансовой группы, пользующимся одним и тем же сервером, следовало отнести различные рабочие места бухгалтерии и плановиков, отдела кадров, а также рабочие места сотрудников сопровождения бухгалтерской системы, в своем конечном виде 18 рабочих мест, распределенных по 10 помещениям на 3-х разных этажах здания. Группировка ПК в близлежащие помещения под формируемый сегмент представляла собой самостоятельную непростую огранизационную задачу, с решения которой собственно и началась практическая реализация ранее теоретически проработанного и согласованного проекта.
Вторым отличием от ранее существовавших сегментов ЛВС являлась необходимость обеспечить сотрудникам в их работе усиленные нормы информационной безопасности, в частности, авторизованный доступ к общеинститутским антивирусным средствам. Ранее устоявшейся практикой обновлений, в соответствии с рекомендациями авторов используемой антивирусной программы, было обращение к антивирусной области файлсервера как к сетевому ресурсу с использованием протоколов сетевой службы Microsoft Network[4]. Как известно, эта технология не обеспечивает в изолированных рабочих группах за роутерами авторизованную связь с внешними серверами. Вдобавок пользователи ЦЭМИ РАН, являясь весьма недисциплинированными в целом [3-8], постоянно забывали исполнять обновление антивирусных средств. Включение заданий на обновление в автоматически стартуемые задачи при включении ПК, как выяснилось, также не решает проблему, поскольку ряд пользователей не выполняет идентификационную процедуру (попросту нажимают клавишу <Esc> вместо ввода пароля) и таким образом блокирует работу приложений в Microsoft Network. Следовало найти и обеспечить необходимую технологию авторизованного доступа к антивирусному серверу изнутри выделенного сегмента, гарантирующую автоматическое обновление антивирусных средств.
Далее, в процессе изучения использования информационных сервисов ЦЭМИ РАН, результаты которого отражены в [9], были зарегистрированы попытки доступа из Интернета к административному серверу, никаких сервисов для Интернета не предоставляющему. В частности, за неделю 06-13.03.2002 к ip-адресу административного сервера зарегистрировано 1217 пресеченных попыток обращения. Неоднократно административный сервер заражался сетевыми вирусами. Следовало обеспечить его информационную безопасность.
Следующим отличием формируемого административно-финансового сегмента сети от предыдущих, полностью основанных на использовании протоколов TCP/IP, являлось использование протокола IPX между бухгалтерскими ПК и административным сервером.
Последним отличием административно-финансового сегмента сети от ранее имевшихся сегментов было желание не допустить в ЛВС побочные технологические ip-адреса, испускаемые во внешнюю сеть роутером. По заявлениям ряда системных администраторов, эта проблема "чистоты" ЛВС представляется неразрешимой (до настоящего времени ряд серверов на основе Windows 2000 испускает побочный технологический адрес). Нам, однако, представлялось, что решение все же возможно, но лежит вне Windows-технологии и связано с разделением функций роутера и файлсервера между двумя различными ПК, а главное - с использованием на ПК-роутере операционных систем клонов UNIX (Linux, FreeBSD, SCO UNIX и т.д.). Последующая реализация, описываемая далее, подтвердила нашу правоту.
Рис. 42. Прежняя схема подключения административно-финансовой группы
В связи с организационными трудностями, загруженностью другими работами и иными причинами выработка окончательного проектного решения была сильно задержана. За это время был получен ряд ценных дополнительных данных о внутрисетевом трафике. Изменилась и общая структура ЛВС: вместо центрального хаба был установлен коммутатор Cisco Catalyst-2924 [10]. Была проведена полная реорганизация работы административного сервера с исключением использования протокола IPX в бухгалтерских приложениях.
Авторами данной статьи было выработано проектное решение по формированию выделенного сегмента ЛВС в составе роутера, 15 рабочих станций и нового административного сервера. К концу 2003 г. это решение было реализовано (число РС увеличено до 18). Прежняя и новая схемы соответствующих групп ПК изображены на рис. 42 и 43 соответственно.
Роутер выделенного сегмента сети функционирует на маломощном ПК Pentium-MMX-200 с объемом оперативной памяти 64Мб. Для связи с внутренним хабом сегмента и внешней частью ЛВС используются два сетевых PCI-адаптера со стандартной для ЛВС ЦЭМИ возможностью работы со скоростями 10 и 100 Мбит/сек. Операционной средой роутера является FreeBSD 5.1pl11, функционирующая в текстовой моде (для повышения эффективности графический интерфейс не устанавливался). Стоит сказать, что использование FreeBSD повышает быстродействие в отличие от Linux, в которой ядро хранит только таблицы. В качестве обеспечения режима маршрутизации и предотвращения сетевых атак на сегмент на роутере использован FireWall FreeBSD. В качестве NAT (трансляция сетевых адресов) [11] используется natcd на пользовательском уровне. Внутренние адреса выделенного сегмента определены как 192.168.2.x. Прямой доступ к ПК сегмента сети извне невозможен, равно как и опознавание источника исходящих пакетов: после выхода за роутер все пакеты несут MAC-адрес внешней сетевой карты роутера и его ip-адрес 193.232.194.4. С точки зрения адресного пространства ЛВС, весь выделенный сегмент сети представлен одним ip-адресом роутера. Внутренний трафик сегмента извне незаметен. Однако, по инициативе любого ПК сегмента возможно выборочное общение с общеинститутскими сетевыми службами и Интернетом по протоколам, разрешенным при трансляции адресов, видимое извне как активность роутера сегмента.
Рис. 43. Итоговая схема выделенного адм.-финансового сегмента ЛВС
В качестве обеспечивающих средств административного сервера имен Windows (WINS) в сегменте задействовано приложение Samba версии 2.8, предназначенное для объединения файловых систем UNIX и Windows [12], использованное с целью резкого сокращения широковещательных пакетов (broadcasting). Для внешнего администрирования роутера используется SSH-сервер (Secure Shell), для чего требуется транспарентность пакетов по порту 22 между Интернетом и роутером сегмента. Доступ к БД административно-финансовых данных обеспечивается выделенным административным сервером, реализованным на Windows NT 4 (ServicePack 6).
Для включения ветви с выделенным сегментом в ЛВС института на коммутаторе Cisco Catalyst-2924 был выделен специальный порт, питающий исключительно роутер выделенного сегмента. На этом порту был обеспечен Secure-режим, допускающий использование единственного сетевого устройства через этот порт - роутера сегмента сети. В целях обеспечения внешнего администрирования роутера сегмента через Cisco-7206 был разрешен пропуск пакетов TCP/IP по порту 22.
Последние три из названных пунктов подробно освещены отдельно в данном сборнике [13].
При поступлении с некоторого ПК выделенного сегмента от утилиты обновления через http запроса на обновление антивирусных средств, антивирусный сервер, определив по ip-адресу необходимость затребования логина и пароля, запрашивает их и, проверив, осуществляет требуемое обновление. Одновременно в логе работы Apache появляется запись с привязкой ко времени о парольном обращении соответствующего пользователя. Учетная программа, анализируя лог и видя логин указанного типа, соотносит его с внутренней БД пользователей выделенного сегмента и корректирует учетную информацию. Для всех ПК выделенного сегмента автоматический запрос на обновление антивирусных средств, согласно ранее разработанной методике [4], стоит в папке "Автозагрузка" и исполняется автоматически при включении ПК. Таким образом фиксируется последнее время включения каждого ПК выделенного сегмента сети, несмотря на то, что он находится за роутером.
На рис. 44 показано состояние четвертой таблицы раздела "Статистика" антивирусного сервера. Эта информация, доступная через обычный браузер как часть антивирусного сайта [14], дает возможность оперативно отслеживать работоспособность компьютеров выделенного сегмента или потерю связи с антивирусным сервером и таким образом осуществлять дистанционный контроль для принятия при необходимости оперативных мер.
Рис.44. Статистика доступа из выделенного сегмента сети к антивирусному серверу
Уже в первые дни после начала работы выделенного сегмента сети, по данным мониторинга наблюдающих станций, сбалансировался процент внутрисетевых пересылок (см. рис. 45), снизились пиковые значения максимальной скорости в сети и число коллизий уменьшилось до допустимой нормы. При этом для сотрудников выделенного фрагмента сохранены все основные преимущества: электронная почта, Интернет (замедления связи не отмечалось), антивирусная поддержка.
Рис. 45. Пример сбалансированных внутрисетевых пересылок
Таким образом, вычлененная на основе анализа информационных потоков группа ПК с учетом организационной структуры, действующих комплексов задач и общности данных синтезирована в самостоятельно функционирующий сегмент локальной сети института. Построенный описанным образом выделенный сегмент ЛВС снабжается необходимыми общесетевыми услугами (почтой и антивирусной поддержкой) и отвечает требованиям функционирования в общей среде локальной сети института.
Реализованный проект решил задачу построения типового выделенного сегмента ЛВС и может быть рекомендован для масштабирования в рамках ЛВС института. В ходе работы над проектом получены конкретные данные, рекомендующие реализовать аналогичный проект нескольким подразделениям института.
(X)Работа выполнена при финансовой поддержке РФФИ, проект N 04-07-90260в