Вместе с другим членом ассоциации владельцев мне было поручено спроектировать и установить общий высокоскоростной доступ в Интернет для нашего многоквартирного дома. У нас очень небольшой бюджет, и мы надеемся, что сможем это сделать, имея под рукой оборудование (то есть не самое современное).
У меня более чем десятилетний опыт работы системным администратором, но я уделяю особое внимание серверной стороне вещей. Хотя я не новичок в (большей части) условий и хотя бы с некоторым практическим опытом создания небольших сетей, проектирование такой установки определенно выходит за рамки моей основной компетенции.
У меня есть идея, как этого добиться, но я, вероятно, не все принял во внимание, и второе мнение и проверка здравомыслия, безусловно, приветствуются.
Хотя этот вопрос основан на моей конкретной задаче, я думаю, что ответы составят в целом разумный подход к настройке справедливого совместного, сегментированного, многопользовательского доступа в Интернет при ограниченном бюджете. Надеюсь, это приемлемо для этого сайта.
Как это лучше всего сделать?
Объем
Окружающая среда
- 54 квартиры с существующей кабельной разводкой CAT5e
- Квартиры разделены примерно 50/50 на две коммутационные комнаты с одним кабелем CAT5e между ними (может быть добавлен еще один позже)
- Подключение к Интернету по оптоволокну, изначально ограниченное 300 Мбит / с, будет завершено в одной коммутационной комнате.
- Нет административного доступа к интернет-роутеру
Аппаратное обеспечение
Возраст всего оборудования не менее 5 лет. Некоторые из них были куплены нами некоторое время назад, некоторые были переданы нам, потому что они были слишком старыми для производственного использования этой компанией (дорогое обслуживание, производительность и все такое).
- HP Proliant DL380 G6, два процессора Xeon, 32 ГБ ОЗУ, 4 гигабитные сетевые карты
- 2 управляемых гигабитных коммутатора Dell PowerConnect 5324
- 2 управляемых коммутатора HP ProCurve 2524 100 Мбит
- pfSense в качестве шлюза / брандмауэра предпочтительнее из-за имеющихся знаний и опыта
- Запуск виртуального брандмауэра на VMWare ESXi предпочтителен из-за управляемости (снимки, резервные копии полного образа, абстракция оборудования) и возможности запустить небольшой веб-сервер без необходимости в дополнительном комплекте
Требования и цели
- Мы должны коллективно использовать пропускную способность интернета, за которую платим.
- Мы хотели бы иметь возможность поддерживать более высокую пропускную способность в будущем
- Будучи коммутаторами на 100 Мбит / с, мы должны иметь возможность соединить / объединить как минимум два восходящих канала от HP к коммутаторам Dell.
- Между квартирами не должно быть доступа
- IP-адреса должны быть выданы квартирам по DHCP
- Мы также запустим веб-сервер и почтовый сервер, которые должны быть доступны как изнутри, так и снаружи.
- Что-то очевидное отсутствует?
Черновая идея дизайна
Физическая сеть
- Установите гигабитный коммутатор Dell в каждой коммутационной комнате.
- Подключите два коммутатора Dell с помощью одного кабеля, проложенного между коммутационными комнатами.
- Подключите коммутатор HP 100 Мбит с помощью двух восходящих каналов, используя агрегацию каналов к каждому из коммутаторов Dell.
- Подключите все серверные сетевые карты к гигабитным портам, зарезервируйте несколько дополнительных гигабитных портов для использования в будущем.
- Подключите как можно больше квартир к имеющимся гигабитным портам, остальные к портам 100 Мбит
Настройка LAN
- Создайте VLAN для каждой квартиры
- Назначьте отдельные VLAN без тегов для каждого порта квартирного коммутатора
- Назначьте необходимые VLAN, помеченные на (агрегированных) портах восходящей связи.
- Назначьте все квартирные VLAN, помеченные на восходящем канале, к сетевой карте сервера для "Квартирной LAN"
- Назначьте VLAN по умолчанию (ID 0) без тегов на восходящем канале для сетевой карты сервера для «административной локальной сети».
Сервер
- Выделите одну сетевую карту физического сервера для «локальной сети квартиры», одну для «административной локальной сети», одну для «глобальной сети» и одну для «демилитаризованной зоны».
- Установите VMWare ESXi, создайте виртуальные сетевые карты для каждой квартиры (используя их идентификаторы VLAN), связанные с физической сетевой картой «локальной сети квартиры».
- Подключите сетевую карту WAN-сервера к интернет-маршрутизатору.
- Установите и настройте pfSense для обработки маршрутизации, добавления всех виртуальных сетевых адаптеров квартиры,
Вопросы
- Наша идея проходит вашу проверку на здравомыслие? Есть ли явные недостатки или подводные камни в конструкции?
- Разумно ли ожидать маршрутизации 300+ Мбит / с от pfSense, работающего виртуализированно?
- Какого рода агрегацию каналов мы можем / должны использовать для соединения двух разных марок коммутаторов вместе - предпочтительно обеспечивая как отказоустойчивость, так и п раз 100 Мбит / с восходящий канал
- Можем ли мы ожидать, что VLAN будет работать должным образом, сочетая тегированные и немаркированные коммутаторы разных марок, за счет агрегации каналов и передачи их в VMWare?
- Учитывая предложенный дизайн, я не совсем уверен, как мы будем обрабатывать маршрутизацию и разрешать доступ к административной VLAN из выбранных квартир (тех, кто управляет настройкой), но в целом это второстепенная вещь.
Изменить: чем мы закончили
Приносим извинения за радиомолчание, но мы приложили немало усилий, чтобы настроить сеть так, как мы хотели. Оказалось, что это была настоящая PITA, пытающаяся настроить сегрегацию для каждого порта коммутатора на коммутаторах разных марок.
Конкретная модель коммутаторов Dell, которые мы получили, была одной из немногих, которые не поддерживали частные VLAN. Вместо этого мы приобрели старый 48-портовый коммутатор Allied Telesis, но хотя «частные» порты не могли взаимодействовать друг с другом, каждый порт не был отделен от административной сети, что нам и требовалось. Функция «изоляции портов» HP работала, как было заявлено, но у них не было достаточного количества портов.
После некоторых усилий нам удалось заполучить 1 x 48 портов и 2 x 24 порта Cisco Catalyst 2950 - каждый с 2 гигабитными портами восходящей связи, остальные 100 Мбит. Какая разница! Больше не нужно возиться с тем, чтобы различные варианты поставщиков одной и той же функции работали вместе.
Мы запускаем pfSense virtual вместе с несколькими виртуальными машинами низкой интенсивности и можем легко маршрутизировать 300 Мбит / с без проблем с сервером.
В обобщенном виде это то, что мы сделали для достижения наших целей, и это то, чем мы сейчас занимаемся. Надеюсь, это может оказаться кому-то полезным. Спасибо за вклад!
Физическая сеть
- Коммутатор на 48 портов в одной комнате с сервером и Интернетом - один гигабитный восходящий канал к клиентской сетевой карте на сервере, другой - к коммутатору на 24 порта в другой комнате
- Гигабитный восходящий канал между двумя 24-портовыми коммутаторами в другой комнате
- Порт 100 Мбит подключен к сетевой карте администратора на сервере
- Интернет-маршрутизатор подключен к WAN NIC на сервере
Конфигурация переключателя
- Бесплатное программное обеспечение Cisco Network Assistant, используемое для настройки всех устройств с одного интерфейса. Настоятельно рекомендуется!
- VLAN 1 был назначен нашей административной сетью
- Защищенный порт (сегрегация) и безопасность порта (ограниченное количество MAC-адресов на порт), настроенные для каждого порта клиента
- Поскольку коммутаторы были просто связаны Ethernet, в отличие от стека, «Защищенный порт» не действует между коммутаторами. То есть порт арендатора в одном коммутаторе может взаимодействовать со всеми портами арендатора на других коммутаторах. Чтобы обойти это, мы создали отдельную клиентскую VLAN (идентификатор VLAN, соответствующий четвертому октету IP-адреса коммутатора) для каждого коммутатора.
- Порты для восходящих каналов между коммутаторами, настроенные с помощью «Smartports», для включения транкинга. Для собственной VLAN установлено значение 1, что позволяет всем другим VLAN (с тегами)
- В коммутаторе A восходящий канал клиента к сетевой карте сервера настроен для запуска собственной VLAN A, VLAN B и C с тегами
Конфигурация pfSense (и немного VMWare)
- Отдельная настройка vSwitches (VMWare) для WAN, Admin LAN, сетевых адаптеров Tenant LAN server
- Tenant vSwitch (VMWare) изменен с VLAN ID 0 (нет) на 4095 (все)
- Интерфейсы, назначенные в pfSense, обозначенные соответствующим образом (WAN, Admin, Tenant)
- Две сети VLAN добавлены к сетевому адаптеру Tenant с идентификаторами Tenant VLAN B и C (поскольку VLAN A уже работает без тегов) - теперь у нас есть 3 интерфейса клиента в pfSense.
- Добавлена группа интерфейсов для трех клиентских интерфейсов, чтобы упростить администрирование правил межсетевого экрана.
Это в значительной степени конфигурация, относящаяся к моим вопросам. Мы также добавили OpenVPN для удаленного доступа администратора, автоматического резервного копирования конфигурации с ПК с Windows, добавили интерфейс DMZ и продолжаем тонкую настройку и улучшение нашего теперь сверхмощного межсетевого экрана / маршрутизатора с 6 интерфейсами! :-)
- Наша идея проходит вашу проверку на здравомыслие?
Я бы подумал об обработке интерфейсов VLAN в pfSense, а не испортил бы ESXi 54 дополнительными сетевыми адаптерами, о которых ему действительно не нужно знать (личные предпочтения).
Вы ничего не упомянули о своей адресации, но, предполагая, что вы используете частные адреса RFC1918 (так что у вас есть полный контроль), убедитесь, что адресация имеет смысл. Лично мне нравится, чтобы мои теги VLAN соответствовали моим подсетям. В этом случае я бы сделал что-то вроде этого:
10.0.0.0/24 => Admin
10.1.101.0/24 => Apartment 1 (VLAN 101)
10.1.102.0/24 => Apartment 2 (VLAN 102)
...
10.1.154.0/24 => Apartment 54 (VLAN 154)
Я добавил 100 к VLAN, поскольку вы не хотите использовать VLAN 1 для квартиры 1. Я также сохранил подсети администратора и квартиры в отдельном / 16, чтобы вы могли аккуратно маршрутизировать VLAN квартиры (в одном CIDR) отдельно в будущее, если это будет необходимо.
Как вы будете справляться, когда арендаторы хотеть иметь межквартирный транспорт? (например, я очень хороший друг со своим соседом, и я хочу поделиться с ним видео на моем NAS). Это не столько технический вопрос, сколько вопрос политики.
- Есть ли явные недостатки или подводные камни в дизайне?
У вас будет много сетевых адаптеров в pfSense, которые вам нужно будет убедиться, что между ними нет маршрутизации. Я не использовал pfSense в течение многих лет, но в принципе вам необходимо настроить политику DENY по умолчанию. Это предотвратит маршрутизацию трафика Apt X к Apt Y без необходимости вручную гарантировать, что политика всегда на месте. Затем создайте индивидуальные политики РАЗРЕШЕНИЯ, чтобы разрешить каждому доступ только через Интернет-соединение.
- Разумно ли ожидать маршрутизации 300+ Мбит / с от виртуализированной pfSense?
Я не понимаю, почему бы и нет, когда вы используете гигабитные сетевые адаптеры. Виртуализация не добавляет таких накладных расходов.
- Какого рода агрегацию каналов мы можем / должны использовать для соединения двух разных марок коммутаторов вместе - предпочтительно обеспечивая как отказоустойчивость, так и восходящий канал n раз 100 Мбит / с
LACP.
- Можем ли мы ожидать, что VLAN будет работать должным образом, сочетая тегированные и немаркированные коммутаторы разных марок, за счет агрегации каналов и передачи их в VMWare?
802.1q - это «стандарт» ... В зависимости от возраста коммутаторов, если они были разработаны, когда 802.1q все еще дорабатывалась, они могли бы сделать что-то «странное», но вы должны быть в полной безопасности.
- Учитывая предложенный дизайн, я не совсем уверен, как мы будем обрабатывать маршрутизацию и разрешать доступ к административной VLAN из выбранных квартир (тех, кто управляет установкой), но в целом это второстепенная вещь.
Политика запрета по умолчанию предотвратит это, поэтому вам просто нужно добавить явное разрешение ALLOW, чтобы разрешить это.