Cisco Expo...Построение сетей современных ЦОД...

Cisco Expo 2010

Игорь Воронцев Системный инженер [email protected]

Построение сетей современных ЦОД Конвергентный транспорт, поддержка виртуализации, расширение подсетей

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential Presentation_ID

Консолидация ввода-вывода в ЦОД

© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 3

Консолидация ввода-вывода: Объединенный транспорт FCoE/IEEE DCB

Используя DCB •  Общий транспорт •  Сокращение числа кабелей, портов, адаптеров •  Обеспечение совместимости

LAN SAN IPC

Storage RDMA/IPC Internet/ Intranet

Сегодня •  Много портов ввода-вывода •  Высокие расходы на оборудование и эксплуатацию

Unified Fabric

LAN SAN

IPC


•  Метод передачи фреймов FC по Ethernet Выглядит как FC для серверов и сети Сохраняет текущую инфраструктуру

и управление FC Фрейм FC остается неизменным

  Может работать на стандартных коммутаторах (с jumbo фреймами)

  Priority Flow Control обеспечивает отсутствие потерь Имитирует систему буферных кредитов FC

  Стандарт утвержден 3 июня 2009 года (ANSI T11 FC-BB-5)

Fibre Channel

Ethernet

Fibre Channel over Ethernet (FCoE)

Cisco первой представила основанный на стандартах коммутатор FCoE Cisco Nexus 5000


1, 2, 4, 8, 10 Gbps 1, 10 . . . Gbps 10, 20 Gbps

FCoE


Требования FCoE к Ethernet транспорту

Ethe

rnet

H

eade

r

FCoE

H

eade

r

FC

Hea

der

FC Payload CR

C

EOF

FCS

Обычный фрейм FC

Дополнительная информация

Обычный Ethernet фрейм, ethertype = FCoE

  10Gbps+ Ethernet FC использует 1/2/4/8G

  Lossless Ethernet Соответствует поведению, обеспечиваемому в FC с использованием B2B credits

  Jumbo фреймы Ethernet Максимальный размер FC фрейма = 2112 байт


Возможности Data Center Bridging: PFC

  Возможность транспорта без потерь индивидуально для определенного класса трафика   Отправка PAUSE для данной виртуальной полосы (virtual lane): Per Priority Pause (PPP)   Дифференцированное поведение для каждой VL   Стандартизация: IEEE 802.1Qbb

Priority-Based Flow Control (PFC)


Enhanced Transmission Selection (ETS)

  Гарантированная полоса передачи и разделение полосы между VL   Также называется Priority Grouping   Стандартизация: IEEE 802.1Qaz

Возможности Data Center Bridging: ETS


Возможности Data Center Bridging: DCBX

Data Center Bridging eXchange

Согласование настроек для:   Управления полосой по классам   Управления потоком по классам   Управления перегрузками   Логического состояния интерфейса

Data Center Ethernet

Data Center Ethernet


10

Стандартизация FCoE

T11 IEEE 802.1 FCoE

FC on other

network media

FC on Other Network Media

FC-BB-5

PFC ETS DCBX

802.1Qbb

DCB

802.1Qaz 802.1Qaz

Lossless Ethernet

Priority Grouping

Configuration Veritifcation

© 2010 Cisco and/or its affiliates. All rights reserved. Presentation_ID 11 11

Все стандарты FCoE готовы Состояние стандартов

11

PFC

ETS

DCBX

Inv Dev Appr Pub

Technically Stable

FC-BB-5

Inv Dev Appr Pub

Inv Dev Appr Pub

Inv Dev Appr Pub

Technically stable in October, 2008

Completed in June 2009

Published in May, 2010

Completed in July 2010, awaiting publication

Completed in July 2010 (completing Approval Phase 3)

Completed in July 2010 (completing Approval Phase 3)

Metz, DeSanti - FCoE Standards © 2010 Cisco Systems, Inc. All rights reserved. Cisco Confidential


FCoE: консолидация на уровне доступа   Первый шаг – «консолидация доступа» («Unified Wire»)

  Существенная экономия при сохранении существующего ядра сетей Ethernet и Fibre Channel

SAN A SAN B 10GE Backbone

VF порты

VN порты


Консолидация на уровне доступа: элементы решения

Converged Network Adapter (CNA)

Адаптер 10GE с поддержкой Fibre Channel over Ethernet

Адаптер 10GE Adapter и программная поддержка

FCoE

Unified Fabric

Коммутатор 10 Gigabit Ethernet Switch с поддержкой

Fibre Channel over Ethernet


•  Заменяет несколько адаптеров на сервере

•  Выглядит для ОС/гипервизора как отдельные адаптеры Ethernet и Fibre Channel

•  Консолидирует 10GE и FC на едином интерфейсе / паре интерфейсов 10GE/DCB/FCoE

•  Минимум изменений в существующей среде

•  Вариант с использованием микросхем от Qlogic или Emulex: Существующие драйверы Обеспечение совместимости

10GE/FCoE

PCIe Bus

FC 10GE

Converged Network Adapter


FCoE: перспективы применения

 Решаемые задачи: Расширение консолидации ввода-вывода на магистраль Поддержка систем хранения с подключением по DCB/FCoE

SAN A SAN B

Магистраль

Система хранения с подключением по FCoE


RoCE (RDMA Over Converged Ethernet)

Source: Mellanox Corp.

OFA Verbs Interface

IB Transport Protocol

Network Layer

InfiniBand Link Layer

InfiniBand

OFA* Stack

InfinBand Management

RDMA Application / ULP

RDMAP

DDP

IP

SCTP MPA

TCP

Ethernet Link Layer

iWARP

Ethernet Management

RoCE

Ethernet Link Layer

Ethernet Management

IB Transport Protocol

Network Layer


Сетевая поддержка виртуализации


Распознать в сети трафик виртуальной машины Представляем VN-Link

Проблемы:

VN‐Link:•  Расширяет сеть до VM •  Общие с физическими коммутаторами функции сетевых сервисов

•  Скоординированное с VM управление

VMo4on

•  VMotion может переместить VM на другой сервер. Политика должна следовать вслед за VM

•  Сеть не видит локально коммутируемый трафик и не может применить к нему политику

•  Сеть не может выделить на порту трафик конкретной VM

VLAN101


  Применение сетевые политики (QoS, безопасность, управление) с точностью до конкретной VM

  Поддержка vMotion

  Сохранение разделения ролей между сетевой и серверной «командами»

  VN-Link (Virtual Network Link) – «соединение» между данной VM и коммутатором Cisco. Соответствует комбинации NIC, интерфейса коммутатора и патч-кабеля в физической среде

Сетевая поддержка виртуализации

Гипервизор

VNIC VNIC

VETH VETH


Программная коммутация

VN-Link в аппаратуре VN-Link в аппаратуре с VM DirectPath

Альтернативные варианты реализации VN-Link


Cisco Nexus 1000V Виртуальный распределенный программный коммутатор

  Nexus 1000V обеспечивает полнофункциональную коммутацию для VMWare ESX

  Возможности VN-Link: – Управление VM по политикам –  Функции безопасности, поддержка Netflow, ERSPAN, мультикаста, etherchannel

– Мобильность настроек сети, безопасности и мониторинга

– Сохраняет эксплуатационную модель

  Сохранение политик и связи с сетью при использовании VMotion

VMW ESX VMware vSwitch Nexus 1000V

VMW ESX VMware vSwitch Nexus 1000V Nexus 1000V

VM #4

VM #3

VM #2

VM #1

VM #8

VM #7

VM #5

VM #5

VM #2

VM #3

VM #4

VM #5

VM #6

VM #7

VM #8

VM #1

VM #1


Архитектура Nexus 1000V и варианты управляющего модуля VSM

Cisco VEM

VM1 VM2 VM3

Cisco VEM

VM4 VM5 VM6 VM7

Cisco VEM

VM8 VM9 VM10 VM11

VSM   Виртуальная машина ESX   До 64 VEMs (64 хоста)   Установка из ISO или OVA файла   Внедрения парами для резервирования

Nexus 1010   До четырех VSM   Внедрения парами для резервирования   Сервер Cisco UCS   Платформа для виртальных сервисов

(vNAM, VSG, vWAAS, etc)

VSM-VA

Nexus 1010 Физическое устройство: развёртывает сетевой

администратор

Виртуальная машина: развёртывает серверный

администратор

Virtual Ethernet Module (VEM)   Заменяет vSwitch   Работает на уровне гипервизора   Обеспечивает «порты» для каждой VM


Распределенная коммутация на виртуальных модулях Ethernet На каждом VEM свои:

  Уровень коммутации   MAC таблица   Настройка аплинков (EtherChannel, «pinning» и т.д.)   Номер модуля

Общие для всех VEM управляемых VSM

  Уровень управления   Domain ID   Настройки профилей портов   Пул интерфейсов veth

Nexus 1000V

VSM

VMW ESX1

VEM Module 3

VMW ESX2

VEM Module 4

VMW ESX3

VEM Module n


Профиль порта в Nexus 1000V

n1000v# show port-profile name WebProfile port-profile WebProfile description: status: enabled capability uplink: no system vlans: port-group: WebProfile config attributes: switchport mode access switchport access vlan 110 no shutdown evaluated config attributes: switchport mode access switchport access vlan 110 no shutdown assigned interfaces: Veth10

Поддерживаются:

  VLAN   PVLAN   Port-channel   ACL   Netflow   Port Security   QoS   ...


Профиль порта: для сети и серверов

N1k-VSM# sh port-profile name Ubuntu-VM

port-profile Ubuntu-VM

description:

status: enabled

capability uplink: no

capability l3control: no

system vlans: none

port-group: Ubuntu-VM

max-ports: 32

inherit:

config attributes:

switchport mode access

switchport access vlan 95

no shutdown

assigned interfaces:

Vethernet2

Vethernet4

Администратор серверов Администратор сети


Виртуализированный адаптер Cisco VIC в среде VMware

Сейчаc

VM VM VM

Virtual Switch

VN-Link в аппаратуре

VM VM VM

Virtual Switch

No Network visibility Into virtual machines

Virtualized Adapter

Multiple vNICs VM-level Network Visibility

  Изоляция отдельный подключений VM – защищенная среда виртуализации

– Применение сетевых политик к конкретным VM

  «Видимость» для сети отдельных VM – упрощение диагностики - Однозначная идентификация трафика VM


Профиль порта Cisco VIC в UCS

Администратор vCenter

•  Применяет профиль порта к виртуальной машине

Администратор UCS

• Создаёт профиль порта • Настраивает:

• Структуру VLAN • QoS • Используемые аплинки • Сетевую политику


Расширение подсетей


«Растягивание» LAN: внутри и между ЦОД

  Ряд приложений требуют смежности на 2 уровне  Кластеры (Veritas, MSFT)  vMotion  «Доморощенные» приложения

  Миграция серверов

  Высокая доступность

  Распределенные служебные и прикладные сервисы

Data Center

A

Data Center

B


L2

L3

L3

L2

IP Cloud

vPC

Core

Aggregation

Access

Servers

vPC

vPC

STP+ Усовершенствования STP

Bridge Assurance

vPC Simplified loop-free trees

2x Multi-pathing

Cisco L2MP 16x ECMP

MAC Scaling

L2MP

Эволюция технологий расширения подсетей

Nexus 7K/5K: Q4CY10 Nexus 7k/5k

OTV Связь L2 подсетей через L3

Изоляция доменов отказов Nexus 7000

Nexus 7k/5k


Virtual Port Channel на Cisco Nexus Обзор функции

  Возможность организации агрегированного канала (port channel) приходящего на два разных коммутатора

  Избавляет от опоры на STP

  Использование полосы всех имеющихся соединений

  Быстрая сходимость при отказе устройства или канала

  Обеспечение отказоустойивости и масштабируемости при подключении серверов

  Сокращение CAPEX и OPEX

  Совместимость со всеми функциями

Без vPC

С использованием vPC


Функция VSS

(Virtual Switching System)

vPC (Virtual Port

Channel) Multi-Chassis Port Channel ✓ ✓ Топология без петель ✓ ✓

STP как «запасной вариант» ✓ ✓

Уровень управления Один Два, оба активны

Поддержка для L3 Portchannel ✓ ✗

Управляющие протоколы Один экземпляр Экземпляры на каждом узле Портов 10GE на

Etherchannel 8 16

Конфигурация устройств Единая конфигурация Отдельные конфигурации (с контролем совместимости)

ISSU без потерь ✗ ✓ Порты для связи узлов

(Inter-switch Link) Virtual Switching Supervisor 720-10G, карты 6708, 6716 Любые модули 10GE

Обзор функционнальности Сравнение Nexus vPC и Catalyst VSS


Long Distance

DC 1 DC 2

CO

RE

AG

GR

AC

CES

S

Server Cluster

CO

RE

AG

GR

AC

CESS

Server Cluster

Основные рекомендации

  Различающиеся номера vPC доменов   BPDU Filter на пограничных устройствах для блокирования распространения BPDU   STP Edge Mode для быстрого восстановления   Отсутствие петель между ЦОД в обход vPC

vPC domain 10 vPC domain 20

vPC domain 21 vPC domain 11

E E

- -

- -

- -

E

E

E

E

F

F

F

F -

-

- -

-

- -

B B

N N N N

N

N N

N

R R

-

R R R R

R R

Многоуровневый vPC для агрегирования и DCI

Rootguard

B

F

N

E

BPDUguard

BPDUfilter

Network port

Edge or portfast port type

- Normal port type

R

Ani

mat

ed S

lide!


Spanning Tree превращает многосвязную сеть в дерево

  Нужно альтернативное решение, позволяющее: Задействовать все соединения Наращивать производительность путем увеличения числа связей Принципиально исключить возможность бесконечных «петель» Обеспечить быструю и надежную сходимость

  ...и всё это – для коммутации на втором уровне!


TRILL (Transparent Interconnection of Lots of Links)

 Стандарт, разрабатываемый IETF

 Свойства Построение топологии и таблиц коммутации с помощью IS-IS Оптимальная доставка фреймов Распределение нагрузки по равноценным путям Сохранение интероперабельности с существующими протоколами и технологиями

 Подход, заменяющий Spanning Tree Устранение Spanning Tree на магистрали

 Масштабирование полосы, когда скорости соединений на разных уровнях одинаковы или близки

 Сокращение задержки коммутации


Структура передачи в TRILL/FabricPath

  От узла A до D/R1: обычная коммутация Ethernet на основе MAC адреса получателя

  От D/R1 до D/R2: коммутация («маршрутизация») по адресу «выходного» L2MP моста и таблицам, вычисленным с помощью IS-IS

  От D/R2 до узла B: обычная коммутация Ethernet на основе MAC адреса получателя

Минимальное число MAC адресов в ядре


Cisco FabricPath Ключевые возможности

  Продолжение возможностей TRILL   Маршрутизация на втором уровне с использованием до 16 альтернативных путей (ECMP)

  Заголовок FabricPath Иерархическая адресация со встроенным предотвращением «зацикливания» (RPF,TTL)

  Выучивание MAC «по диалогам» Эффективное использование аппаратных ресурсов за счет выучивания только нужных MAC адресов

  Совместимость с «классическим» Ethernet

•  VPC+ позволяет VPC в L2MP сеть •  STP Boundary Termination

  Поддержка множественных топологий – возможность Traffic Engineering

Up to 16Way L2 ECMP

Up to 16-Way L2 ECMP


32 Chassis

16 Chassis

16-way ECMP

8,192 10GE ports 512 10GE FabricPath ports per system

256 10GE FabricPath Ports

160 Tbps System Bandwidth

Open I/O Slots for connectivity

Spine Switch

Edge Switch

16-port Etherchannel

Пример использования: HPC Масштабирование больших вычислительных кластеров

Требования HPC

  Большое число вычислительных узлов

  Минимальная «переподписка»

  Низкая задержка между узлами

Преимущества FabricPath для HPC

  FabricPath образует производительное «толстое дерево» (fat tree)

  Неблокируемый транспорт за счёт FabricPath ECMP и агрегирования портов (port-channel)

  Сокращение числа транзитных узлов для снижения задержки


Серверы приложений

Web серверы

Репликация СХД

Связь центров обработки данных (DCI)

Global Site Selector

Хранение

Балансировщик

Кластеры, LD VMotion

Балансировщик


Overlay Transport Virtualization Базовые свойства OTV

  Ethernet трафик инкапсулируется в IP: “MAC in IP”

  Динамическая инкапсуляция с использованием таблицы маршрутизации MAC

  Не строится Pseudo-Wire или туннель

Communication between MAC1 (site 1) and MAC2 (site 2) Server 1

MAC 1 Server 2 MAC 2

OTV OTV MAC IF

MAC1 Eth1

MAC2 IP B

MAC3 IP B IP A IP B

Encap Decap MAC1 MAC2 IP A IP B MAC1 MAC2 MAC1 MAC2

New in 5.0


  Работа поверх любого транспорта (IP, MPLS)

  Изоляция доменов сбоев

  Независимость сайтов   Оптимальное использование полосы

  Встроенная отказоустойчивость

  Встроенная защита от «петель»

  Связь многих сайтов   Масштабируемость

  VLANs, сайты, MACs   ARP, broadcasts/floods

  Простота настройки

  Легкость добавления сайтов

Проблемы «растягивания» LAN Решаемые OTV

South Data

Center

North Data

Center

Fault Domain

Fault Domain

Only 6 CLI commands

LAN Extension

Fault Domain

Fault Domain


Дополнительная литература


Вопросы и Ответы

Cisco Expo...Построение сетей современных ЦОД...

Documents

Transcript of Cisco Expo...Построение сетей современных ЦОД...