Raid контроллеры

[Yevgen35 0]

Они зеркальны. И всё на лету синхронизируется.

Если не секрет DRBD ?

[younghacker 7]

Корзины можно подключить через что-то наподобе 6Gb/s SAS Switch

Хм... А ты знаешь интересная штука. Нужно поразмыслить. Если на двух таких можно состроить HA кластер, то это очень интересно.

 

Если не секрет DRBD ?

Yes

 

[Yevgen35 0]

Если у тебя корзины по 45 дисков, то одного внешнего шнурка будет явно недостаточно,

иначе узкое место будет в передаче данных с корзины на контроллер.

Поэтому внешних каналов должно быть несколько, а это с моей точки зрения лучше сделать с помошью свича.

 

Корзины по 45 дисков я бы наверно тоже не брал,

а брал бы скорей по 12 или мак по 24 диска.

Гигантомания, до хорошего не доводит.

 

Почему я против внутренних дисков?

Потому что, у RAID контроллер может быть и внешний, а в хосте можно просто поставить HBA.

Вещи должны быть по возможности простыми и легкозаменяемыми в случае чего.

 

Зачем это может быть нужно?

Ты все это собираешься строить на SATA дисках, которые относительно медленные.

 

Так в качестве идеи для размышления.

Что если добавить скажем какого-нибудь флеша, в качестве кэша промежуточного уровня?

Только не спрашивай, как такое сделать, возможно это должен быть частью RAID контроллера.

 

Сам не знаю, знаю только что у Oracle есть железка( NAS ) на SATA дисках

с промежуточным кэшем на твердотельных дисках.

Железка эта естественно показывает очень приличный IO.

 

[AgentXXX 1]

знаю только что у Oracle есть железка( NAS ) на SATA дисках

с промежуточным кэшем на твердотельных дисках.

И не только у Оракла.

B наших железяках они тоже как виртуальный сторадж для частоипользуемых данных.

Есть свои плюсы, свои минусы у этих систем с SSD драйвами.

Плохо то, что они часто дохнут, и если верить нашему CS-y - 1 из 40 обязательно бракованный.

Главное "Хорошо" - система потребляет намного меньше энергии.(+/- 60%)

Железка эта естественно показывает очень приличный IO.

Некоторые рекламно заявляют увеличение 20-22 раза, реальность 16-17х.

[Yevgen35 0]

Есть такая партия(с) LSI 9260-8i RAID

Есть еще Adaptec-ки with maxCache 2.0, но к LSI у меня доверия больше.

 

 

[vladiSib 237]

а действительно ли надо самому всё строить?

можно взять готовые решения (тут уж от бюжета зависит).

у нас полгода уже стоит Dell Compillent массив. пока всё красиво.

у него несколько иные принципы работы - есть быстрый массив, средний и медленный.

распихиваются луны по этим тирам. потом оно анализирует, то что чаще читается - перескакивает само в рейд5, то что пишется чаще - в рейд 10.

вся эта беда у нас подключена к делловским брокадам и потом убегает дальше.

 

кстати, компилент и его движки - супермикро.

 

[Yevgen35 0]

Просто у товарища вероятно очень сильно ограничен бюджет.

 

У интеллектуальных массивов только одна проблема - интеллект.

Они начинают перестройку именно в тот момент когда этого делать не надо.

[younghacker 7]

Если у тебя корзины по 45 дисков, то одного внешнего шнурка будет явно недостаточно,

иначе узкое место будет в передаче данных с корзины на контроллер.

Поэтому внешних каналов должно быть несколько, а это с моей точки зрения лучше сделать с помошью свича.

Нет у меня корзин, Это только draft схема. И если я верно понял в корзине есть 4 порта (самый навёрнутый вариант)

И по оценкам их с лихвой хватит для организации кольцевой схемы на сервер и две корзины. Для обеспечения избыточности.

 

Корзины по 45 дисков я бы наверно тоже не брал,

а брал бы скорей по 12 или мак по 24 диска.

Гигантомания, до хорошего не доводит.

Тут вот в чём дело. Я думаю что 512GB - 1TB это предельный объём диска (для текущих скоростей) который можно ставить в сторадж с RAID10.

Рано или поздно дойдёт до поломок и замены дисков, и потребуется ребилдить массив. А чем меньше диск тем быстрее ребилд.

И не будет так стрёмно нарваться на сбой второго диска а зеркале во время ребилда, когда возрастает нагрузка на оставшуюся единственную

копию информации в сервере.

Тоесть фактически имея 36+45+45= 126 дисков в массиве RAID10 я получаю 31.5-63TB дисковой ёмкости. И это выглядит уже

не так радужно, как кажется на первый взгляд.

 

Почему я против внутренних дисков?

Потому что, у RAID контроллер может быть и внешний, а в хосте можно просто поставить HBA.

Вещи должны быть по возможности простыми и легкозаменяемыми в случае чего.

 

Зачем это может быть нужно?

Ты все это собираешься строить на SATA дисках, которые относительно медленные.

Это понятно. Но 1U это 8 дисков на обе стороны. А шкаф хочется заполнить максимально и отставить прострелы между юнитами.

А внутренние диски они такие же hotswap как и внешне-корзинные.

Так в качестве идеи для размышления.

Что если добавить скажем какого-нибудь флеша, в качестве кэша промежуточного уровня?

Только не спрашивай, как такое сделать, возможно это должен быть частью RAID контроллера.

 

Сам не знаю, знаю только что у Oracle есть железка( NAS ) на SATA дисках

с промежуточным кэшем на твердотельных дисках.

Железка эта естественно показывает очень приличный IO.

Об этом я размышляю. Да и видел уже гибридные диски с SSD кешем. Вот только пока не понятно как интенсивно они выходят из строя.

 

Есть такая партия(с) LSI 9260-8i RAID

Есть еще Adaptec-ки with maxCache 2.0, но к LSI у меня доверия больше.

Я Adaptec как-то вообще не считаю контроллерами для серверов. Я с большим уважением отношусь к LSI, 3ware которую купила LSI,

Areca (которая вроде бы как есть старый добрый Tekram)

 

а действительно ли надо самому всё строить?

можно взять готовые решения (тут уж от бюжета зависит).

у нас полгода уже стоит Dell Compillent массив. пока всё красиво.

....

кстати, компилент и его движки - супермикро.

Надо. Потому что цена у Делла высока. Или это предложение просто посмотреть что там внутри стоит у Compillent-а?

 

Просто у товарища вероятно очень сильно ограничен бюджет.

Верно. Если достать свои деньги из кармана то Делл с HP как-то сразу уходят на йух.

 

У интеллектуальных массивов только одна проблема - интеллект.

Они начинают перестройку именно в тот момент когда этого делать не надо.

Ага, я во время тестов попробовал автоматическую верификацию в облегчённом режиме. Прелесть. Производительность упала с 600MB/s до 200MB/s

Для продакшина нужно будет выключать автомат и прогонять верификацию порциями, когда нагрузка на массив минимальна.

[vladiSib 237]

цена в себя включает много чего.

у нас например 4 часа круглосуточно на поддержку. плюс они еше удаленно принимают статистику и рекомендуют что-то.

 

а чего там смотреть-то.... у нас: обычные 2 сервака от супермикро. плюс еще две корзины то ли на 18 толи на 24 диска.

корзинки падают до сервака. а там бежит компилентовский софт. я так понимаю, что сильно там не разбежишься посмотреть, что у него внутри.

[Yevgen35 0]

Нет у меня корзин, Это только draft схема.

Я это понимаю, поэтом и стараюсь вести дискуссию в стиле "а что если".

 

И если я верно понял в корзине есть 4 порта (самый навёрнутый вариант)

И по оценкам их с лихвой хватит для организации кольцевой схемы на сервер и две корзины. Для обеспечения избыточности.

Что значит кольцевая схема?

Я лично знаю два варианта:

Каскадное подключение полок и когда каждая полка подключается

к контроллеру напрямую

 

Тут вот в чём дело. Я думаю что 512GB - 1TB это предельный объём диска (для текущих скоростей) который можно ставить в сторадж с RAID10.

И какой смысл тогда ставить SATA диски когда вроде уже есть SAS на 600GB.

Ты собираешься использовать обычные SATA или все же те которые на 10к?

 

Рано или поздно дойдёт до поломок и замены дисков, и потребуется ребилдить массив. А чем меньше диск тем быстрее ребилд.

Мне кажется это слабый аргумент для определения размерности диска.

Потому как, в RAID 10 зеркалируются пары, и боятся надо выхода второго диска в паре где уже вышел диск.

 

Опять же минимизируя подобный риск целесообразно использовать массивы по схеме

вариант 12+1 ( 12 дисков в RAID-10 + 1 Hot Spare )

А уже сверху их объединять с помошью LVM-а в страйпе.

 

 

Тоесть фактически имея 36+45+45= 126 дисков в массиве RAID10 я получаю 31.5-63TB дисковой ёмкости. И это выглядит уже

не так радужно, как кажется на первый взгляд.

Это потому что, уменьшая размер диска, ты тем самым лишаешься главного преймущества SATA дисков, а именно стоимости за 1GB,

поэтому я бы брал тот размер который на сегодня самый оптимальный оп цене за 1GB.

Это, как правило "максимальный размер диска доступный на рынке - 1", то есть если на рынке массово доступен 3TB диск, то оптимальным может быть покупка дисков на 2-2,5TB

 

 

Это понятно. Но 1U это 8 дисков на обе стороны. А шкаф хочется заполнить максимально и отставить прострелы между юнитами.

А внутренние диски они такие же hotswap как и внешне-корзинные.

Об этом я размышляю. Да и видел уже гибридные диски с SSD кешем. Вот только пока не понятно как интенсивно они выходят из строя.

Проводилось исследование (Oracle), на тему "что быстрей, много маленьких массивчиков или один большой(единый)" и один единый получается оптимальней с точки зрения производительности.

Подход называется S.A.M.E ( Stripe and Mirroring Everything )

Создать единное поле на базе внутренних и внешних дисков конечно можно,

но стремно.

 

 

 

[Yevgen35 0]

а чего там смотреть-то.... у нас: обычные 2 сервака от супермикро. плюс еще две корзины то ли на 18 толи на 24 диска.

Просто может случится так, что тебе надо запустить биллинг чего-либо, а софт контроллера как раз решает, что это самое лучше время для миграции данных на более медленный массив и тут начинается, кто кого победит.

В победителях обычно софт который работает уровнем ниже, то есть софт контроллера.

Естественно производительность такой системы в это время идет сам знаешь куда.

Поэтому, например в БД используются неинтеллектуальные массивы, вплоть до того что могут даже не использоваться хардверные массивы вообще, а использоваться голые диски.

 

[younghacker 7]

Я это понимаю, поэтом и стараюсь вести дискуссию в стиле "а что если".

Может быть. В любом случае это расширяет понимание.

 

Что значит кольцевая схема?

Я лично знаю два варианта:

Каскадное подключение полок и когда каждая полка подключается

к контроллеру напрямую

В доке есть там несколько схем. Хотя глянул, да там single channel и dual channel failover

Ты прав: Каскадом либо прямо в HBA

Я почемуто подумал что корзины можно соединить друг через друга и их уже в HBA.

 

И какой смысл тогда ставить SATA диски когда вроде уже есть SAS на 600GB.

Ты собираешься использовать обычные SATA или все же те которые на 10к?

Пока что рассчитываю на 7200. Цены на SAS и 10к SATA довольно кусючие. Особенно потопные. До потопа они выглядели пугающе.

 

Мне кажется это слабый аргумент для определения размерности диска.

Потому как, в RAID 10 зеркалируются пары, и боятся надо выхода второго диска в паре где уже вышел диск.

При ребилде возрастает нагрузка на единственный в зеркале рабочий диск. И его "вылет" может случиться до окончания ребилда и тогда надежда только на второй сервак. Но и на него нагрузка возрастает. Если наплевать на ребилд, кстати нужно замерить время, то да - можно брать 2TB. Хотя я их планирую в backup.

 

Опять же минимизируя подобный риск целесообразно использовать массивы по схеме

вариант 12+1 ( 12 дисков в RAID-10 + 1 Hot Spare )

А уже сверху их объединять с помошью LVM-а в страйпе.

Нужно подумать. Потестировать.

Это потому что, уменьшая размер диска, ты тем самым лишаешься главного преймущества SATA дисков, а именно стоимости за 1GB,

поэтому я бы брал тот размер который на сегодня самый оптимальный оп цене за 1GB.

Это, как правило "максимальный размер диска доступный на рынке - 1", то есть если на рынке массово доступен 3TB диск, то оптимальным может быть покупка дисков на 2-2,5TB

Они больше дешевеют в абсолютных единицах. И время ребилда у них получится больше почти в 2 раза.

Я пока всё затачиваю на SATA, а там будет видно. Итак денег всё это много затянет. Контроллеры конечно можно брать SAS/SATA чтобы потом можно было с внешними корзинами использовать.

Проводилось исследование (Oracle), на тему "что быстрей, много маленьких массивчиков или один большой(единый)" и один единый получается оптимальней с точки зрения производительности.

Подход называется S.A.M.E ( Stripe and Mirroring Everything )

Создать единное поле на базе внутренних и внешних дисков конечно можно, но стремно.

В чём стрёмность если есть два синхронных зеркальных стораджа?

 

Я тут попробовал прикинуть план более детальных тестов массивов. При помощи одного скрипта, но управлять всем. Размером страйпа, размерами блоков, количеством потоков, соотношением чтение запись, произвольно/последовательно, количеством дисков и количеством юнитов в рейде и сборкой их в VG. Количество замеров сумашедшее. Равно как и время на отладку скрипта и сами тесты. И уж с результатами будет неясно что делать. Тут на простых тестах цифры дикие а на множестве входных параметров думаю интерпретация результатов будет большим трудом.

 

[Yevgen35 0]

Какой по-твоему мнению у тебя будет профиль нагрузки?

[Yevgen35 0]

dual channel failover

Это что-то типа multipath для домохозяек.

В корзине два контроллера работающих с одним и тем же набором дисков,

и соотв. подключенные двумя шнурками в контроллер.

Из достоинств, двойная проспускная способность подсистемы контроллер-корзина

 

[Yevgen35 0]

При ребилде возрастает нагрузка на единственный в зеркале рабочий диск. И его "вылет" может случиться до окончания ребилда и тогда надежда только на второй сервак.

При перестройке RAID-10 нагрузка на диск будет минимальной, потому что у тебя страйп будет растянут минимально на 12 дисков, а возможно и больше. В зависимости от того как ты сделаешь.

В контроллерах должна присутствовать возможность регулировки скорости ребилда.

Что-то типа ( быстро, средне и медленно ).

У HP SMART ARRAY контроллерах такая штука есть точно про остальные не знаю.

Помнится нормальным временем для ребилда одного диска было 3 часа.

Как сейчас незнаю.

 

Они больше дешевеют в абсолютных единицах. И время ребилда у них получится больше почти в 2 раза.

Если ты так переживаешь за ребилд, то может тебе тогда RAID-6 использовать, но тогда с производительностью на запись придется попрощатся.

 

Я пока всё затачиваю на SATA, а там будет видно. Итак денег всё это много затянет. Контроллеры конечно можно брать SAS/SATA чтобы потом можно было с внешними корзинами использовать.

В таком случае без дополнительного кэширования на SSD тебе приличной производительности не получить.

 

В чём стрёмность если есть два синхронных зеркальных стораджа?

В том что, он может не успеть синхронизироваться из-за большой нагрузки на основном.

Это я про режим работы active-passive.

 

А если active-active ( оба массива читаю-пишут одновременно), и тот факт что это DRBD.....

В мире не так много производителей подобных решений, что говорит о том, что там не все так просто.

Даже если предположить, что это работает, все равно остается нюанс того как они решают вопрос взаимоблокировок.

Пример: две хоста каждый из которых монтирует свои диски на разных массивах, одновременно требуют доступ к одному и тому же блоку данных?

В рамках одного массива, это обычно решается либо сетевой файловой системой, либо кластерной файловой системой. Вторая быстрей.

Как это решается в рамках нескольких массивов, затрудняюсь сказать.