Raid контроллеры

[younghacker 7]

Нет ли у кого взять на денёк потестировать 16-ти канальный SATA RAID?

Ищётся Areca 1261-ML. Но возможно попробовать и другие (кроме 3ware 9650SE)

Или может знаете где в ЧР они есть в наличии где можно их взять потестировать.

В основном везде под заказ.

[Archer 1636]

IMHO, не в этой стране... разве что найдётся лишний spare на складе у крупного интегратора, вроде alef0, Abacus, etc. и ты их убедишь в том, что являешься потенциальным клиентом. А если решишь пускать всё это в production, то тебе нужен будет на складе ещё один точно такой-же, или контракт с кем-то, у кого такой-же девайс есть или будет в течении 2-4 часов.

 

Собираешься NAS делать?

[younghacker 7]

Я хостинг делаю

Могу взамен дать потестировать 3Ware 9650SE-16

Areca нужен для тестов. Напоролся на то что RAID5 (8 дисков) до читающих 64 потоков играючи "обставляет" RAID10 (16 дисков)

В random read RAID 10 вырывается только на 64-256 потоках

А в последовательном чтении RAID5 обгоняет от 15% до 30% на всех блоках (4к-64к) и на всех потоках (1-256) Вспышки у RAID10 налюдаются только на 64k 128 потоков и уже после 32k на 256 потоках. Такого провала я не ожидал! Размер стайпа одинаковый на обоих схемах RAID - 256к

 

Думал ошибся где-то. Фиг там. Проверял разными способами. И disktest и просто dd

Два дня и ночь ухандохал на разборки. Сделал тысячи замеров и привёл всё в графики. Картинка удручающая. Так не должно быть.

Пробовал на разном железе и разных винтах и менял сам контроллер. Собрал статистики из 10 замеров на каждом режиме. Кореляция +/- 2-14% на random тестах и 2-5% на последовательном чтении.

 

Удивило и то что чтение с устройства /dev/sdc выглядит немного лучше, а чтение с LV размером 10G вообще приводит к тому что описал выше. RAID5 круче чем RAID10. Блин.

[Archer 1636]

Посмотри в сторону ZFS. Solaris и FreeBSD умеют, про линукс не знаю.

Железный рэйд хорошо, когда у тебя на полочках запасные точно такие же контроллеры от него лежат. В свете последних тенденций надёжности железа...

[younghacker 7]

Так ведь никто не говорит, что рейд будет один. Конечно всё критически необходимое будет в запасе. Это святое.

Мне бы найти хороший контроллер, который как положено быстро работает в RAID10. Нужна скорость и надёжность, плюс горячая замена и автоматический ребилд и верификация. Нужны от 16 до 24 внутренних портов. В серваках будет по 36 внутренних дисков на разные контроллеры. Плюс нужны будут внешние порты для двух JBOD корзин по 45 дисков. Как такое навесить на обычные SATA контроллеры я не представляю. Только включение питания уложит источник питания. А RAID включает питание по очереди. Долго - зато питатель не падает.

Аппаратный рейд нужен, аппаратный. Сторадж представляет собой два зеркальных сервака объединённые в HA кластер. С большими 2x10Gbps трубами.

[serj_nv 2568]

А что так сильно запал на RAID 10? ИМХО не намного больше надежность чем у RAID 5.

Производительность выше, но выбор аппаратных контроллеров меньше.

 

 

 

[Yevgen35 0]

Удивило и то что чтение с устройства /dev/sdc выглядит немного лучше, а чтение с LV размером 10G вообще приводит к тому что описал выше. RAID5 круче чем RAID10. Блин.

ИМХО, это проблема конкретного контроллера и/или его прошивки.

 

Хочу тебя предостеречь от создания больших массивов на RAID-5.

При выходе диска из строя, на период перестройки подобный массив практически нефункционален.

Мало того, не знаю с чем связано, но характерное явление именно для RAID-5

во время перестойки разваливается весь массив.

 

RAID-10 в этом случае выглядит просто отлично.

 

Для тестирования производительности одна из лучших утилит iozone,

хотя я лично использую Oracle Orion.

[Yevgen35 0]

А что так сильно запал на RAID 10? ИМХО не намного больше надежность чем у RAID 5.

Производительность выше, но выбор аппаратных контроллеров меньше.

RAID-5 - must die!

RAID-5, RAID-6 или RAID-10?

[Yevgen35 0]

Мне бы найти хороший контроллер, который как положено быстро работает в RAID10. Нужна скорость и надёжность, плюс горячая замена и автоматический ребилд и верификация. Нужны от 16 до 24 внутренних портов. В серваках будет по 36 внутренних дисков на разные контроллеры. Плюс нужны будут внешние порты для двух JBOD корзин по 45 дисков.

то есть у тебя будет 45*2+36 = 126 дисков.

Опять же ИМХО, при таком кол-ве дисков, я бы брал сервак с минимумом внутренних дисков (2-4), все остальное сделал бы на в корзинах.

Корзины можно подключить через что-то наподобе 6Gb/s SAS Switch

 

 

[serj_nv 2568]

О.... какие все умные. Какой не был надежный RAID от необходимости BAKUP не спасет.

Может стоит подумать о дисковых систем например HP?

 

[Archer 1636]

О.... какие все умные. Какой не был надежный RAID от необходимости BAKUP не спасет.

Может стоит подумать о дисковых систем например HP?

 

BACKUP само собой (а куда такие объемы бэкапить, кстати?). Два отдельных дисковых поля, и бэкапить друг на друга?

 

Тут решается насколько шустрый получится массив дисков, и сколько по времени займёт его восстановление.

 

P.S. 126 дисков по цене "после потопа"... сочувствую

[AgentXXX 1]

BACKUP само собой (а куда такие объемы бэкапить, кстати?).

Меня вот давече тоже заинтересовало как и куда бекапят 8,5 петабайтную базу.

[Yevgen35 0]

Cкорей всего на ленту, только не простую, а виртуальную

[Archer 1636]

Cкорей всего на ленту, только не простую, а виртуальную

 

Эту ленту потом сисадмины повязывают на лоб, и с криком "Банзай!" бегут восстанавливать данные

[younghacker 7]

А что так сильно запал на RAID 10? ИМХО не намного больше надежность чем у RAID 5.

Производительность выше, но выбор аппаратных контроллеров меньше.

Потому что ключевые параметры:

* производительность особенно на чтении

* и важно от 100 до 300 потоков одновременно

Причём производительность не должна экстремально падать при уменьшении количества параллельных потоков как здесь наблюдается.

 

ИМХО, это проблема конкретного контроллера и/или его прошивки.

Пробовал на двух прошивках. Старая хуже, при большой высокой загрузке массива он внезапно перестаёт отвечать и принудительно сбрасывается сторожевой собакой. Вылечилось перепрошивкой. Но прошивки никак не повлияли на скорость массивов. Ни RAID5 ни RAID10 не стал ощутимо быстрее или медленее. Разброс такой же как в пределах нескольких тестов на одной прошивке.

Хочу тебя предостеречь от создания больших массивов на RAID-5.

При выходе диска из строя, на период перестройки подобный массив практически нефункционален.

Мало того, не знаю с чем связано, но характерное явление именно для RAID-5

во время перестойки разваливается весь массив.

 

RAID-10 в этом случае выглядит просто отлично.

 

Для тестирования производительности одна из лучших утилит iozone,

хотя я лично использую Oracle Orion.

RAID5 или RAID6 я буду использовать только для BACKUP.

Но не скажу чтобы он у меня разваливался. Диски пробовал выдёргивать и менять. Всё ребилдится нормально. Скорость падает раза в 2.5 - 3, но работает.

 

то есть у тебя будет 45*2+36 = 126 дисков.

Опять же ИМХО, при таком кол-ве дисков, я бы брал сервак с минимумом внутренних дисков (2-4), все остальное сделал бы на в корзинах.

Корзины можно подключить через что-то наподобе 6Gb/s SAS Switch

А какая разница? Всё равно RAID контроллер нужно ставить. А Supermicro выпускает отличные корпусовичи на 36 дисков. И корзинки на 45. И дело ещё и в том что мне не нужно сразу вся пачка дисков. Доставлять корзины я буду по мере нужды.

 

О.... какие все умные. Какой не был надежный RAID от необходимости BAKUP не спасет.

Может стоит подумать о дисковых систем например HP?

Ну вот почему так, как только речь идёт р RAID находятся те кто начинает кричать про бэкапы?

Ну не мешайте мух с котлетами. Backup будет! И будет и в другом зале или даже другом ДЦ.

 

Ну а дисковые системы HP слишком много хотят за логотип. Мне плевать что написано на сервере, важно чтобы при оптимальной цене он работал стабильно и быстро.

Мне бы сделать тесты разных контроллеров. Я бы выбрал самый подходящий и порадовался бы.

 

BACKUP само собой (а куда такие объемы бэкапить, кстати?). Два отдельных дисковых поля, и бэкапить друг на друга?

 

Тут решается насколько шустрый получится массив дисков, и сколько по времени займёт его восстановление.

 

P.S. 126 дисков по цене "после потопа"... сочувствую

126 дисков... Не... Нужно умножить на 2. Но я подожду когда потоп закончится.

А регулярно бэкапится не всё, а только изменения. Поэтому будет справляться. Опять же 2 канала 10Gbps вполне обслужит поток от RAID. Тут скорее RAID войдёт в насыщение.

 

И восстанавливать ничего не потребуется. По крайней мере экстремально. Я же сказал что серверов 2. Они зеркальны. И всё на лету синхронизируется. И нагрузка от потребителей тоже разносится по разным сторам. При выходе из строя одного сервера не говоря уже о дисках, никто ничего не замечает, всё работает как и прежде только немного снижается скорость.

 

Мне нужно выжать максимум из RAID + SATA диски.