Данных с каждым годом становится всё больше, где мы собираемся хранить все эти данные? Ежедневно инженеры и программисты трудятся над тем, чтобы емкость накопителей становилась все больше, а объединение их в системы хранения всё эффективнее и проще. С учетом прогнозов по стремительному ускорению объемов генерации данных такими машинами, как, автономные транспортные средства и интеллектуальные фабрики, а также учитывая огромные массивы данных, созданные людьми, включая резервные копии, удастся ли произвести достаточное количество хранилищ для потребностей, которые возникнут на протяжении следующего десятилетия? Или придется думать о подходе и принимать решения относительно того, что можно хранить, а чем можно пожертвовать?
Рейнер Кесе, старший менеджер по развитию бизнеса систем хранения данных, Toshiba Electronics Europe
Баланс HDD и SSD в мире растущего количества данных
Наблюдается такая тенденция, когда объемы хранимых данных не только продолжают расти, но и растут быстрее чем ожидалось ранее. Прогнозировалось что доля данных, которые хранится на флэш и твердотельных накопителях будет стремительно увеличиваться, в свою очередь количество данных, хранящихся на магнитных лентах и жестких дисках уменьшиться. Сегодня становится очевидным тот факт, что все технологии данных продолжают активно развиваться, и этому есть одна причина, емкостей для хранения данных требуется всё больше с каждым годом. Можно заявить, что на протяжении 2019 года до 90% емкости для типичных приложений, использующих облачные вычисления, будет обеспечиваться жесткими дисками, и возможно немного накопителями на магнитной ленте. И только 10% хранилищ будут обеспечены SSD.
Учитывая стоимость корпоративных твердотельных накопителей, которая на ту же единицу емкости может быть до десяти раз дороже, чем жесткие диски, инвестиции сравняются: около 50% средств тратится на жесткие диски, и столько же – на твердотельные накопители. Конфигурации такого типа хранения охватывают весь спектр приложений. Часть из них будут использовать исключительно флэш-память, часть – гибридные модели, где на флэш-памяти хранится кэш или «горячие» данные, а на жестких дисках – «холодные» и «теплые» данные, остальные – серверы на основе исключительно жестких дисков.
Емкость гелиевых HDD вырастет до ~20 ТБ
Три основных производителя жестких дисков уже представили модели, наполненные гелием, с емкостью 16 ТБ. Ожидается, что в ближайшие годы емкость будет увеличиваться примерно на 2 ТБ в года, это означает что уже в начале следующего десятилетия диски с объемом 20 ТБ должны появиться в продаже.
Эти диски, вероятно, потеряют в стоимости при росте емкости, но заметных улучшений по другим техническим параметрам ожидать не стоит. Единственным исключением станет энергопотребление, которое сократится в результате использования гелия. В то время как заполненные воздухом 3,5-дюймовые жесткие диски, работающие на скорости 7200 об/мин, потребляют, независимо от емкости, относительно постоянную мощность 11 Вт под нагрузкой, потребляемая мощность заполненных гелием жестких дисков составляет примерно 6-7 Вт. Это стало результатом более низкого трения благодаря легкости гелия. Таким образом, распространение жестких дисков с гелием поможет решить проблему роста энергопотребления центров обработки данных.
Каждый ватт энергии, сэкономленный такими накопителями, приводит к уменьшению количества энергии, необходимого для работы центра обработки данных, а также к сокращению рассеиваемого тепла, что делает охлаждение более экономичным. Еще один эффект от снижения температуры: гелиевые приводы обладают более высокой надежностью по сравнению с наполненными воздухом приводами при непрерывной работе. Это приводит к гораздо меньшему количеству отказов и увеличению срока службы. Планируется также дальнейшее повышение плотности хранения, благодаря таким технологиям, как микроволновая магнитная запись (MAMR), которая будет интегрирована в пишущие головки жесткого диска.
Архитектура хранилищ
Мы можем рассчитывать на продолжение роста сектора стоечных хранилищ с верхней загрузкой из-за требований к увеличению емкости. Хотя 60 отсеков в формате 4U сегодня стали стандартом, появились корпусы, поддерживающие от 78 до 110 отсеков для 3,5-дюймовых жестких дисков. Вместо аппаратного RAID, такое количество дисков настраивается с помощью программных решений. Современные программно-определяемые системы хранения будут продолжать преобладать, наряду с масштабируемыми проектами, такими как кластеры Ceph, где несколько серверов хранения объединяются в более крупные блоки. Здесь защита данных больше не обеспечивается за счет избытка жестких дисков на сервере. Вместо этого избыток реализуется через узлы серверов хранения, доступные в серверной сети.
Взрывной рост количества данных
Уже сегодня люди генерируют огромное количество данных. Если учесть, что эти данные затем копируются в центрах обработки и в облаке, это только увеличивает объем памяти, необходимый для их хранения. На сегодняшний день количество сгенерированных машинами данных сравнительно невелико. Однако с 2019 года это изменится, поскольку такие решения и технологии, как автономные автомобили, интеллектуальные фабрики, интернет вещей (IoT) и домашняя автоматизация, будут генерировать дополнительные потоки данных, которые придется хранить. Ожидаемый их объем настолько велик, что нынешняя философия хранения данных требует серьезного пересмотра. Суровая реальность заключается в том, что нам необходимо проанализировать данные перед их сохранением, чтобы определить, какие из них действительно важны и не могут быть удалены.
Искусственный интеллект, глубокое обучение и блокчейн
Новые вычислительные приложения, такие как искусственный интеллект, глубокое обучение и блокчейн, значительно повысили требования к производительности систем обработки данных. Мы можем ожидать, что эти технологии будут генерировать гораздо больше данных и им потребуются решения по их хранению. В настоящее время неясно, какое именно влияние они окажут на требования к хранилищам, поскольку недостаточно известно о самих приложениях и о том, как они будут реализованы. Однако, по мере приближения 2019 года и нового десятилетия ситуация будет проясняться. Уже сегодня понятно, что эти технологии еще больше увеличат объем хранимых данных.
