Світова криза зберігання даних. Чому місця у сховищах на всіх не вистачить

Вчені попереджають, що світ рухається до глобальної кризи зберігання даних. Очікується, що до 2025 року обсяг даних у світі збільшиться на 300 відсотків і для всієї цієї інформації вже почне бракувати місця. Незважаючи на швидке розширення AWS, GCP і Azure, хмари не зможуть розмістити весь цей «дивовижний обсяг».

Таке попередження дають вчені з Астонського університету, які щосили намагаються розробити план, що не передбачає панічного будівництва додаткових серверів, які вже зараз щороку вимагають близько 1,5% світової електроенергії.

Щоб вирішити це питання, команда намагається створити нову технологію для виробництва поверхонь з каналами шириною менше 5 нм. Це приблизно в десять тисяч разів менше за ширину людського волосся. Що дозволить створювати більш енергоефективні конструкції. Інший варіант – системи зберігання даних на основі ДНК.

Професор Метт Деррі, який очолює проект, пише на сайті університету: «Просте будівництво нових ЦОДів без покращення технологій зберігання інформації не є життєздатним рішенням. Це може лише трохи відстрочити проблему».

«Ми все частіше стикаємося з ризиком так званої кризи зберігання даних, і світові гостро потрібні покращені рішення для зберігання інформації, які б займали менше місця і вимагали менше енергоресурсів».

Згідно з доповіддю Міжнародної корпорації даних (IDC), «наслідком зростання залежності від даних буде нескінченне, необмежене збільшення розміру глобальної сфери даних, до якого потрібно готуватися». Завантажити доповідь можна тут (обережно, завантажується pdf!).

У цій доповіді, зокрема, йдеться про те, що світовий обсяг даних, що зберігаються в 2019 році, становив 45 зеттабайт, але до 2025 року він збільшиться до 175 зеттабайт. Це збільшення більш ніж утричі. Один зеттабайт дорівнює трильйону гігабайт.Для його зберігання потрібно 240 млн 4-терабайтних жорстких дисків. Це 152 тисячі тонн чистої ваги металу, не кажучи вже про все інше.

"Якби ви могли зберігати всі глобальні дані на DVD, у вас був би стос дисків Blu-ray, який міг би доставити вас до Місяця 23 рази або облетіти Землю 222 рази", - йдеться у звіті IDC. І ця інформація скоро потроїться.

Різке зростання обсягу даних неминуче, і Деррі та його команда, як і десятки тисяч інших вчених, сподіваються знайти рішення до того, як час закінчиться.

Кумар Саркар, який нещодавно приєднався до команди Астонського університету, пише там, що «ми використовуватимемо передову хімію полімерів як спосіб концентрації даних. Збільшення їх обсягу, розташованого в кубічному сантиметрі носіїв. У нас зараз залишається лише цей шлях: підвищення ефективності існуючих технологій. Це дозволить знизити потребу бізнесу та споживачів у дуже дорогому та завданому збитку навколишньому середовищу обладнанню. Дозволить будувати менше нових мегацентрів обробки даних».

Вчений додає, що «наступні 3 роки для нас стануть вирішальними». Якщо не знайти спосіб зберігати та обробляти дані ефективніше, ціни на сервери неминуче зростатимуть. В результаті багато продуктів, які могли б знайти свою аудиторію та приносити користь, стануть неприбутковими і почнуть банкрутувати.

У 2010 році по всьому світу було створено та репліковано лише 2 ЗБ даних. Але це було лише через три роки після того, як Apple випустила свій перший iPhone, і лише через рік після виходу смартфонів Samsung на ринок. А ці два пристрої, ймовірно, започаткували ті темпи зростання обсягів даних, які ми спостерігаємо сьогодні. Несподівано кожен міг знімати відео де б він не знаходився. І люди могли переглядати це відео, де б вони не були. Один TikTok, з його 2,6 млрд. установок, «споживає» десятки петабайт даних щорічно. А Ютуб обробляє та зберігає близько 500-700 петабайт на рік.

Дані показують особливо різкий стрибок між 2019 і 2020 роками. З 41 ЗБ (зеттабайт) до 64,2 ЗБ. для своєї розваги.

IDC розбиває сховища даних на три категорії:

В кінцевих точках знаходяться різні пристрої поза мережею, такі як смартфони, ноутбуки, IoT і пристрої, що носяться, до периферії відносяться сервери в офісах, шлюзи і стільникові вишки.

Спершу необроблені дані передаються від кінцевих точок до периферії для аналізу, а потім транспортуються в ядро ​​для подальшого аналізу та довгострокового зберігання.

IDC прогнозує, що до 2025 року 80 % глобальних даних буде неструктурованим.

Міжнародна корпорація даних також прогнозує, що обсяг інформації, що збирається на периферії, у тому числі за допомогою різних IoT та сенсорних пристроїв, збільшуватиметься на 33% на рік. Rethink Data, до 2025 року майже 80% даних зберігатимуться в периферійних пристроях та в ядрі.

Вплив кінцевих точок поступово знижуватиметься: багатьом користувачам тепер достатньо і хромбуків майже без власної пам'яті, а колекції музики та відео все частіше зберігають не на своїх жорстких дисках, а в акаунтах на онлайн-сервісах. ще більша вага сфери даних у ядро.

До 2025 року на периферію прийде 22% від глобальної сфери даних.Тобто кінцеві користувачі зберігатимуть лише близько п'ятої частини від загального обсягу інформації.

IDC прогнозує, що 12,6 зеттабайта зберігатимуться в підприємствах — на жорстких дисках, флеш-пам'яті, стрічках та компакт-дисках. А хмарні провайдери керуватимуть 74% ємності. Для порівняння, зараз у хмарі зберігається близько 60% даних, а 2015-го було лише 30%.

Скільки всього інформації у світі

Журнал Science підрахував, що в період з 1986 до 2007 року було накопичено 295 ексабайт інформації. Чи багато це, яку цифру буде озвучено цього року і де зберігається вся ця інформація?

У перекладі на зрозумілі цифри до 2007 року людство накопичило 295 мільярдів гігабайт інформації. Цю кількість можна вмістити на 1,2 мільярди жорстких дисків об'ємом 250 Гб, а на кожну людину у світі припадає майже 50 Гб. Цікаве порівняння наводить Мартін Хілберт з Університету Південної Каліфорнії: якщо всю цю інформацію роздрукувати у книгах, то ними можна повністю покрити території США та Китаю у 13 шарах.

Враховуючи те, що кількість інформації подвоюється кожні два роки, можна вважати, що на сьогоднішній день ми вже маємо 600 ексабайт. Аналітики того ж таки університету стверджують, що за перші 300 000 років існування людства було накопичено всього 12 ексабайт. Зрозуміло, що до певного часу інформація зберігалася в аналоговому вигляді (тобто на паперових та інших носіях), але в 2002 цифрові носії обігнали аналогові.

За діаграмою видно, що найбільше інформації зберігається на жорстких дисках (52%), потім оптичні носії (28%) і замикають трійку різні цифрові стрічки (11%).

Нижче представлено 10 найбільших світових дата-центрів. Найбільший розташований у Чикаго, США, його площа понад сто тисяч квадратних метрів.

Скільки всього інформації у світі

Sources:

• World Population Prospect: The 2019 Revision - United Nations, Department of Economic and Social Affairs, Population Division (June 2019)
• International Programs Center на U.S. Census Bureau, Population Division

More info:

• Total global healthcare expenditure represent around 10% of world GDP
• Government portion of healthcare expenditure is around 60%

джерела та інформація:

• Global Health Expenditure Database - World Health Organization (WHO)
• World Health Statistics - World Health Organization (WHO)
• World Economic Outlook (WEO) - Міжнародний Monetary Fund (IMF)
• World Development Indicators (WDI) - World Bank

джерела та інформація:

• Human Development Report - United Nations
• Global Education Digest - Unesco Institute for Statistics (UIS)
• World Bank Public Expenditure Database - edstats - World Bank

• Car Production Statistics - International Organization of Motor Vehicle Manufacturers (OICA)
• Global Auto Report [Файл PDF] - ScotiaBank
• Light Vehicle Production Forecasts - IHS

• Як останні як 1965, bicycle and car production volumes були essentially the same, at nearly 20 million each por year, but as of 2003 bike production had climbed to over 100 million per year compared with around 50 million cars produced.

джерела та інформація:

• Elaboration of Worldwatch Institute data
• Bicycle Retailer and Industry News - Statistics

• Bowker Book Industry Statistics
• UNESCO Institute for Statistics (UIS) - (United Nations Educational, Scientific and Cultural Organization)

• World Development Indicators (WDI) - World Bank
• Measuring the Information Society - International Telecommunications Union (ITU)
• comScore
• GfK group

• The number shown above is net of reforestation

• Global Forest Resources Assessment (2010) - FAO

• CO2 Emissions shown are from Fuel Combustion

• International Energy Agency (IEA) Statistics
• Carbon Dioxide Information Analysis Center (CDIAC) - United States Department of Energy
• U.S. Energy Information Administration (EIA)

• Hunger Stats - United Nations World Food Programme
• World Health Report - World Health Organization (WHO)
• The State of the World's Children - United Nations Children's Fund (UNICEF)

• Annual Medical Spending Attributable To Obesity: Payer-And Service-Specific Estimates
  by:
  RTI International
  Agency for Healthcare Research and Quality - US Dept of Health and Human Services
  Centers for Disease Control and Prevention (CDC)
• America's Health Rankings (репорт з United Health Foundation, American Public Health Association and Partnership for Prevention)
• The U.S. Weight Loss & Diet Control Market - MarketData Enterprises, Inc., May 1, 2011
• America's Health Rankings (репорт з United Health Foundation, American Public Health Association and Partnership for Prevention)

• Global Water Outlook до 2025 - Міжнародний фонд політичних досліджень Institute (IFPRI) і Міжнародний water Management Institute (IWMI)

джерела та інформація:

• World Proved Reserves of Oil and Natural Gas, Most Recent Estimates - Energy Information Administration (EIA) - Data from BP Statistical Review, Oil & Gas Journal, World Oil, BP Statistical Review, CEDIGAZ, and Oil & Gas Journal.

• World Proved Reserves of Oil and Natural Gas, Most Recent Estimates - Energy Information Administration (EIA) - Data from BP Statistical Review, Oil & Gas Journal, World Oil, BP Statistical Review, CEDIGAZ, and Oil & Gas Journal.

Зворотний відлік до виснаження нафтових ресурсів:

джерела та інформація:

• World Proved Reserves of Oil and Natural Gas, Most Recent Estimates - Energy Information Administration (EIA) - Data from BP Statistical Review, Oil & Gas Journal, World Oil, BP Statistical Review, CEDIGAZ, and Oil & Gas Journal.

джерела та інформація:

• World Proved Reserves of Oil and Natural Gas, Most Recent Estimates - Energy Information Administration (EIA) - Data from BP Statistical Review, Oil & Gas Journal, World Oil, BP Statistical Review, CEDIGAZ, and Oil & Gas Journal.