Як перенести великі дані на хмарні сервіси і зробити це найбезболісніше?
Міграція критичної цифрової інфраструктури університету в хмару – завдання із зірочкою. Але приклад найбільшого в Україні технічного університету – КПІ ім. Ігоря Сікорського – доводить, що й в умовах війни та блекаутів подібне завдання можна виконати в стислі терміни й силами невеликої команди. Варто лише не йти второваними бюрократичними шляхами, а знайти підтримку комʼюніті й правильно розставити пріоритети. Як КПІ переходив у хмару, розповідає к.т.н., IT-консультант Андрій Губський, який допомагав університету переносити дані
У Forbes Ukraine є спільнота в LinkedIn. Там ми пишемо практичні кейси компаній, розповідаємо про інноваційну економіку та публікуємо поради з особистого розвитку і управління командою. Жодних новин. Приєднуйтесь за цим посиланням
Серед айтівців є жарт, що люди поділяються на тих, хто робить резервні копії, і тих, хто вже робить резервні копії. Багатьох перейти в табір «вже» змусили зимові атаки на українську енергетичну інфраструктуру.
Водночас частину даних вдалось убезпечити раніше. Влітку минулого року Amazon озвучив, що за перші місяці повномасштабного вторгнення РФ в Україну на його сервіси мігрувало понад 10 ПБайт даних від державних органів, банківської та освітньої систем України.
Великі дані – великий виклик
Осінь 2022-го поставила руба питання про зберігання даних КПІ ім. І. Сікорського в хмарних сервісах. Перші розмови про таку потребу почалися з 2011 року. Але тільки після обстрілів і відключень електроенергії це стало очевидним і нагальним питанням.
Через перебої зі світлом почали відмовляти різні університетські сервіси. Необхідно було гарантувати доступ хоча б до критично важливих, повʼязаних із навчальним процесом.
Перенести дані одного з найбільших університетів країни – великий виклик. Однак вже до кінця 2022-го вдалося налагодити співпрацю з Amazon, підготувати й перенести дані КПІ на Amazon Web Servicies. І зробити це так, щоб мати змогу за потреби пройти аналогічну міграцію ще раз, але вже за коротші терміни. Але у процесі ми зіштовхнулися з кількома перешкодами.
Що це за виклики та як їх подолати? Це допоможе заощадити час, нервові клітини та гроші тих, хто теж вирішив перенести свої дані.
Використовуйте силу слабких звʼязків
Коли постало питання про безперебійну роботу інфраструктури під час відключень, було два варіанти дій: встановити генератори на власні потужності або перенести дані у хмару.
Однак університетські механізми дуже повільні й переповнені бюрократією. Запит за запитом – і будь-який із цих варіантів, якби його ініціював саме університет, міг би сильно затягнутися, а проблема була нагальною. Тому ми вирішили безпосередньо звертатися за допомогою до Мінцифри, яке вже тоді мало успішний досвід у подібних процесах.
За рекомендацією моїх близьких знайомих ми вийшли на контакт з Антоном Мельником, радником міністра цифрової трансформації, який відповідає за комунікацію з технологічними корпораціями. Він швидко відгукнувся і сконтактував нас з Amazon. Уже за тиждень ми обговорювали з командою Amazon PL, як організувати перенесення.
Висновок – у критичних ситуаціях інколи важливо діяти не відповідно до ієрархічної структури організації, а йти шляхом прямих комунікацій. Сила таких контактів – у заощадженні часу та нервів.
Якщо ви потребуєте допомоги – говоріть про це, особисто чи в соцмережах. Якщо ви ще й неприбуткова організація, у вас за замовчуванням є певні переваги: державні органи, консультанти або потенційні партнери зазвичай навіть більш відкриті до співпраці з громадськими та неурядовими ініціативами.
Переносьте дані розумно
Після погодження технічних деталей Amazon Web Servicies надав КПІ грант в обсязі 500 000 грн у вигляді віртуальних кредитів на спеціальний акаунт університету. Грант покривав пів року, відведених на реалізацію проєкту.
Йшлося саме про оперативне перенесення у хмару критичних компонентів. Тому спершу ми розставили пріоритети й вирішили переносити дані, від яких безпосередньо залежав поточний навчальний процес і робота університету.
Але постала очевидна ключова проблема – технічний борг, зокрема несумісність застарілого програмного забезпечення університету з компонентами хмарного сервісу. На розробку додаткового програмного продукту не було часу й інженерних ресурсів.
Тому ми розробили послідовний план міграції й застосували технологію контейнеризації Docker. Це індустріальний стандарт, який підтримують всі великі хмарні провайдери, такі як Azure, AWS, GCP чи DigitalOcean.
Процес розгортання контейнера достатньо простий і підходить для роботи з технічним боргом застарілого ПЗ. А головний бонус – це швидкість розгортання такого софту.
Якщо дані доведеться переносити на інший хмарний сервіс, цей процес для того самого обсягу вже займатиме не місяці, а дні чи максимум тижні.
Наша команда з чотирьох людей змогла за місяць підготувати критично важливі сервіси КПІ до роботи в хмарному середовищі й перенести їх у хмару. Запорукою цього стали такі вимоги:
- Вносити лише мінімальну кількість дійсно необхідних змін у наявні сервіси.
- Повноцінно використовувати можливості хмарної платформи.
- Робити фінальне технологічне рішення зрозумілим для співробітників університету, які його супроводжують.
Тож за місяць дані КПІ вже були на AWS.
Основні tips and tricks для легкого переходу у хмару
Серед головних висновків цього проєкту – ще до початку процесу перенесення даних обовʼязково розставте пріоритети. Визначте, який обсяг даних критично важливо перенести – не завжди це має бути абсолютно все.
Краще обирати поширеніші на ринку хмарні рішення: їх простіше використовувати на різних майданчиках та легше знайти необхідних інженерів.
Розгляньте зберігання у хмарі крізь призму майбутніх кроків. Дані й команда мають бути технічно готовими до наступного можливого «переїзду» і мати змогу зробити це швидко.
Якщо скласти ключові поради для власників бізнесу та, наприклад, керівників вишів, які готуються до міграції даних у хмару, список вийшов би таким:
1. Складіть перелік критичних і некритичних сервісів для ваших бізнес-процесів.
2. Оцініть складність міграції в хмару кожного із сервісів.
3. Мігруйте послідовно:
- критичні сервіси, які легко перенести;
- критичні сервіси, які складно перенести;
- некритичні сервіси, які легко перенести;
- некритичні сервіси, які складно перенести.
4. Не намагайтеся закрити весь свій технічний борг одночасно, щоб перенести все й одразу. Робіть це поступово.
Згадка про нещодавні блекаути досить швидко стирається, що прикро. Багатьом здається, що даним вже ніщо так сильно не загрожує. Але річ не лише в підготовці до відсутності електроенергії. Деякі загрози для безпеки даних в Україні не залежать від сезону. Це і російські кіберзлочинці чи ймовірність фізичного знищення серверів через ракетні обстріли.
Тож для підприємців, керівників держорганів, університетів, які досі зберігають дані чи їхні резервні копії лише на серверах в Україні, саме зараз ідеальний час, аби подумати про хмару. Це легше реалізувати, адже немає цейтноту і додаткового стресу через блекаути. Низка фондів і бізнесів допомагають іншим організаціям з пошуком фінансування чи із забезпеченням процесу самої міграції даних.
Досліджуйте вже реалізовані успішні кейси, аби уникнути помилок і заощадити свій час. Не соромтеся гуглити, контактувати й зважуватися на такі проєкти.
