Підтримка роботи базового координаційного грід-центру національного рівня в Інституті теоретичної фізики ім. М.М. Боголюбова (3 етап)

20.04.2013
 

Мета проекту: 

Метою роботи є підтримка роботи Регіонального Операційного Центру EGI,  який створено у 2012 році на основі Базового координаційного грід–центра національного рівня в Інституті теоретичної фізики та підримка кореневих грід сервісів, які забезпечують функціонування  грід-інфраструктури України (NGI_UA) як частини EGI.eu  та розгортання нових грід сервісів які забезпечуть розвиток грід-інфраструктури України та подальшу інтеграцію до  європейської і світової грід-інфраструктури.

 

Головна організація проетку: Інститут теоретичної фізики ім. М.М. Боголюбова, веб-сайт: http://www.bitp.kiev.ua/

Керівник проекту: Свістунов Сергій Якович, електронна пошта: svistunov_at_bitp.kiev.ua

 

 

Зміст проекту: 

              Надійне і безперебійне функціонування БКЦ, та Регіонального Операційного Центру, який створено у 2012 році, є однією з необхідних умов забезпечення надійного функціонування  національної грід ініціативи NGI_UA як частини європейської грід – інфраструктури проекту EGI. Роботи по підтримці функціонування та по забезпеченню безперебійної роботи технічного обладнання включають комплекс заходів щодо щорічного технічного обслуговування  системи кондиціювання, системи безперебійного електроживлення, серверів управління, створення резервних копій. Ці роботи  передбачається виконувати як власними співробітниками так і з залученням фахівців спеціалізованих компаній, з якими у ІТФ є договори на технічне обслуговування відповідного обладнання.

            В 2012 році успішно завершилися роботи по сертифікації кореневих сервісів національної грід-ініціативи України, побудован  в ІТФ Ресурсний операційний центр Української національної грід- інфраструктури (NGI_UA) та виконана інтеграція на технічному рівні грід- інфраструктури України до європейської грід – інфраструктури проекту EGI.

            В 2013 році планується виконати наступні роботи:

  • підтримка роботи та розвиток системи тестування  доступності грід – сайтів (Nagios monitoring EGI) для грід-сайтів учасників NGI_UA та промислова експлуатація системи тестування доступності грід – сайтів УНГ;
  • підтримка роботи, забезпечення надійності та розвиток центральних сервісів NGI_UA, а саме: системи WMS (системи керування завантаженням), Top-BDII (інформаційна система верхнього рівня), MyProxy (мережеве сховище сертифікатів), SGAS  (система обліку використання ресурсів для ARC), GGUS проекту EGI.eu (системи підтримки грід – користувачів );
  • атестація грід-сайтів УНГ які підключаються до  NGI_UA згідно правил EGI и реєстрація ВО в структурі EGI;
  • забезпечення роботи команда оперативних чергових NGI_UA,  розшірення кола учасників ROD team (команда оперативних чергових) та проведення навчання команди оперативних чергових, менеджерів сайтів, адміністраторів грід—сайтів, відповідальних за безпеку грід-сайтів ;
  • забезпечення постійного контролю за функціонуванням грід- інфраструктури NGI_UA за допомогою системи Dashboard проекту EGI та оперативне реагування на возможні помилки в роботі;
  • моніторинг  нових документів та змін в документах EGI та відповідне внесення змін до нормативних документів УНГ;
  • оновлення проміжного програмного забезпечення до версії EMI-3.

        Основним проміжним програмним забезпеченням, що використовується для роботи УНГ є NordugridARC. На кінець 2012 року в грід інфраструктурі УНГ було 38 сайтів під керуванням NordugridARC з них 12 було сертифіковано  в інфраструктурі EGI. Однак при виконанні ціх робіт було виявлено ряд проблем, що обумовлені відсутністю програмних компонентів NordugridARC. Перелічимо основні: відсутність засобів забезпечення надійності оновлення списків користувачів віртуальних організацій з серверу VOMS утилітою nordugridmap при вході з ладу каналів зв’язку, що призводить до неможливості прийому задач через GridFTP інтерфейс  та відповідно зниження показників доступності NGI_UA; відсутність штатних засобів для запуску багатопроцесорних задач в NordugridARC, зокрема, при використанні локальної системи керування завданнями PBS, що ускладнює роботу українських ВО; неможливість надсилати статистику використання ресурсів кластерами під керуванням NordugridARC до EGI, що не дозволяє кількісно врахувати внесок NGI_UA у європейську грід-інфраструктуру.

         Для вирішення проблем інтергації грід-сайтів УНГ під керуванням NordugridARC до європейської грід-інфраструктури EGI у 2013 році планується: розробити нову версію програмного забезпеченням nordugridmap з врахуванням необхідності забезпечення надійності; розробити програмне забезпечення контролю доступу до черг локального планувальника ресурсів для забезпечення безперебійного проходження тестів у грід-інфраструктурах EGI при високих завантаженностях кластерів УНГ; розробити оновлений провайдер інформаційної системи NordugridARC для локальної системи керування ресурсами PBS, що реалізує публікацію параметрів багатопроцесоних задач та структурує відомостіпро ресурси відповідно до специфікації GLUE2 програмного забезпечення EGI; налагодити та перевірити роботу у складі NordugridARC засобів збору та надсилання статистики використаних ресурсів NGI_UA до EGI; створити документацію до розробленого програмного забезпечення та включити її до складу офіційної документації NordugridARC.

          В 2013 році планується подовження робіт по підтримці та розвитку кореневих сервісів керування грід інфраструктурою УНГ, яка об’еднує грід сайти УНГ. К таким сервісам відносяться:  система моніторингу доступності грід-сайтів http:// 194.44.37.210/nagios/ ;  система підтримки грід користувачів; система обліку використання ресурсів УНГ; система моніторингу.  Зокрема для системи обліку використання ресурсів УНГ розробити нову систему формування звітів щодо використання ресурсів користувачами та віртуальними організаціями.

В 2013 році планується  підтримка та подальшій розвиток тестової навчальної грід – інфраструктури єдиного проміжного програмного забезпечення грід UMD (Unified Middleware Distribution), проекту European Middleware Initiative (EMI): оновлення проміжного програмного забезпечення до версії  EMI-3; встановлення проміжного програмного забезпечення UNICORE та GLOBUS 4; оновлення інструкцій і курсів лекцій для користувачів з використання грід – технологій; встановлення необхідного прикладного програмного забезпечення для функціонування віртуальної організації bitpedu та bitp.

      Для розширення кола грід користувачів в 2013 році планується  розробити спеціалізований портал для  розміщення  лекційних курсів у вигляді файлів з лекціями, посилань на літературу, відеоматеріалів,  домашніми завданнями й тестами для поточної перевірки  засвоєння  відповідного матеріалу.  Портал буде мати можливість адміністрування викладачем свого курсу, спілкування зі студентами у вигляді бесіди (чата) і форуму, а також  систему виводу оцінок  виконання домашнього завдання й тестування. Для забезпечення відеотрансляцій, конференцій та семінарів планується використання програмного забезпечення відкритого типу Apache meeting або BigBluebutton.

            В 2013 році планується підтримка веб-сайтів ВО "Інфраструктура" та «Базовий Координаційний Центр» для інформування користувачів о подіях в українському та міжнародному грід – співтоваристві, рекламування грід - технологій і досягнень грід – товариства, оновлення інструкцій для користувачів та адміністраторів грід-сайтів, розміщення навчальних матеріалів центру підготовки грід-користувачів, представлення результатів моніторингу грід-сайтів. В рамках веб-сайту буде подовжено супроводження форуму для користувачів з метою роз'яснення правил і системи функціонування грід -середовища, вирішення проблемних питань грід - технологій, обмін практичним досвідом користувачів і адміністраторів грід - сайтів.

   В 2013 році планується проведення чергової заключної робочої конференції представників Української національної грід інфраструктури для обговорення результатів виконання програми та подготовки заключного звіту. 

Однією з важливих робіт є підготовка технічних та організаційних умов для створення загального пулу грід ресурсів спільного користування УНГ з приоритетним виконанням грід завдань. Грід кластер ІТФ буде включено в даний загальний пул грід ресурсів спільного користування. На поточний момент грід кластер ІТФ (13 обчислювальних серверів, 112 ядер) виконує завдання як локальних користувачів, так і користувачів з багатьох інститутів Академії наук. Технічні заходи передбачають збільшення потужності обчислювального кластера до 230 ядер. Додатково планується встановлення 2 нових керуючих серверів для розміщення центральних сервісів грід для УНГ.  Кластер буде розміщено в Дата центрі ІТФ і не потребує додаткових вкладень в допоміжне обладнання.  Всі придбані та встановлені додаткові сервери будуть включено в загального пулу грід ресурсів спільного користування УНГ з приоритетним виконанням грід завдань.

   В 2013 році будуть подовжені  роботи по підтримці кластера ALICE-BITP для забезпечення гарантованого виконання завдань по обробці даних експерименту ALICE в ЦЕРН.

          В  2013 році подовжаться роботи по інтеграції грід сервісів та технології хмарних обчислень. Впровадження хмарних технологій дозволить об'єднати три окремих обчислюваних кластери ІТФ у єдину обчислювану мережу за допомогою відкритого  програмного забезпечення Openstack та гипервізорів Xen server або KVM. Завдяки використанню центрізованого сховищу образів віртуальних машин буде забезпечена  маштабованість, централізоване управління обчислюваними нодами та керуючими серверами, налагодження ефективної та надійної системи резервування даних, що відповідає вимогам HPC комп'ютингу, ефективний розподіл наявних ресурсів та балансування навантаження.

   В 2013 році планується подовження робіт по удосконавленню нормативної бази УНГ. Основним регламентуючим документом для подальшого розвитку грід-інфраструктури є документ – Угода про надання послуг Віртуальним організаціям (SLA – Service Level Agreement ). Дана угода, крім опису послуг, які надають грід-сайти  і операційний центр (центральні сервіси) у рамках інтегрованої грід- інфраструктури визначає умови надання обчислювальних  ресурсів, ресурсів зберігання, прикладного програмного забезпечення, а також визначає кількісні параменти і якость надання грід послуг.  Створення процедури функціонування договорів SLA дозволить забезпечити перехід від надання послуг окремо взятим  грід сайтом до надання послуг Віртуальним організаціям усією грід-инфраструктурой.

          Для впровадження угоди  SLA в  2013 році планується: розробити  угода про рівень сервісів віртуальних організацій УНГ; провести обговорення інтегрованих регламентів і мінімально припустимих сервісів ( мінімальний обсяг процесорів, мінімальний обчислювальний час, максимальний час простою грид-завдань і ін.); створити інтегрований католог сервісів грід-інфраструктури і умови надання кожного сервісу ; формалізувати процедуру включення нового сервісу в каталог; формалізувати процедуру проведення  обговорення, укладення та припинення угод SLA ; створити систему моніторингу виконання угод SLA ; створення щомісячних (accounting) звітів за результами роботи з SLA угодами.

         Впровадження таких регламентів у грід-співтовариство дозволить вийти на Європейський рівень надання грід-сервісів, забезпечить активну взаємодію між користувачами грід сервісів і грід-сайтами і операційними центрами, які надають ці  сервіси, що дасть додатковий поштовх до розвитку самої грід-инфраструктуры.