Лаборатория параллельных информационных технологий
Зав. лабораторией д.ф.-м.н., чл.-корр. РАН Воеводин Владимир Валентинович
Тел.: 939-2347, 939-5166    E-mail: voevodin@vvv.srcc.msu.ru
    Основные направления работ
    Область научных исследований
    Научные результаты
    Представление результатов в сети Интернет
    Педагогическая деятельность
    Основные публикации
    Состав лаборатории
    Предложения по сотрудничеству

Основные направления работ и проекты
  1. Анализ эффективности параллельных программ и суперкомпьютерных систем
  2. Суперкомпьютерное образование
  3. Сопровождение и развитие суперкомпьютерного комплекса.
  4. Информационно-аналитический центр по параллельным вычислениям Parallel.ru
  5. Список Top50 самых мощных суперкомпьютеров СНГ.
  6. X-Com – разработка системы формирования распределенных неоднородных вычислительных сред.
  7. Коллективный банк тестов Сигма.
  8. Научно-образовательный центр суперкомпьютерных технологий - НОЦ СКТ
  9. Система создания и сопровождения web-представительств научных мероприятий Агора.
  10. Интернет-центр “Мемориальная музей-квартира А.Белого”.
  11. “Московский университет на рубеже 19-20 вв.: литературная среда, семейные традиции”.
  12. «Музей российской печати»
  13. Cleo – система управления заданиями на кластерных системах.
  14. Система ParCon и сертификация эффективности параллельных программ в кластерных вычислительных системах (Cleo-AntMon-ParCon).
  15. Вычислительный полигон, процессорный полигон, Performance Guide.
  16. Мониторинг и исследование динамических характеристик программно-аппаратных сред.
  17. Совместный центр МГУ-Интел по высокопроизводительным вычислениям.
  18. Проведение исследований в области GP-GPU.
  19. Организация и проведение конференций :Всероссийской научной конференции "Научный сервис в сети Интернет", Абрау; ПаВТ(«Параллельные вычислительные технологии»).
  20. Организация и проведение научных семинаров Parallel.ru.
  21. Сопровождение и развитие локальной сети НИВЦ.
  22. Экскурсии для школьников на суперкомпьютерный комплекс НИВЦ МГУ.
Область научных исследований
  • Область научных интересов сотрудников лаборатории обширна и включает такие области, как параллельные вычисления, математические методы исследования тонкой структуры программ, методы описания и анализа архитектуры компьютеров, технологии параллельного программирования, методы оптимизации программ для суперкомпьютеров и параллельных вычислительных систем, теория схем программ, Интернет-технологии и оргинизация распределенных вычислений, метакомпьютинг, электронные системы в образовании.

Научные результаты
  1. Выполнены работы второго этапа проекта «Создание системы подготовки высококвалифицированных кадров в области суперкомпьютерных технологий и специализированного программного обеспечения» Комиссии при Президенте Российской Федерации по модернизации и технологическому развитию экономики России, где лаборатория Параллельных информационных технологий НИВЦ МГУ имени М.В.Ломоносова выполняет роль координатора всех работ проекта. В результате выполнения проекта Система суперкомпьютерного образования охватила организации семи федеральных округов Российской Федерации. Всего в 2011 году в выполнение проекта было вовлечено 62 высших учебных заведений России. Программы массовой подготовки специалистов начального уровня по суперкомпьютерным технологиям охватили 1824 специалиста, переподготовку и повышение квалификации прошли 166 специалистов, целевую интенсивную подготовку в области суперкомпьютерных технологий в рамках 18 специальных групп успешно закончили 427 человек, обучение в области СКТ через Интернет-университет суперкомпьютерных технологий прошёл 251 слушатель. Организовано и проведено 3 научные конференции, 2 молодежные школы, 1 научный конкурс в области суперкомпьютерных технологий, начали работу 8 регулярных научных семинаров; всего в подобных мероприятиях приняло участие более 1000 человек. Подготовлено 26 книг, монографий и учебных пособий по взаимодополняющим областям суперкомпьютерных технологий, разработано или расширено 37 учебных курсов. В рамках международного сотрудничества разработаны 3 совместные образовательные программы с ведущими зарубежными университетами, привлечено 24 ведущих зарубежных ученых для научной и преподавательской деятельности, заключено 47 соглашений с зарубежными организациями об установлении партнерских отношений в области СКТ. Основные текущие результаты данного проекта постоянно отражаются на страницах Интернет-центра hpc-education.ru.

  2. В рамках международного проекта РФ-ЕС, реализуемого по 7-й рамочной программе FP7-ICT-2011-EU-Russia, создан прототип базовой части комплекса для анализа эффективности работы параллельных программ и суперкомпьютерных систем.
    Целью данного проекта является разработки комплекса технологий и программных средств, направленных на существенное повышение эффективности использования параллельных вычислительных систем и суперкомпьютеров.
    Важными особенностями комплекса являются: переносимость, модульность, открытость архитектуры, крайне малый объем накладных расходов, мощность средств анализа данных о динамике параллельных программ. Комплекс изначально проектируется так, чтобы отвечать как на вопросы пользователей об эффективности их программ, так и на вопросы администраторов об эффективности работы суперкомпьютерной системы в целом. Опираясь на развитые средства поиска признаков низкой эффективности, комплекс дает возможность определить и устранить причины такой ситуации.
    Результаты работ по проекту могут быть использованы в крупнейших суперкомпьютерных центрах России, в частности, на системах, входящих в первую десятку самых мощных суперкомпьютеров СНГ (www.supercomputers.ru). В настоящее время прототип проходит тестовые испытания на суперкомпьютерах «Чебышев» и «ГрафИТ!» суперкомпьютерного комплекса МГУ.

  3. Обеспечена эффективная поддержка суперкомпьютерного комплекса МГУ, являющегося самым мощным суперкомпьютерным центром России, и включающим суперкомпьютеры "Чебышёв", "ГрафИТ!" и "Ломоносов". В поддержку входит технический и системный мониторинг, обеспечение работоспособности оборудования и системного программного обеспечения, установка обновлений, ежедневная поддержка пользователей суперкомпьютеров - решение технических вопросов, помощь в освоении суперкомпьютеров, консультации.
    Суперкомпьютер "Чебышёв" имеет пиковую производительность 60 ТераФлопс и содержит 625 вычислительных узлов, каждый из которых имеет два процессора Intel Xeon E5472 3.0 ГГц, 2 управляющих узла, и 2 узла мониторинга. Общее число вычислительных процессорных ядер - 5000, общий объём оперативной памяти - 5.5 Тбайт, объём дисковой памяти узлов - 15 Тбайт. Вычислительная сеть - InfiniBand DDR, служебная сеть - Gigabit Ethernet. Объём распределённого сетевого хранилища - 60ТБ. Суперкомпьютер работает под управлением ОС AltLinux HPC 4.1, в качестве паралелльной среды используются реализации MPI mvapich, openmpi и IntelMPI в сочетании с компиляторами Intel, GNU, Pathscale и PGI.
    Суперкомпьютер "Ломоносов" имеет пиковую производительность 1700 ТераФлопс и содержит 5097 вычислительных узлов, каждый из которых имеет два процессора Intel® Xeon X5570 Nehalem, а также служебный кластер, включающий более 20 узлов. Общее число вычислительных процессорных ядер - 51790 ядер, число ядер графических ускорителей - 1096950, общий объём оперативной памяти - 83244 Тбайт, объём дисковой памяти узлов - 166400 Тбайт. Вычислительная сеть - InfiniBand QDR, служебная сеть - Gigabit Ethernet. Объём распределённого сетевого хранилища - 1350 ТБ. Суперкомпьютер работает под управлением ОС ClustrX, в качестве паралелльной среды используются реализации MPI mvapich, openmpi и IntelMPI в сочетании с компиляторами Intel, GNU и Pathscale.
    Общее число научных групп, использующих возможности суперкомпьютерного комплекса Московского университета, более 550. В 2011 году через вычислительный практикум с использованием суперкомпьютеров "Ломоносов" и "Чебышев" прошли более 500 студентов.

  4. Коллективный банк тестов Сигма
    С помощью коллективного банка тестов СИГМА университеты из разных городов России проводят тестирование уровня знаний множества студентов в области параллельных вычислений и суперкомпьютерных технологий.
    Банк тестов был использован в рамках программы сертификации Intel и проекта Суперкомпьютерное Образование. Всего за 2011 год было создано более 50 тестов и проведено более 150 тестирований, которые были пройдены студентами суммарно около 2500 раз.

  5. Информационно-аналитический центр по параллельным вычислениям Parallel.ru
    В течение 2011 года осуществлялась поддержка ведущего российского сайта по параллельным вычислениям - Информационно-аналитического центра Parallel.ru. На сайте регулярно публикуются новости, размещаются аналитические материалы, осуществляется регулярная информационная рассылка. В конце 2011 года был осуществлён перевод Информационно-аналитического центра Parallel.ru на новую технологическую платформу.

  6. X-Com – разработка системы формирования распределенных неоднородных вычислительных сред
    Система метакомпьютинга X-Com [http://x-com.parallel.ru] предназначена для быстрого развертывания и проведения распределенных расчетов. Система представляет собой инструментарий для адаптации и поддержки выполнения программ в распределенных неоднородных средах. Система поддерживает среды с десятками тысяч вычислительных узлов (процессоров), обеспечивает корректную работу в условиях высокой динамичности состава среды, не требует административного доступа к ресурсам, содержит модули взаимодействия с известными системами управления заданиями на суперкомпьютерах. Система X-Com написана на языке Perl, что обеспечивает ее работоспособность на подавляющем большинстве современных программно-аппаратных платформ.

  7. Проведение исследований в области GP-GPU
    Продолжаются работы по использованию расширяемых языков для программирования ГПУ. В рамках разработанной системы NUDA (=Nemerle Unified Device Architecture) реализован ряд новых возможностей, таких как использование на ГПУ перегруженных функций и операций, использование полей классов в ГПУ-ядрах, аннотация редукции, а также использование обычных массивов в ГПУ-ядрах. Разработана библиотека libgpuvm, позволяющая автоматизировать обмен данными между хостом и ГПУ с помощью обработки страничных прерываний в пространстве пользователя. Разработанная библиотека используется в системе NUDA для снижения накладных расходов при использовании обычных массивов в ГПУ-ядрах. В рамках совместного гранта РФФИ-ЮАР № 11-07-93960-ЮАР_а по исследованию эффективности ГПУ-приложений разработана система тестов для определения базовых характеристик производительности различных графических процессоров. С использованием системы NUDA разработано (совместно с механико-математическим факультетом) приложение, реализующее метод характеристик для поиска коллизий криптографической хэш-функции SHA-1. При помощи разработанного приложения на ГПУ-разделе суперкомпьютера "Ломоносов" удалось построить коллизию для урезанной до 75 раундов хэш-функции SHA-1, что в настоящее время (февраль 2012) является мировым рекордом.

  8. Список Top50 самых мощных суперкомпьютеров СНГ
    Чтобы помочь правильно сориентироваться в мире высокопроизводительных вычислительных систем и иметь возможность оперативно отслеживать тенденции развития данной области, Научно-исследовательский вычислительный центр МГУ имени М.В.Ломоносова и Межведомственный суперкомпьютерный центр РАН в мае 2004 года начали совместный проект по формированию списка 50 наиболее мощных компьютеров СНГ (top50.supercomputers.ru), предоставляя, по возможности, как можно более подробную информацию по системам: используемая аппаратная платформа, программное обеспечение, коммуникационная среда, область применения и т.д.
    Рейтинг публикуется два раза в год: весной и осенью, т.е. квартальным сдвигом относительно объявления очередных редакций мирового рейтинга Тор500.

Представление результатов в сети Интернет
  1. sigma.parallel.ru - Коллективный банк тестов «СИГМА»
  2. mediamuseum.guru.ru - Сайт «Музей российской печати»
  3. agora.guru.ru - Организация и проведение конференций
  4. agora.guru.ru/abrau - Организация и проведение конференций
  5. agora.guru.ru/pavt - Организация и проведение конференций
  6. agora.guru.ru/parallel - Научный семинар PARALLEL.RU
  7. x-com.parallel.ru - Разработка системы формирования распределенных неоднородных вычислительных сред
  8. hpc.msu.ru - Суперкомпьютерный консорциум Университетов России
  9. www.parallel.ru - Информационно-аналитический центр по параллельным вычислениям Parallel.ru
  10. parallel.ru/cluster - Суперкомпьютерный комплекс МГУ
  11. gpu.parallel.ru - Проведение исследований в области GP-GPU
  12. msu-intel.parallel.ru - Совместный центр МГУ-Интел по высокопроизводительным вычислениям
  13. hpc-education.ru - СКО-Суперкомпьютерное образование
  14. nuda.sf.net - Проект NUDA — работы по расширяемому программированию
  15. sf.net/projects/cleo-bs - Система управления заданиями
  16. sf.net/projects/antmon - Система мониторинга вычислительных кластеров
  17. msu.hpc-education.ru - Научно-образовательный центр «СКТ-Центр»
  18. top50.supercomputers.ru - рейтинг суперкомпьютерных систем СНГ
  19. github.com/canonizer/libgpuvm - Проект libgpuvm-Автоматизация передачи данных между хостом и ГПУ при помощи обработки страничных прерываний в пользовательском режиме
Педагогическая деятельность
  • Сотрудники лаборатории читают основные и специальные курсы на факультете ВМиК МГУ, являются руководителями спецсеминаров, руководителями курсовых и дипломных работ студентов, научными руководителями аспирантов

Основные публикации
  1. Воеводин Вл.В. Статистические оценки возможности выявления параллельной структуры последовательных программ //Программирование. 1990, №4. C.44-54.
  2. Воеводин Вл.В. Теория и практика исследования параллелизма последовательных программ // Программирование. 1992. N3. C.38-53.
  3. Воеводин Вл.В., Капитонова А.П. Методы описания и классификации архитектур вычислительных систем.- Изд-во Моск. университета, 1994. 79 с.
  4. Voevodin V.V., Voevodin Vl.V. V-Ray Technology: a New Approach to the Old Problems. Optimization of the TRFD Perfect Club Benchmark to CRAY Y-MP and CRAY T3D Supercomputers.-- Proc. of the High Performance Computing Symposium'95, Phoenix, Arizona, USA, 1995.- p.380-385.
  5. Воеводин Вл.В. Легко ли получить обещанный гигафлоп? // Программирование. 1995. N4. C.13-23.
  6. Антонов А.С., Воеводин Вл.В. Эффективная адаптация последовательных программ для современных векторно-конвейерных и массивно-параллельных супер-ЭВМ. // Программирование. 1996. N4, С.37-51.
  7. Воеводин Вл.В. Точное описание входных и выходных данных программ // Вестн. Моск. ун-та. Сер. 15, Вычислительная математика и кибернетика, N1, 1997г. С.41-44.
  8. Андреев А.Н., Воеводин Вл.В., Жуматий С.А. Кластеры и суперкомпьютеры - близнецы или братья? // Открытые системы, 2000, N5-6, С.9-14.
  9. Воеводин В.В., Воеводин Вл.В. ЛИНЕАЛ: электронная энциклопедия по линейной алгебре // Вычислительные методы и программирование.-М.: Изд-во МГУ, 2002. Т.3, N1, С.131-140.
  10. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.:БХВ-Петербург, 2002. - 608 с.
  11. Воеводин В.В., Воеводин Вл.В. Электронные образовательные средства: новые идеи // Вычислительные методы и программирование.-М.: Изд-во МГУ, 2003. Т.4, N1, С.207-212.
  12. Воеводин Вл.В., Филамофитский М.П. Суперкомпьютер на выходные // Открытые системы. 2003, N5,С.43-48.
  13. Жуматий С.А. ParCon - Универсальное решение для вычислительных кластеров // "Научный сервис в сети Интернет". Труды всероссийской научной конференции, 2004 г. - М: Изд-во МГУ, 2004 - С. 270.
  14. Антонов А.С. Параллельное программирование с использованием технологии MPI: Учебное пособие. - М.: Изд-во МГУ, 2004. - 71 с.
  15. Воеводин Вл.В. Top500: числом или уменьем? (http://www.osp.ru/os/2005/10/380430/) //Открытые системы. 2005, N10, С.12-15.
  16. Воеводин В.В., Воеводин Вл.В. Энциклопедия линейной алгебры. Электронная система ЛИНЕАЛ (http://parallel.ru/news/bhv_lineal.html) - СПб.: БХВ-Петербург, 2006. - 544 с.
  17. Антонов А.С. Далеко ли до пика?// Открытые системы, N 6, 2006. С. 64-66. (http://www.osp.ru/text/302/2700523/)
  18. Воеводин Вл.В., Жуматий С.А. Вычислительное дело и кластерные системы (http://parallel.ru/info/parallel/cluster/). -М.: Изд-во МГУ, 2007. - 150 с.
  19. Воеводин Вл.В. Решение больших задач в распределенных вычислительных средах (http://parallel.ru/news/x-com.pdf). //Автоматика и Телемеханика. 2007, N5, С. 32-45.
  20. Соболев С.И. Использование распределенных компьютерных ресурсов для решения вычислительно сложных задач // Системы управления и информационные технологии. 2007, №1.3 (27). С. 391-395.
  21. С.И. Соболев. Эффективная работа распределенных вычислительных средах // Численные методы, параллельные вычисления и информационные технологии. 2008. 249-258.
  22. Антонов А.С. СКИФ МГУ - основа Суперкомпьютерного комплекса Московского университета// Вторая Международная научная конференция "Суперкомпьютерные системы и их применение" (SSA'2008): доклады конференции (27-29 октября 2008 года, Минск).- Минск: ОИПИ НАН Беларуси, 2008. С. 7-10.
Состав лаборатории

  • Воеводин Вл.В., зам. директора, зав. лаб, чл.-корр. РАН, д.ф.-м.н.
  • Антонов А.С., к.ф.-м.н., вед.н.сотр.
  • Антонова А.П., прогр. 2 кат.
  • Воеводин В.В., к.ф.-м.н., н.сотр.
  • Гамаюнова Т.С., прогр. 2 кат.
  • Донгарра Джеф Джозеф, проф., вед.н.сотр.
  • Жуматий С.А., к.ф.-м.н., вед.н.сотр.
  • Никитенко Д.А., к.ф.-м.н., н.сотр.
  • Рощина О.П., прогр. 1 кат.
  • Сидоров И.Ю., прогр. 2 кат.
  • Соболев С.И., к.ф.-м.н., ст.н.сотр.
  • Стефанов К.С., к.ф.-м.н., ст.н.сотр.
  • Теплов А.М., мл.н.сотр.
  • Швец П.А., прогр. 1 кат.
Предложения по сотрудничеству