Система моделирования Grid- реализация и возможности применения
Работа добавлена на сайт samzan.net:
|
Реферат |
|
Система моделирования Grid: реализация и возможности применения |
Содержание
1. Введение
2. Система моделирования Grid
3. Заключение
4.Литература
1. Введение
В последнее время к вычислительным кластерам проявляется повышенный интерес со стороны науки, образования и промышленности. С доступностью кластерных технологий связан рост числа установок, которые строятся, устанавливаются, и которые специалисты пытаются применять для решения своих производственных задач. Кластерные вычислительные системы становятся повседневным инструментом исследователя и инженера. Однако, любая организация, становясь обладателем вычислительного кластера, не использует его постоянно, в режиме “24/7”, более того, очень часто такой дорогостоящий вычислительный ресурс простаивает.
В связи с увеличением количества кластеров набирает все большую популярность концепция Grid. Grid позволяет совместно использовать вычислительные ресурсы, которые принадлежат различным организациям и которые могут быть расположены в различных административных областях. В Grid могут объединяться разнородные вычислительные ресурсы: персональные компьютеры, рабочие станции, кластеры и супер-компьютеры.
Одним из наиболее распространенных в настоящее время программных средств для реализации Grid является пакет Globus Toolkit . Пакет Globus Toolkit разрабатывается, поддерживается и продвигается международным альянсом разработчиков из университетов США и Великобритании, а также научных лабораторий и вычислительных центров. Globus Toolkit является свободно распространяемым с открытым исходным кодом программным пакетом и предлагает базовые средства для создания Grid инфраструктуры: средства обеспечения безопасности в распределенной среде, средства надежной передачи больших объемов данных, средства запуска и получения результатов выполнения задач на удаленных вычислительных ресурсах. На базе пакета Globus Toolkit создаются промышленные версии реализаций Grid инфраструктуры, например, такие как Univa и Platform Globus Toolkit.
Система моделирования может быть использована для оценки эффективности распределенной вычислительной среды в различных ситуациях, например:
- при изменении нагрузки: количества поступающих задач, их размерности, приоритета, периода поступления и т.д.;
- при отключении части вычислительных ресурсов или добавлении новых ресурсов;
- при увеличении количества передаваемых данных;
- при выходе из строя части коммуникационных каналов
При этом оценка эффективности управления может проводиться по следующим наиболее популярным критериям:
- минимизация среднего времени ожидания задачи в очереди;
- минимизация максимального времени выполнения группы задач (makespan);
- максимизация пропускной способности – числа завершенных задач в единицу времени;
- минимизация простоев процессоров
- и т.д.
В настоящее время существует несколько проектов по разработке систем моделирования Grid. Среди них наиболее известны: Bricks , MicroGrid , OptorSim , SimGrid и GridSim. Данные системы обладают как достоинствами, так и недостатками. Среди недостатков можно отметить узкую специализацию систем, отсутствие публично доступных версий, а также ограниченность моделируемых архитектур Grid систем. Особенности реализации некоторых из них накладывают ограничения на количество одновременно существующих элементов в Grid системе и требуют от пользователя знания специальных языков программирования, что значительно снижает эффективность работы с такими системами.
2. Система моделирования Grid
С 2007 года в ИСП РАН разрабатывается система моделирования Grid. При разработке мы старались избежать недостатков, присущих существующим системам, а также реализовать некоторые новые интересные идеи.
В частности, система проектировалась так, чтобы сделать работу пользователя максимально удобной и быстрой. В отличие от перечисленных выше систем в разработанной системе не нужно вручную писать программу моделирования. Пользователь работает в специальном редакторе, задавая топологию Grid системы и свойства отдельных элементов. При этом автоматически проверяются различные виды ошибок: значения параметров, выходящие за область допустимых значений, несовместимость различных элементов, соединенных между собой, и т.п.
Сценарий работы с системой изображен на рисунке 1(a). Пользователь задает описание моделируемой среды и указывает различные параметры. Система автоматически генерирует код программы моделирования и компилирует его. Программа-симулятор запускается и создает в результате своей работы профиль выполнения. Полученный профиль анализируется и представляется пользователю в виде HTML документа.
(a) Сценарий работы системы моделирования Grid
(b) Основные компоненты системы моделирования Grid
Рисунок 1: Система моделирования Grid
Система моделирования реализована на основе платформы Eclipse [2], с использованием только языка Java. Это дает возможность интеграции с другими Eclipse приложениями, например, средой разработки Java, системами контроля версий, и т.п. и позволяет использовать систему моделирования под различными операционными системами – Linux, Windows, Solaris и др.
Система расширяема и рассчитана на гибкое использование. Система позволяет моделировать различные Grid архитектуры: одно и двух-уровневые системы с одним или несколькими брокерами, добавлять хранилища данных, определять топологию сетевых соединений и т.д. Система включает в себя множество реализованных компонент, таких как брокер, кластер, поток задач и т.д. Кроме того, пользователи могут расширять систему, реализовывая свои собственные компоненты.
Поведение отдельных элементов моделируется с помощью конечных автоматов, что позволяет работать с моделями больших систем – порядка тысяч процессоров и более миллиона задач.
Система предоставляет возможность для быстрого описания алгоритмов распределения задач с помощью набора правил. При моделировании распределения задач в Grid очень часто требуется проверить несколько алгоритмов, незначительно отличающихся друг от друга, например, сортировкой входного потока задач, способом выбора очередной задачи или ресурса и т.п. Описание алгоритма с помощью набора правил в такой ситуации позволяет гораздо быстрее проверить работу алгоритма, чем в случае реализации его в виде, например, Java класса, с последующей отладкой и тестированием.
В системе поддерживается возможность проведения серии экспериментов, состоящей из последовательных запусков выполняемой модели с изменением некоторых параметров при каждом следующем запуске. Например, может изменяться поток задач, конфигурация кластеров, сетевых соединений и т.п. Это позволяет в рамках одного эксперимента посмотреть динамику изменения эффективности системы и определить узкие места.
В системе реализован удобный механизм обработки результатов моделирования. Результат выполнения модели хранится в отдельном профиле и может обрабатываться независимо. Пользователь может использовать свой шаблон для выбора и визуализации только необходимой в данный момент информации. Это позволяет нескольким исследователям провести моделирование один раз, а затем независимо анализировать полученную информацию.
Система также включает в себя редактор и анализатор записей потоков задач (workload). Запись потока представляет собой текстовый файл, каждая строка которого содержит характеристики отдельной задачи: время порождения, время запуска, общее время выполнения, количество занимаемых процессоров и т.д. Анализатор позволяет отобразить различные характеристики потока – количество задач, соотношение однопроцессорных и параллельных задач, график порождения задач во времени и т.п. С помощью редактора можно изменять поток – копировать и перемещать части потока, соединять несколько потоков в один, изменять характеристики группы задач и т.п. Также, редактор позволяет создавать синтетический поток по заданным параметрам.
Основные компоненты системы изображены на рисунке 1(b). Это – редактор и анализатор потоков, симулятор Grid системы, визуализатор.
3. Заключение
В статье представлена среда моделирования, разработанная в ИСП РАН, позволяющая оценивать поведение распределенных вычислительных систем при изменяющихся условиях и, на основе этого, оптимизировать стратегии управления потоками задач.
В будущем нам хотелось бы развивать данную систему как инструмент для оценки эффективности управления вычислительными ресурсами в Grid. Пользователями такой системы могут быть администраторы и исследователи, разрабатывающие новые алгоритмы управления ресурсами.
В ближайшее время предполагается провести эксперименты с задачами, требующими передачи больших объемов данных. Также мы планируем расширить функциональность генератора синтетических потоков.
Система является свободно распространяемым с открытым исходным кодом программным пакетом и доступна по адресу http://gridme.googlecode.com.
Литература
- Buyya R., Murshed M. Gridsim: a toolkit for the modeling and simulation of distributed resource management and scheduling for grid computing // Сoncurrency and computation: practice and experience. — 2002. — Vol. 14. — Pp. 1175–1220.
- Eclipse - an open development platform www.eclipse.org.
- Feitelson D. G. Locality of sampling and diversity in parallel system workloads // ICS ’07: Proceedings of the 21st annual international conference on Supercomputing. — ACM, 2007. — Pp. 53–63.
- Feitelson D. G., Rudolph L. Metrics and benchmarking for parallel job scheduling // Lecture Notes in Computer Science. — 1998. — Vol. 1459. — Pp. 1+.
- Feitelson D. G. Workload modeling for computer systems performance evaluation book draft. — since 2005.
- Feitelson D. G., Weil A. M. Utilization and predictability in scheduling the IBM SP2 with backfilling // 12th Intl. Parallel Processing Symp. — 1998. — Pp. 542–546.
- Globus alliance. — www.globus.org.
- The grid workloads archive. — http://gwa.ewi.tudelft.nl/pmwiki/.
- Inter-operating grids through delegated matchmaking / A. Iosup, D. H. Epema, T. Tannenbaum et al. // Proceedings of International Conference for High Performance Computing, Networking, Storage and Analysis (SC07). — Reno, NV: 2007. — November.
- Legrand A., Marchal L., Casanova H. Scheduling distributed applications: The simgrid simulation framework // Proceedings of the 3rd IEEE/ACM International Symposium on Cluster Computing and the Grid 2003 (CCGrid2003). — 2003. — Pp. 138–145.
- The microgrid: Using emulation to predict application performance in diverse grid network environments / H. Xia, H. Dail, H. Casanova, A. Chien // In Proceedings of the Workshop on Challenges of Large Applications in Distributed Environments (CLADE’04). IEEE Press. — 2004.
2. История бренда Kodk
3. ведущих Добрый день дорогие новички Добрый день всем Вновь день завершается Больше улыбок Дер
4. ІЛУличний ОВШинкаренко АКТУАЛЬНІ ПИТАННЯ ПСИХОЛОГІЇ інформаційнометодичні матеріа
5. щества в основном растительного происхождения которые при горении выделяют тепло
6. Реферат АППАРАТ ИСКУССТВЕННАЯ ПОЧКА обзор литературы Выполнил-а- студент-ка 1 курса фа
7. Nd Cvoid using comms Dll of the bove nswer- B Diff- 2Pge Ref- 79 80 5Which of the following is n exmple of hedging sentence The finncil sttement needs to hve two sec.html
8. Связям с общественностью
9. по теме Оборотные средства фирмы.html
10. Социологические теории права
11. ТЕМА- Каменные работы Вариант 9 Выполнила-
12. Шаги к любимой работе Базис Юнга Практический курс из 4х занятийдля тех кто хочет лучше понимать себя и
13. Политологический аспект последствий кризиса
14. Тема 1 Теорія пізнання
15. ШТАНГАСЫЗ СОРАП ~ОНДЫР~ЫЛАРЫ
16. темными веками или ещё его называют гомеровским
17. История маши мироновой по повести
18. Предмет и методы социологии
19. тематичний план Дисципліна- Загальний догляд за хворими та медична маніпуляційна техніка Спеціальніст
20. ПРИВАТИЗАЦИЯ И ЕЕ МЕСТО В СИСТЕМЕ ГОСРЕГУЛИРОВАНИЯ ЭКОНОМИКИ [1