Параллелизм (информатика)

Поделись знанием:
Перейти к: навигация, поиск
Парадигмы программирования
 • Императивная
(контрастирует с декларативной)
Процедурная
Структурная
Аспектно-ориентированная
Объектно-ориентированная
Агентно-ориентированная
Компонентно-ориентированная
Прототипно-ориентированная
Обобщённое программирование

 • Декларативная
(контрастирует с императивной)

Чистота языка
Чистота функции
Функциональная
В терминах Рефал-машины
Аппликативная
Комбинаторная
Бесточечная
(чистая конкатенативная)
Логическая
Ограничениями

 • Конкатенативная
 • Векторная[en]
 • Метапрограммирование

Языково-ориентированная
Предметно-ориентированная
Пользователями[en]
Автоматизация процесса программирования
Рефлексивность
Гомоиконность[en]

 • Связанные темы

Программирование в крупном и мелком масштабе[en]
Модульность
Полиморфизм
Продолжения и CPS
Параллелизм и конкурентность

 • Методы и алгоритмы

Автоматное
Динамическое
Потоков данных
Событийно-ориентированное
Реактивное
Сервис-ориентированное

В информатике параллели́зм — это свойство систем, при котором несколько вычислений выполняются одновременно, и при этом, возможно, взаимодействуют друг с другом. Вычисления могут выполняться на нескольких ядрах одного чипа с вытесняющим разделением времени потоков на одном процессоре, либо выполняться на физически отдельных процессорах. Для выполнения параллельных вычислений разработаны ряд математических моделей, в том числе сети Петри, исчисление процессов, модели параллельных случайных доступов к вычислениям и модели акторов.

Примечание — В русскоязычной литературе нередко путаются термины «параллелизм» и «конкурентность». Оба термина означают одновременность процессов, но первый — на физическом уровне (параллельное исполнение нескольких процессов, нацеленное только на повышение скорости исполнения за счёт использования соответствующей аппаратной поддержки), а второй — на логическом (парадигма проектирования систем, идентифицирующая процессы как независимые, что в том числе позволяет их исполнять физически параллельно, но в первую очередь нацелено на упрощение написания многопоточных программ и повышение их устойчивости).




Проблематика

Поскольку вычисления в параллельных системах взаимодействуют друг с другом, число возможных путей выполнения может быть чрезвычайно велико, и результирующий итог может стать недетерминированным. Параллельное использование общих ресурсов может стать одним из источников недетерминированности, приводящей к таким проблемам, как взаимная блокировка или фатальный недостаток ресурсов.[1]

Построение параллельных систем требует поиска надёжных методов координации выполняемых процессов, обмена данными, распределения памяти и планирования для минимизации времени отклика и увеличения пропускной способности.

Теория

Теория параллельных вычислений является активной областью исследований теоретической информатики. Одним из первых предложений в этом направлении была плодотворная работа Карла Адама Петри по сетям Петри в начале 1960-х. В последующие годы был разработан широкий спектр формализмов для моделирования и описания параллельных систем.

Модели

Сейчас разработано уже большое число формальных методов для моделирования и понимания работы параллельных систем, в том числе:[2]

Некоторые из этих моделей параллелизма предназначены в первую очередь для логических умозаключений и описания спецификаций, тогда как другие могут быть использованы на протяжении всего цикла разработки, включая проектирование, внедрение, доказательство истинности результатов, тестирование и моделирование параллельных систем.

Распространение различных моделей параллелизма побудило некоторых исследователей разработать способы объединения этих теоретических моделей. Например, Ли и Санджованни-Винсентелли показали, что так называемую модель «меченых сигналов» можно использовать для создания общей основы для описания денотационной семантики различных моделей параллелизма,[4] а Нильсен, Сассун и Винскль показали, что теория категорий может быть использована для обеспечения единого понимания различных моделей.[5]

Теорема представления параллелизма из модели актора обеспечивает достаточно общий способ описания параллельных систем, замкнутых в том смысле, что они не получают сообщений извне. Другие методы описания параллелизма, как, например, исчисление процессов, могут быть описаны через модель актора, используя двухфазный протокол фиксации.[6] Математические обозначения, используемые для описания замкнутой системы S, обеспечивают в большей степени хорошее приближение, если они строятся на основе начального поведения, обозначаемого S, с использованием аппроксимирующей функции поведения progressionS.[7] Тогда обозначения для S строятся следующим образом:

DenoteS ≡ ⊔i∈ω progressionSi(⊥S)

Таким образом, S может быть математически выражена посредством всех его возможных поведений.

Логика

Чтобы обеспечить логические рассуждения о параллельных системах, можно использовать различные виды темпоральных логик[8]. Некоторые из них, как, например, линейная темпоральная логика или логика вычислительного дерева, позволяют делать утверждения о последовательности состояний, через которые параллельная система может пройти. Другие же, такие как логика действий вычислительного дерева, логика Хеннесси-Милнера или темпоральная логика действий Лэмпорта, строят свои утверждения от последовательности действий (изменения состояний). Основное применение этих логик состоит в записи спецификаций для параллельных систем.[1]

Практика

В этом разделе будет использоваться два понятия параллельности, свойственные англоязычной литературе, поскольку речь пойдёт о сравнении их друг с другом. Термин Concurrency будет переводиться «одновременность», а термин Parallelism будет переводиться «параллелизм».

Одновременное программирование включает в себя языки программирования и алгоритмы, используемые для реализации одновременных систем. Одновременное программирование обычно считается более общим понятием, чем параллельное программирование, поскольку оно может включать произвольные динамические модели общения и взаимодействия, тогда как параллельные системы чаще всего реализуют заранее определённые и хорошо структурированные модели связей. Основными целями одновременного программирования являются корректность, эффективность, устойчивость. Одновременные системы, такие как операционные системы и системы управления базами данных предназначены прежде всего для работы в неопределённых условиях, в том числе с учётом автоматического восстановления после сбоя, они не должны неожиданно прекращать работу. Некоторые одновременные системы осуществляют работу в виде прозрачной одновременности, при которой одновременные вычислительные сущности могут конкурировать за использование одного и того же ресурса, но суть этой конкуренции скрыта для программиста.

Поскольку одновременные системы используют общие ресурсы, они обычно требуют наличие какого-либо арбитра, встроенного в их реализацию (часто в базовое оборудование) для управления доступом к этим ресурсам. Использование арбитров создаёт вероятность неопределённости в одновременных вычислениях, которая имеет большое значение для практики, в том числе для обеспечения корректности и эффективности. Например, арбитраж не исключает неограниченный индетерминизм, который связан с проблемой проверки моделей, являющейся причиной взрывного характера пространства состояний и может даже стать причиной образования модели с бесконечным числом состояний.

Некоторые одновременные модели программирования включают создание сопроцессов и детерминированной одновременности. В этих моделях потоки выполнения по управлению процессами явно отдают своё кванты времени либо системе, либо другому процессу.

См. также

Напишите отзыв о статье "Параллелизм (информатика)"

Примечания

  1. 1 2 Cleaveland, Rance; Scott Smolka (December, 1996). «[doi.acm.org/10.1145/242223.242252 Strategic Directions in Concurrency Research]». ACM Computing Surveys 28 (4): 607. DOI:10.1145/242223.242252.
  2. Filman Robert. [ic.arc.nasa.gov/people/filman/text/dpl/dpl.html Coordinated Computing - Tools and Techniques for Distributed Software]. — McGraw-Hill, 1984. — ISBN 0-07-022439-0.
  3. Keller Jörg. Practical PRAM Programming. — John Wiley and Sons, 2001.
  4. Lee, Edward; Alberto Sangiovanni-Vincentelli (December, 1998). «A Framework for Comparing Models of Computation». IEEE Transactions on CAD 17 (12): 1217–1229. DOI:10.1109/43.736561.
  5. Mogens Nielsen; Vladimiro Sassone and Glynn Winskel (1993). "[citeseer.ist.psu.edu/article/nielsen94relationships.html Relationships Between Models of Concurrency]". REX School/Symposium. 
  6. Frederick Knabe. A Distributed Protocol for Channel-Based Communication with Choice PARLE 1992.
  7. William Clinger (June 1981). «[dspace.mit.edu/handle/1721.1/6935 Foundations of Actor Semantics]» (MIT).
  8. Roscoe Colin. Modal and Temporal Properties of Processes. — Springer, 2001. — ISBN 0-387-98717-7.

Ссылки

  • [vl.fmnet.info/concurrent/ Concurrent Systems] at [vlib.org/ The WWW Virtual Library]
  • Lynch Nancy A. Distributed Algorithms. — Morgan Kauffman, 1996. — ISBN 1558603484.
  • Tanenbaum Andrew S. Distributed Systems: Principles and Paradigms. — Prentice Hall, 2002. — ISBN 0-13-088893-1.
  • Kurki-Suonio Reino. A Practical Theory of Reactive Systems. — Springer, 2005. — ISBN 3-540-23342-3.
  • Garg Vijay K. Elements of Distributed Computing. — Wiley-IEEE Press, 2002. — ISBN 0-471-03600-5.
  • Magee, Jeff; Kramer, Jeff. Concurrency: State Models and Java Programming. — Wiley, 2006. — ISBN 0-470-09355-2.

Отрывок, характеризующий Параллелизм (информатика)

– Барина дома нет, в штаб уехали, – сказал ему денщик Телянина. – Или что случилось? – прибавил денщик, удивляясь на расстроенное лицо юнкера.
– Нет, ничего.
– Немного не застали, – сказал денщик.
Штаб находился в трех верстах от Зальценека. Ростов, не заходя домой, взял лошадь и поехал в штаб. В деревне, занимаемой штабом, был трактир, посещаемый офицерами. Ростов приехал в трактир; у крыльца он увидал лошадь Телянина.
Во второй комнате трактира сидел поручик за блюдом сосисок и бутылкою вина.
– А, и вы заехали, юноша, – сказал он, улыбаясь и высоко поднимая брови.
– Да, – сказал Ростов, как будто выговорить это слово стоило большого труда, и сел за соседний стол.
Оба молчали; в комнате сидели два немца и один русский офицер. Все молчали, и слышались звуки ножей о тарелки и чавканье поручика. Когда Телянин кончил завтрак, он вынул из кармана двойной кошелек, изогнутыми кверху маленькими белыми пальцами раздвинул кольца, достал золотой и, приподняв брови, отдал деньги слуге.
– Пожалуйста, поскорее, – сказал он.
Золотой был новый. Ростов встал и подошел к Телянину.
– Позвольте посмотреть мне кошелек, – сказал он тихим, чуть слышным голосом.
С бегающими глазами, но всё поднятыми бровями Телянин подал кошелек.
– Да, хорошенький кошелек… Да… да… – сказал он и вдруг побледнел. – Посмотрите, юноша, – прибавил он.
Ростов взял в руки кошелек и посмотрел и на него, и на деньги, которые были в нем, и на Телянина. Поручик оглядывался кругом, по своей привычке и, казалось, вдруг стал очень весел.
– Коли будем в Вене, всё там оставлю, а теперь и девать некуда в этих дрянных городишках, – сказал он. – Ну, давайте, юноша, я пойду.
Ростов молчал.
– А вы что ж? тоже позавтракать? Порядочно кормят, – продолжал Телянин. – Давайте же.
Он протянул руку и взялся за кошелек. Ростов выпустил его. Телянин взял кошелек и стал опускать его в карман рейтуз, и брови его небрежно поднялись, а рот слегка раскрылся, как будто он говорил: «да, да, кладу в карман свой кошелек, и это очень просто, и никому до этого дела нет».
– Ну, что, юноша? – сказал он, вздохнув и из под приподнятых бровей взглянув в глаза Ростова. Какой то свет глаз с быстротою электрической искры перебежал из глаз Телянина в глаза Ростова и обратно, обратно и обратно, всё в одно мгновение.
– Подите сюда, – проговорил Ростов, хватая Телянина за руку. Он почти притащил его к окну. – Это деньги Денисова, вы их взяли… – прошептал он ему над ухом.
– Что?… Что?… Как вы смеете? Что?… – проговорил Телянин.
Но эти слова звучали жалобным, отчаянным криком и мольбой о прощении. Как только Ростов услыхал этот звук голоса, с души его свалился огромный камень сомнения. Он почувствовал радость и в то же мгновение ему стало жалко несчастного, стоявшего перед ним человека; но надо было до конца довести начатое дело.
– Здесь люди Бог знает что могут подумать, – бормотал Телянин, схватывая фуражку и направляясь в небольшую пустую комнату, – надо объясниться…
– Я это знаю, и я это докажу, – сказал Ростов.
– Я…
Испуганное, бледное лицо Телянина начало дрожать всеми мускулами; глаза всё так же бегали, но где то внизу, не поднимаясь до лица Ростова, и послышались всхлипыванья.
– Граф!… не губите молодого человека… вот эти несчастные деньги, возьмите их… – Он бросил их на стол. – У меня отец старик, мать!…
Ростов взял деньги, избегая взгляда Телянина, и, не говоря ни слова, пошел из комнаты. Но у двери он остановился и вернулся назад. – Боже мой, – сказал он со слезами на глазах, – как вы могли это сделать?
– Граф, – сказал Телянин, приближаясь к юнкеру.
– Не трогайте меня, – проговорил Ростов, отстраняясь. – Ежели вам нужда, возьмите эти деньги. – Он швырнул ему кошелек и выбежал из трактира.


Вечером того же дня на квартире Денисова шел оживленный разговор офицеров эскадрона.
– А я говорю вам, Ростов, что вам надо извиниться перед полковым командиром, – говорил, обращаясь к пунцово красному, взволнованному Ростову, высокий штаб ротмистр, с седеющими волосами, огромными усами и крупными чертами морщинистого лица.
Штаб ротмистр Кирстен был два раза разжалован в солдаты зa дела чести и два раза выслуживался.
– Я никому не позволю себе говорить, что я лгу! – вскрикнул Ростов. – Он сказал мне, что я лгу, а я сказал ему, что он лжет. Так с тем и останется. На дежурство может меня назначать хоть каждый день и под арест сажать, а извиняться меня никто не заставит, потому что ежели он, как полковой командир, считает недостойным себя дать мне удовлетворение, так…
– Да вы постойте, батюшка; вы послушайте меня, – перебил штаб ротмистр своим басистым голосом, спокойно разглаживая свои длинные усы. – Вы при других офицерах говорите полковому командиру, что офицер украл…
– Я не виноват, что разговор зашел при других офицерах. Может быть, не надо было говорить при них, да я не дипломат. Я затем в гусары и пошел, думал, что здесь не нужно тонкостей, а он мне говорит, что я лгу… так пусть даст мне удовлетворение…
– Это всё хорошо, никто не думает, что вы трус, да не в том дело. Спросите у Денисова, похоже это на что нибудь, чтобы юнкер требовал удовлетворения у полкового командира?
Денисов, закусив ус, с мрачным видом слушал разговор, видимо не желая вступаться в него. На вопрос штаб ротмистра он отрицательно покачал головой.
– Вы при офицерах говорите полковому командиру про эту пакость, – продолжал штаб ротмистр. – Богданыч (Богданычем называли полкового командира) вас осадил.
– Не осадил, а сказал, что я неправду говорю.
– Ну да, и вы наговорили ему глупостей, и надо извиниться.
– Ни за что! – крикнул Ростов.
– Не думал я этого от вас, – серьезно и строго сказал штаб ротмистр. – Вы не хотите извиниться, а вы, батюшка, не только перед ним, а перед всем полком, перед всеми нами, вы кругом виноваты. А вот как: кабы вы подумали да посоветовались, как обойтись с этим делом, а то вы прямо, да при офицерах, и бухнули. Что теперь делать полковому командиру? Надо отдать под суд офицера и замарать весь полк? Из за одного негодяя весь полк осрамить? Так, что ли, по вашему? А по нашему, не так. И Богданыч молодец, он вам сказал, что вы неправду говорите. Неприятно, да что делать, батюшка, сами наскочили. А теперь, как дело хотят замять, так вы из за фанаберии какой то не хотите извиниться, а хотите всё рассказать. Вам обидно, что вы подежурите, да что вам извиниться перед старым и честным офицером! Какой бы там ни был Богданыч, а всё честный и храбрый, старый полковник, так вам обидно; а замарать полк вам ничего? – Голос штаб ротмистра начинал дрожать. – Вы, батюшка, в полку без году неделя; нынче здесь, завтра перешли куда в адъютантики; вам наплевать, что говорить будут: «между павлоградскими офицерами воры!» А нам не всё равно. Так, что ли, Денисов? Не всё равно?
Денисов всё молчал и не шевелился, изредка взглядывая своими блестящими, черными глазами на Ростова.
– Вам своя фанаберия дорога, извиниться не хочется, – продолжал штаб ротмистр, – а нам, старикам, как мы выросли, да и умереть, Бог даст, приведется в полку, так нам честь полка дорога, и Богданыч это знает. Ох, как дорога, батюшка! А это нехорошо, нехорошо! Там обижайтесь или нет, а я всегда правду матку скажу. Нехорошо!
И штаб ротмистр встал и отвернулся от Ростова.
– Пг'авда, чог'т возьми! – закричал, вскакивая, Денисов. – Ну, Г'остов! Ну!
Ростов, краснея и бледнея, смотрел то на одного, то на другого офицера.
– Нет, господа, нет… вы не думайте… я очень понимаю, вы напрасно обо мне думаете так… я… для меня… я за честь полка.да что? это на деле я покажу, и для меня честь знамени…ну, всё равно, правда, я виноват!.. – Слезы стояли у него в глазах. – Я виноват, кругом виноват!… Ну, что вам еще?…
– Вот это так, граф, – поворачиваясь, крикнул штаб ротмистр, ударяя его большою рукою по плечу.
– Я тебе говог'ю, – закричал Денисов, – он малый славный.
– Так то лучше, граф, – повторил штаб ротмистр, как будто за его признание начиная величать его титулом. – Подите и извинитесь, ваше сиятельство, да с.
– Господа, всё сделаю, никто от меня слова не услышит, – умоляющим голосом проговорил Ростов, – но извиняться не могу, ей Богу, не могу, как хотите! Как я буду извиняться, точно маленький, прощенья просить?
Денисов засмеялся.
– Вам же хуже. Богданыч злопамятен, поплатитесь за упрямство, – сказал Кирстен.
– Ей Богу, не упрямство! Я не могу вам описать, какое чувство, не могу…
– Ну, ваша воля, – сказал штаб ротмистр. – Что ж, мерзавец то этот куда делся? – спросил он у Денисова.
– Сказался больным, завтг'а велено пг'иказом исключить, – проговорил Денисов.
– Это болезнь, иначе нельзя объяснить, – сказал штаб ротмистр.
– Уж там болезнь не болезнь, а не попадайся он мне на глаза – убью! – кровожадно прокричал Денисов.
В комнату вошел Жерков.
– Ты как? – обратились вдруг офицеры к вошедшему.
– Поход, господа. Мак в плен сдался и с армией, совсем.
– Врешь!
– Сам видел.
– Как? Мака живого видел? с руками, с ногами?
– Поход! Поход! Дать ему бутылку за такую новость. Ты как же сюда попал?
– Опять в полк выслали, за чорта, за Мака. Австрийской генерал пожаловался. Я его поздравил с приездом Мака…Ты что, Ростов, точно из бани?