|
|
  |
Главная страница / Архитектура отрасли GRIDВ мире существует множество самых разных компьютеров. Причем далеко не все они работают в полную силу круглые сутки. Одни считают с утра до вечера, другие - вполсилы, а третьи - большую часть времени простаивают. В тех странах, где сейчас ночь, мало кто работает, а ведь компьютеры могли бы решать сложнейшие научные задачи, предсказывать погоду, изучать движение звезд по небу. С другой стороны, во многих местах катастрофически не хватает вычислительной мощности: метеорологи не могут точно предсказать погоду, нефтяники - рассчитать контуры месторождения, автомобилестроители - смоделировать самую обтекаемую и безопасную машину. Возникает очень простая идея: обеспечить тому, кому это надо, доступ к свободным компьютерным ресурсам. Так, в двух словах, упрощенно, выглядит концепция GRID. Понятие компьютерной сети - computing GRID - возникает по аналогии с Power grid (объединенной энергосистемой). Английское слово GRID переводится как решетка или вычислительная сеть. Есть еще один вариант перевода - "единая компьютерная система". Вычислительные мощности должны стать такой же коммунальной услугой, как электро- или водоснабжение. Когда открываешь кран на кухне, не задумываешься, из какой реки или скважины взята вода, что течет из него. Щелкаешь выключателем - зажигается свет. При этом никого не волнует, на каких ГЭС, ГРЭС и АЭС была выработана электроэнергия, по каким линиям электропередачи она шла к дому. С недавних пор при помощи Интернета любой человек получает доступ ко всем информационным ресурсам планеты, не заботясь, где они расположены и какими путями добираются до его компьютера. В недалеком будущем любой владелец настольного компьютера, включив его, сможет получить доступ к той вычислительной мощности, которая ему потребуется. В этом ему поможет GRID - всемирная компьютерная сеть. В любой организации компьютеры уже объединены в сеть, но вычисляют они каждый сам по себе, то есть существует множество слабосвязанных вычислительных "островков". Если связать их воедино, то даже в пределах одной компании можно было бы резко повысить эффективность использования компьютеров или сократить их количество. А если объединить все компьютеры на планете? Имея в своем распоряжении такой "суперкомпьютер" неограниченной мощности, любой пользователь в любое время мог бы просить столько вычислительных ресурсов, сколько ему требуется (точнее, за сколько он готов заплатить), и решить все свои задачи. В таком случае вычислительные ресурсы стали бы полной аналогией таким коммунальным услугам, как водо- и электроснабжение. Время пришло Почему же только сейчас о GRID активно заговорили по всему миру? Во-первых, потому что совсем недавно скорость передачи данных стала достаточной для эффективной передачи их больших объемов. Во-вторых, в мире появляются все более сложные задачи и накапливаются все большие объемы данных, для работы с которыми нужны оч мощности быстро начинает не хватать. В Москве уже есть несколько баз данных размером в несколько терабайт, а СУБД Oracle 9i позволяет создавать базы размером 512 петабайт (Oracle 10G – значок G означает, что создано для GRID – будет поддерживать базы данных размером в 8 экзобайт). По прогнозам, к 2015 г. базы в 1000 петабайт станут обычным делом. В-третьих, GRID позволяет получить результат быстрее и дешевле, поскольку снижает затраты на администрирование, а также использовать в качестве элементов дешевые компьютеры и операционные системы. Мы живем в эпоху экономии, поэтому GRID-технологии среди разумных хозяйственников становятся все более популярными. В-четвертых, разработаны стандарты GRID. Многие крупные компании (HP, Fujitsu Siemens Computers, Intel, NEC, Oracle, Sun Microsystems) участвуют в работе Global Grid Forum, которая занимается именно этим. Появился реальный опыт GRID-проектов. Например, компания Sun Microsystems еще в сентябре 2000 г., после приобретения компании Gridware (которая к тому времени уже более пяти лет занималась собственными разработками в этой области), анонсировала продукты Sun Grid Engine и Sun Grid Engine Enterprise Edition. В компании Sun успешно эксплуатируется собственная Grid-сеть, включающая более 6 тыс. процессоров и имеющая доступ к 210 Тбайтам данных. Каждый день эта система обсчитывает более 50 тыс. задач электронного проектирования, а средняя загрузка процессоров составляет около 98%. И наконец, самая важная причина бурного развития GRID заключается в том, что основные производители компьютеров и ПО начали промышленную реализацию и продажу продуктов, позволяющих строить GRID. Различные производители выпускают блэйд-серверы. Компания НР начала продажу продукта НР Utility Data Center, который позволяет объединять в GRID компьютеры фирмы НР и управлять ими из единого центра. Много в области GRID делает и компания IBM, она создала в Монпелье (Франция) специальный центр компетенции по решениям GRID. А теперь – познакомимся с некоторыми уже работающими GRID и их возможностями. Разные GRID До построения мировой компьютерной сети пока далеко, к ней надо подступать постепенно. В развитии концепции GRID можно выделить три этапа. Первый – GRID в одном центре обработки данных. Следующий шаг – объединение таких центров в единую GRID уровня предприятия. А третьим этапом (который, по оценкам экспертов, наступит лет через 10) станет объединение таких GRID-предприятий в единую GRID города, страны и т. д. Из уже существующих проектов можно выделить GRID на основе использования добровольно предоставляемого свободного ресурса ПК. Вспомните проект поиска сигналов от неземных цивилизаций – SETI@home. Тысячи и тысячи персональных компьютеров жертвовали частью своего вычислительного времени на то, чтобы анализировать случайные радиосигналы, постоянно приходящие на Землю из глубокого космоса. Их общей задачей был поиск внеземной жизни. Найти ее пока не удалось, заовать вычислительную мощность настольных ПК. Все люди, участвовавшие в проекте, выкачивали на свой ПК небольшую программку и порцию данных. Далее, эта программа работала в фоновом режиме, когда ПК простаивал, и, обработав порцию данных, возвращала результат в единый центр. Аналогичным образом работал и проект «Простые числа» – он, кстати, позволил найти несколько новых простых чисел. Сеть TeraGrid предоставляет вычислительные возможности в 4,5 терафлопа (4,5 тыс. млрд операций в секунду) для научных организаций, занимающихся поисками «темного» вещества во Вселенной, предсказаниями погоды в реальном времени и другими вычислениями. Сеть MoneyBee использует компьютерную мощность различных инвесторов для анализа рынка акций, а сеть NEESgrid дает возможность инженерам и геологам сотрудничать в трехмерном моделировании землетрясений в реальном времени, чтобы создавать безопасные здания. Но самая мощная GRID готовится к работе в ЦЕРНе – Европейском центре ядерных исследований. На новом ускорителе БАК (большой адронный коллайдер), который заработает в 2007 г., каждые 8 часов будет производиться 10 терабит информации. За год работы без сбоев эта величина вырастет в 1000 раз и достигнет 10 петабит, которые можно записать на 2 млн DVD-дисков. Чтобы разобраться во всем этом океане информации, ученые построили колоссальную всемирную «сеть» из компьютеров – GRID. На ее первом этапе в 2006 г. будут участвовать 200 ученых из 150 институтов из 35 стран. Ситуация несколько иная, чем в проекте SETI@home: здесь пользователи будут иметь доступ ко всей вычислительной мощности и смогут проводить собственный анализ. Задача будет состоять в том, чтобы эффективно распределять мощные, но ограниченные ресурсы. Различные узлы сети БАК (в которых в основном расположены университеты и государственные исследовательские лаборатории) договорились выделить в сеть определенные ресурсы в обмен на доступ к самым свежим результатам экспериментов БАК. Главное ПО в этой сети называется Globus Toolkit, оно создано Кессельманом и Яном Фостером из Аргонской национальной лаборатории в Иллинойсе на основе открытой архитектуры. Globus позволяет сети интерпретировать запрос пользователя и находить в сети адекватные ресурсы для его выполнения. Затем задача разбивается на необходимое количество более мелких задач, которые направляются на свободные компьютеры. Не менее интересно и использование GRID для своей работы всем хорошо известной поисковой машиной Google. Ей приходится обрабатывать до тысячи запросов в секунду и десятки миллионов в день. С этим можно справиться только при наличии десятков и даже сотен тысяч серверов. Никто точно не знает, сколько их, но, по мнению New York Times, Google управляет самой большой сетью компьютеров на планете! Интересно, что с начала своей работы основатели компании Сергей Брин и Ларри Пейдж строили свою систему, используя массу старых компьютеров, которые им по дешевке (или вовсе бесплатно) удавалось раздобыть в компрдского университета, где они учились. Так что они с самого начала вынуждены были организовывать работу в большой компьютерной сети. Очень заинтересованы в GRID банки, которым надо постоянно просчитывать оптимальные пути управления деньгами, а для этого даже свои собственные компьютеры надо загружать на 100%. По оценкам руководителя ИТ в банке Capital One, после развертывания в банке технологий GRID экономия на ИТ может достичь 30–35%. Аналогичные внутрикорпоративные GRID активно используют и другие банки. Кстати, выигрывает от этого не только сам банк, но и пользователь: в известном банке Charles Schwab клиенты теперь в любое время могут через Интернет послать запрос в офис об оптимальном управлении своими вкладами и получить ответ буквально через секунды. На пути к GRID В октябре 2003 г. при тестовой проверке скорости передачи информации между ЦЕРНом и Калифорнийским технологическим институтом был установлен новый рекорд в скорости передачи данных: терабит информации удалось передать на расстояние в 7,5 тыс. км меньше чем за 30 минут. Это соответствует 5,44 Гб/с или один DVD-диск каждые 7 секунд – в 5 раз выше прежнего рекорда скорости передачи, который был установлен на той же линии связи восемью месяцами раньше. Таким образом, скорость передачи данных вполне соответствует поставленным задачам. Есть и необходимая сетевая инфраструктура. Благодаря интернет-буму конца 90-х годов телекоммуникационные компании проложили огромное количество резервного оптоволокна, которое не используется сейчас и вполне может быть включено в сеть БАК за умеренную плату. Реальным препятствием на пути проекта могут стать эксплуатационные расходы. Если 100 ученых на 100 рабочих станциях займутся обработкой результатов, они полностью загрузят 10-гигабитный канал связи. Это будет стоить существенно дешевле, чем у любого современного оператора связи, но все же немало для любого научно-исследовательского института. Причем здесь еще не учитывается стоимость компьютерного времени, расходуемого в узлах сети на обработку данных. При разработке концепции сети ее создатели подразумевали, что достаточно обеспечить большое число компьютерных ресурсов, разработать ПО и загрузить эти ресурсы вычислительными задачами. Однако в реальной жизни все оказалось куда сложнее. В этом и состоит главное различие между компьютерными сетями и Интернетом: информация может распространяться бесплатно, но проведение вычислительных работ в компьютерной сети стоит денег, причем немалых. В Интернете огромный объем информации находится в свободном доступе, поскольку люди заинтересованы в ее бесплатном распространении, а цена этого совсем невелика. Но обладают ли люди по всему миру таким количеством лишней вычислительной емкости, чтобы они согласились раздавать ее бесплатно? Крупные корпорации наверняка захотят платить за новый вид компьютерных услуг. IBM, Sun и Hewlett-Packard уже разрабатывают мощные системы для сетевых вычислений. За ними моиях разработки идеи компьютерной сети, о ней говорили как о GRID – единой и всеобъемлющей сети, по аналогии с Интернетом. Аналогия подкреплялась еще и тем, что GRID разрабатывался в ЦЕРНе, там же, где и Интернет более десяти лет назад. Однако пока первый опыт использования компьютерной сети будет реализован в достаточно узкой научной области. Есть и другие «заявки» на организацию аналогичных сетей из таких сфер, как разработка лекарств, моделирование автомобильных аварий, создание фильмов, финансы, может быть, даже оптимальное распределение товаров на больших площадях. В общем, очень важные участки экономики, но отнюдь не «товары ежедневного потребления». Понятие GRID вошло в обиход ИТ совсем недавно, но эта идея, по мнению экспертов, может радикально изменить весь мир информационных технологий так же, как это сделал Интернет. Всего десять лет назад о Всемирной паутине и Web знали только эксперты, а сегодня малыши «лазают» по нему в поисках новых игр и приятелей для беседы, домохозяйки совершают покупки и платежи, узнают погоду и новости. Интернет изначально совсем не был ориентирован на конечных пользователей. Люди сами находят способы использовать современные технологии совершенно неожиданными путями. НЕМНОГО ИСТОРИИ В 60-е годы в работах «сетевых пионеров» (J.C.R.Licklider и Leonard Kleinrock) предсказывалось распространение «компьютерного снабжения», т. е. услуги, обеспечивающей удаленный доступ к вычислительным мощностям всем желающим пользователям – по аналогии с тем, как в дома подается свет и вода. В 90-е годы распространение компьютерных кластеров и появление бизнес-модели Web-услуг приблизили эту идею к реальности. Однако кластеры были централизованными независимыми узлами компьютеров и управлялись каждый своим менеджментом. Впервые концепцию GRID описали в своих статьях «Анатомия GRID» и «Физиология GRID» американские ученые Фостер, Кессельман, Ник и Тукке: «Вычислительная GRID – это программно-аппаратная инфраструктура, которая обеспечивает из любого места в мире надежный, согласованный и недорогой доступ к высокоэффективным вычислительным ресурсам». Главная страница / Архитектура отрасли |