Новая статья: Знакомство с накопителями Intel Optane Memory: футуристично, но не феерично- Новости ИТ - Сервис
 
Главная страница


комплексные ИТ-решения

ВАШИ ИДЕИ
СТАНУТ РЕАЛЬНОСТЬЮ!

  
   


Самый полный
спектр ИТ-услуг
  Решения в области
Информационных технологий
 
 
 

 

 Главная  /  Новости  /  новости IT-рынка  /  Новая статья: Знакомство с накопителями Intel Optane Memory: футуристично, но не феерично

Новости

Новая статья: Знакомство с накопителями Intel Optane Memory: футуристично, но не феерично
21.09.2017, 05:00:00 
 
p>3D XPoint (читается как 3D crosspoint) – созданная при сотрудничестве компаний Intel и Micron принципиально новая и весьма многообещающая технология энергонезависимой памяти, которая, в отличие от большинства прочих разрабатываемых вариантов перспективной энергонезависимой памяти, имеет хорошие шансы найти применение в массовых решениях уже в ближайшем будущем. Базовая информация об этой технологии была раскрыта ещё в середине 2015 года, и с тех пор представители обеих компаний успели про неё наговорить столько, что вряд ли среди наших читателей есть такие, для кого 3D XPoint – совсем незнакомые слова. Однако реальное использование данной технологии началось только в этом году, причём лишь одним из партнёров – компанией Intel. Она продвигает её под собственным маркетинговым именем Optane и преподносит всё так, как будто эта новаторская память позволяет создавать революционные по своей идеологии продукты, лежащие на стыке обычной динамической памяти (DRAM) и флеш-памяти типа NAND.

Дебют памяти Optane в коммерческих продуктах состоялся ещё в марте в твердотельном накопителе для серверного сегмента Intel Optane SSD DC P4800X. Физически этот продукт представляет собой традиционный SSD в виде карты расширения PCI Express ёмкостью 375 Гбайт, однако при этом он обеспечивает поразительно низкие латентности, недостижимые для привычных накопителей, которые построены на привычной флеш-памяти. Это позволяет такому накопителю на фоне обычных SSD развивать в разы более высокую производительность, достижимую в том числе и на коротких очередях запросов.

Но несмотря на то, что Intel Optane SSD DC P4800X действительно способен предложить выдающееся время отклика при самых разных характерах нагрузки, он остаётся нишевым предложением даже по меркам серверного рынка, что обуславливается его сравнительно невысокой ёмкостью и запредельной ценой, достигающей в удельном выражении $5 за гигабайт.

Для обычных же пользователей компания решила предложить продукт совсем иного свойства – Intel Optane Memory. Накопители под этой маркой продаются с конца апреля и представляют собой M.2-модули форм-фактора 2280 с ёмкостью 16 и 32 Гбайт, которые стоят $44 и $77 соответственно. Объёмы этих решений кажутся несерьёзными, но объяснение простое: хотя по сути Intel Optane Memory и представляют собой NVMe SSD, производитель не позиционирует их в качестве самостоятельных носителей информации. Их предназначение – служить вспомогательными кеширующими SSD при работе в связке с механическими жёсткими дисками. По задумке Intel такая комбинация из небольшого и быстрого Optane Memory и вместительного, но медленного HDD должна в большинстве реальных пользовательских сценариев предлагать производительность уровня, свойственного типичным SSD, и ёмкость, характерную для HDD. Работает ли такой симбиоз в реальности, мы и решили проверить в практическом тестировании.

#3D XPoint: непонятно, но интересно

Технология памяти 3D XPoint примечательна тем, что, несмотря на всю маркетинговую шумиху, поднятую вокруг неё компаниями Intel и Micron, окончательной ясности относительного того, какие физические процессы и химические соединения лежат в её основе, нет до сих пор. Представители компаний охотно рассказывают о том, чем память 3D XPoint не является, и никогда не говорят о том, какие принципы в действительности используются в её работе. Впрочем, какие-то базовые представления о том, как устроена 3D XPoint, получить из официальных источников всё-таки возможно.

Так, эта память представляет собой трёхмерную решетчатую структуру (что прямо следует из названия 3D XPoint), где на пересечениях проводников, формирующих строки и столбцы, находятся элементарные запоминающие устройства – собственно ячейки памяти. Эти устройства представляют собой фрагменты из некоего материала, который при применении каких-то воздействий может изменять и затем сохранять своё электрическое сопротивление. Как это работает на микроуровне, окончательно непонятно, но Intel утверждает, что речь не идёт ни о материале с изменением фазового состояния, который используется в PRAM, ни о мемристорах, которые использует компания HP в разработках свой магниторезистивной памяти MRAM.

Тем не менее большинство экспертов склоняется к тому, что в 3D XPoint в той или иной степени всё же используется эффект фазового перехода второго рода – переход вещества из одной термодинамической фазы в другую при сохранении плотности и внутренней энергии. В природе существует немало материалов, обладающих способностью выполнять такой фазовый переход при изменении внешних условий, например полуметаллы бор, кремний, германий, мышьяк, сурьма, теллур и проч. А при смешивании полуметаллов с металлами в специальных пропорциях получаются так называемые халькогениды – ещё более интересные материалы, обладающие двумя фазами: аморфной с большим электрическим сопротивлением и кристаллической – с маленьким. Вполне возможно, что какие-то халькогениды и применяются в новой памяти, разработанной Intel и Micron.

При этом чрезвычайно важно, что электрическое сопротивление материала, используемого в ячейках 3D XPoint, остаётся неизменным и после снятия внешнего воздействия. То есть после того, как ячейка памяти 3D XPoint получила какое-то значение, она продолжает сохранять его сколь угодно продолжительное время даже в том случае, если питание системы отключено. Таким образом, 3D XPoint кардинальным образом отличается от динамической памяти (DRAM). И дело не только в энергонезависимости. Как говорит Intel, конструкция 3D XPoint вообще не требует использования полупроводниковых транзисторов, что в конечном итоге позволяет добиваться гораздо более высокой плотности хранения информации. По утверждениям разработчиков, новая память в сравнении с DRAM выигрывает по этому параметру в 4—10 раз.

Преимущество технологии 3D XPoint заключается ещё и в том, что данные, хранящиеся в каждой ячейке, могут быть сравнительно легко перезаписаны. Так, традиционная энергонезависимая NAND-память для стирания своего содержимого требует приложения высоких напряжений, причём после процедуры очистки ячейки могут быть запрограммированы лишь единожды, затем же, при необходимости перезаписи, их содержимое приходится очищать снова. Использовать 3D XPoint в этом плане гораздо проще: переключение запоминающего устройства из состояния логического нуля в логическую единицу и обратно происходит без каких-либо промежуточных стадий, напрямую.

Поскольку к традиционной флеш-памяти приходится постоянно применять повышенные напряжения, которые постепенно изнашивают её полупроводниковую структуру, NAND имеет не слишком удобную в использовании страничную организацию. Массив флеш-памяти обычно разбивается на 4-килобайтные страницы, которые объединены в блоки общей ёмкостью до 512 Кбайт. При этом операции чтения и записи выполняются на страничном уровне, а операции очистки памяти могут проводиться лишь с блоками целиком. В SSD это приводит к возникновению эффекта, который мы называем «усиление записи», когда для изменения одного-единственного байта данных может потребоваться прочитать, очистить и перезаписать все страницы целого 512-килобайтного блока данных.

3D XPoint этого недостатка лишена. Такая память может работать со своими ячейками побитно (по крайней мере, в теории). И именно это позволяет Intel и Micron в перспективе нацеливаться на выпуск построенных на новой технологии модулей DIMM, где как раз и пригодилась бы возможность произвольного и прямого доступа к ячейкам. К тому же такая память может быть интересна не только энергонезависимостью, но и ценой. Даже в момент своего выхода на рынок технология 3D XPoint позволяет выпускать носители информации с удельной стоимостью заметно ниже, чем у модулей DRAM. Например, 32-гигабайтный накопитель Optane Memory стоит $77, а такой же объём обычной динамической DDR4-памяти обойдётся примерно втрое дороже.

Впрочем, DIMM на базе 3D XPoint – это в будущем, и на данный момент побайтовый доступ к ячейкам в Optane Memory не реализован. В текущих версиях интеловских накопителей, построенных на 3D XPoint, применяются логические сектора объёмом по 512 байт. Это, конечно, повышает «усиление записи», но не так сильно, как в случае обычных SSD, что в конечном итоге позволяет Intel обещать для Optane Memory выносливость, которая превосходит ресурс флеш-накопителей на порядок.

Выигрывает Optane Memory у NAND-памяти и по производительности. В конечном итоге это выливается в несколько иной профиль быстродействия. Так, современные NAND-накопители развивают максимальную скорость при глубоких очередях операций, когда на SSD приходит сразу большое количество запросов одновременно, которые контроллер накопителя может обработать параллельно. Это значит, что максимальные скорости традиционные SSD показывают лишь при линейных операциях или в специфических задачах серверного характера. Накопители же, построенные на базе 3D XPoint, отменяют это условие. Например, тот же серверный Intel Optane SSD DC P4800X может похвастать высокими показателями IOPS даже при небольших очередях запросов, а его латентности, то есть время реакции на входящие операции ввода-вывода, оказываются много меньше, чем у основанных на флеш-памяти SSD сравнимого класса. Именно благодаря этому дорогостоящий Intel Optane SSD DC P4800X и может быть привлекателен для целого ряда серверных задач, даже несмотря на свою высокую цену.

#Путь на массовый рынок: гибридный подход

Однако преимущества 3D XPoint применительно к носителям информации для потребительского сегмента на фоне её высокой стоимости не столь очевидны. Поэтому для внедрения нового типа памяти в массовые компьютеры компания Intel предпочла избрать иной путь – через гибриды. Это значит, что в потребительском рыночном сегменте она собралась продвигать решения, идеологически похожие на гибридные накопители (SSHD), которые объединяют в одно целое классический механический HDD с кешем на основе флеш-памяти.

Магнитные жёсткие диски имеют огромное преимущество в удельной цене за гигабайт, однако при этом они предлагают сравнительно низкие скорости чтения и совершенно чудовищное время доступа к данным. Время обслуживания операций ввода-вывода может достигать десятков миллисекунд, что на порядки больше задержек, свойственных SSD. Гибридные же решения пытаются взять всё лучшее одновременно и от HDD, и от SSD. Их механическая часть отвечает за вместимость и отводится в первую очередь для хранения «холодных», то есть редко используемых данных. Быстродействующий же NAND-кеш обеспечивает высокую скорость, он хранит «горячие» данные, то есть такие, к которым обращения происходят регулярно. Intel считает, что если же в этой схеме вместо NAND задействовать 3D XPoint, то такой тандем может заиграть новыми красками, ведь новая память ещё быстрее и ещё выносливее, а кроме того, она не требует никакого дополнительного обслуживания вроде постоянного сохранения определённой доли свободного места и отсылки команд TRIM.

Гибридные накопители сегодня выпускают многие производители, и все они представляют собой полностью законченные и замкнутые решения. Intel же предлагает немного иную архитектуру, реализующую подобную схему при помощи разрозненных аппаратных компонентов, набора системной логики на материнской плате и программного драйвера. Собственно, эта схема предлагается Intel уже достаточно продолжительное время. Проповедующая данный подход технология SRT (Smart Response Technology) была представлена Intel ещё в 2011 году вместе с процессорами Sandy Bridge и чипсетом Intel Z68. Она позволяет объединить в массив обычный HDD и кеширующий SSD и продолжает поддерживаться и поныне.

Тем не менее за прошедшие несколько лет технология SRT так и не снискала особой популярности. Отчасти это было связано с ситуацией с ценами, когда ёмкие SSD стремительно подешевели и начали полностью вытеснять из компьютеров HDD. Но гораздо большие препятствия на пути распространения SRT компания Intel воздвигла своими дурацкими маркетинговыми заслонами. В то время как эта технология представляется целесообразной для использования именно в недорогих системах, где пользователи настроены экономить и не приобретать вместительные твердотельные накопители, Intel реализует SRT лишь в наборах системной логики верхнего уровня. Например, изначально она была доступна исключительно во флагманском оверклокерском чипсете Z68. Затем, в последующих платформах, технология SSD-кеширования смогла спуститься на ступеньку ниже, но лишь этим дело и ограничилось. Так, если говорить о современных процессорах поколения Kaby Lake, то SRT с ними можно активировать лишь в материнских платах на базе Z270 и Q270, популярные же для построения наиболее массовых систем H270, B250 и Q250 поддержки SRT не имеют.

C Optane Memory компания Intel решила повести себя более логично. Новая технология кеширования, которую она продвигает вместе с первыми потребительскими накопителями на основе 3D XPoint, идейно почти не отличается от SRT. Но зато объединять Optane Memory с HDD для построения единого гибридного хранилища теперь можно в любой современной системе, вне зависимости от того, как она позиционируется и на базе какого чипсета она построена.

Впрочем, гибридные накопители, не важно, идёт речь о SSHD, массивах SRT или гибридах, построенных с помощью Optane Memory, всеобъемлюще универсальным решением всё-таки не являются. Да, они могут предложить высокую производительность при загрузке Windows и какого-то определённого набора приложений и файлов, особенно если всё это происходит по одному и тому же повторяющемуся сценарию. Но если речь идёт о нагрузке, которая порождает большое количество разнообразной дисковой активности, кеширующих возможностей быстрого буфера сравнительно небольшой ёмкости может оказаться недостаточно.

Современные SSHD обычно обладают 64-гигабайтным NAND-буфером, такой же максимальный объём кеширующего SSD поддерживает и технология Intel SRT. В случае же Optane Memory максимально возможный размер кеширующего накопителя и вовсе не может превысить 32 Гбайт (на данный момент). Поэтому заметное ускорение гибридные дисковые технологии могут дать лишь в том случае, если суммарный объём «горячих» данных, к которым пользователь обращается регулярно, не выходит за пределы 32 или 64 Гбайт. Иными словами, если вы собираетесь установить на гибридный носитель информации большое количество «тяжёлых» игр и приложений и будете регулярно и вразнобой ими пользоваться, производительность дисковой подсистемы может оказаться больше похожей на производительность HDD, а не на производительность быстрого твердотельного накопителя. И более того, гибрид может оказаться неэффективен и без значительного количества игр. Не забывайте, некоторые сегодняшние игровые проекты AAA-класса нередко занимают по 50 Гбайт дискового пространства или даже больше.

Также гибридный подход не может дать хороших результатов в сценариях, связанных с установкой программного обеспечения. Инсталляторы попросту не могут быть закешированы, так как выполняются лишь единожды, поэтому их запуск, а также некоторая часть инициируемых ими записей файлов будет происходить со скоростью медленного HDD.

С алгоритмической точки зрения работа гибридных массивов, построенных с использованием в качестве кеширующего уровня накопителей Optane Memory, по-видимому, мало отличается от технологии Intel SRT. Безусловно, наверняка существуют какие-то нюансы реализации, связанные с тем, что технология SRT предполагает использование в качестве кеша SATA SSD, а Optane Memory – это твердотельный накопитель с интерфейсом NVMe (PCI Express 3.0 x2). Кроме того, очевидно, имеются расхождения и в настройках технологий. Но общие принципы одинаковы. В обоих случаях, не важно, используется ли в качестве кеша SSD или накопитель Optane, в них буферизируются блоки данных с HDD, обращение к которым выполняется наиболее часто. Как говорит сама Intel, для попадания какого-либо блока данных в кеш достаточно троекратного к нему обращения.

Но есть и различия. Например, в отличие от SRT, Optane Memory может работать не только на уровне блоков, но и на уровне файлов. Так, ключевые системные файлы Windows загружаются в кеш сразу же после активации технологии, а крупные мультимедийные файлы не кешируются вообще.

Концептуально в технологии Optane Memory похож на старое SRT-кеширование и процесс подключения и инициализации: модуль Optane устанавливается в обычный M.2-слот на материнской плате и программными настройками в BIOS или операционной системе «спаривается» с тем диском (а это может быть как HDD, так и SSD с интерфейсом SATA), работу которого предполагается ускорить.

Технология SRT позволяет выбирать между двумя алгоритмами кеширования обращений: Write-back, когда запись сначала происходит в кеш, а перенос данных на медленный носитель информации выполняется в моменты простоя, и Write-through, когда запись сразу идёт на быстрый и медленный накопители параллельно. Алгоритм Write-back при этом обеспечивает более высокую производительность операций записи, скорость которой в этом случае может быть сравнима со скоростью кеширующего SSD. Однако работа этого алгоритма связана с некоторым риском. В том случае, если пара из кеширующего накопителя и основного носителя информации будет по каким-то причинам разделена, данные на HDD могут оказаться утеряны или повреждены, поскольку их свежая копия вполне может оказаться оставшейся исключительно в кеше. Производительность алгоритма Write-through заметно ниже, и при записи она сравнима со скоростью медленного накопителя в паре, но зато такой подход гарантирует, что основной носитель информации всегда содержит актуальную и целостную версию пользовательских данных.

Новая технология Optane Memory может работать лишь в одном режиме: быстром Write-back. А это значит, что в любом случае, когда вы захотите разделить накопители, сначала придётся выполнить процедуру отключения кеширования через BIOS материнской платы или драйвер операционной системы. В этот момент все хранящиеся в Optane данные будут переброшены на основной носитель информации, что займёт некоторое время. Но если пренебречь этой процедурой, Optane Memory и основной диск окажутся нечитаемыми на уровне файловой системы.

Кроме того, заметные различия в работе технологий SRT и Optane порождены маркетингом. Выводя на рынок Optane, компания Intel решила избежать искусственных ограничений, которые были свойственны SRT. Кеширование Optane Memory доступно в любых системах с чипсетами двухсотой серии вне зависимости от того, какой конкретно набор системной логики в них используется. Это значит, что гибридный носитель информации с кеширующим уровнем на основе Optane может быть создан даже в системе с чипсетом B250, в то время как технология SRT в такой конфигурации недоступна.

И это очень забавная и парадоксальная ситуация. С одной стороны, по странному стечению обстоятельств технология SRT оказалась принадлежностью исключительно систем верхнего уровня. С другой – Intel заинтересована в продвижении Optane Memory, поэтому почти полностью аналогичная технология разрешена для всего спектра систем с современными процессорами. В конечном же итоге Intel, вероятно, хочет, чтобы пользователи, которые рассматривают возможность построения гибридных систем хранения информации, ориентировались исключительно на Optane. И в этом есть определённая логика: данная технология может обеспечить более высокую производительность благодаря свойствам памяти 3D XPoint.

#Intel Optane Memory: технические подробности

Итак, Intel Optane Memory – это твердотельный накопитель форм-фактора M.2 небольшого объёма, который использует NVMe-интерфейс и базируется на новой энергонезависимой памяти 3D XPoint вместо привычного NAND-флеша. Память 3D XPoint позволяет Optane Memory обеспечивать сравнительно неплохую производительность произвольных операций по сравнению с SSD аналогичного объёма и заметно более низкие задержки, чем любые накопители, основанные на NAND-памяти. Но накопители Intel Optane Memory предназначаются для использования в качестве кеширующего уровня в дисковой подсистеме и могут быть как установлены в новые системы на этапе их сборки, так и добавлены впоследствии без потерь данных в уже сконфигурированные и эксплуатируемые компьютеры.

Кеширование работает на уровне системного драйвера, поэтому без дополнительной настройки Intel Optane Memory виден в системе как совершенно обычный накопитель, который теоретически можно использовать в качестве ординарного SSD. Однако на практике в этом вряд ли есть какой-то смысл: доступные объёмы Intel Optane Memory делают его малоинтересным вариантом в такой роли — максимальной ёмкости в 32 Гбайт едва ли хватит для установки операционной системы.

На логическом уровне Intel Optane Memory для связи с системой использует шину PCI Express 3.0 x2, то есть вдвое более медленный интерфейс по сравнению с большинством современных NVMe SSD, которые подключаются по четырём линиям PCI Express 3.0. Поэтому устанавливать Intel Optane Memory можно в любой M.2-слот на материнской плате, который обладает поддержкой PCI Express 3.0. Но активировать технологию кеширования можно будет лишь в том случае, если за работу используемого слота отвечает набор системной логики, а не процессор.

Физически Intel Optane Memory выполнен в виде стандартного одностороннего модуля M.2 форм-фактора 2280, однако размещённые на плате компоненты занимают далеко не всю её площадь. Даже в 32-гигабайтной версии Optane Memory массив памяти 3D XPoint набран лишь двумя чипами, и они фактически занимают лишь примерно половину доступного пространства. Микросхема контроллера имеет очень небольшой размер, а DRAM-буфер в данном случае вообще отсутствует. Такая аппаратная конструкция связана с тем, что с памятью 3D XPoint работать намного проще, чем с NAND-флешем. Возможность прямой перезаписи данных позволяет обходиться без всякой дополнительной буферизации и без какого-либо фонового обслуживания массива памяти. А низкие задержки позволяют формировать массив 3D XPoint с минимальным числом каналов, которых в контроллере Optane Memory, судя по всему, предусмотрено лишь два.

 

При производстве чипов 3D XPoint используется техпроцесс с нормами 20 нм, при этом на данный момент чипы получают двухслойную (трёхмерную) структуру. Как ни странно, такая память достаточно заметно нагревается во время работы. Поэтому на плате с двух сторон наклеены этикетки со слоем медной фольги, которая должна способствовать распределению тепла и улучшению теплоотвода.

 

Intel Optane Memory

16 Гбайт

32 Гбайт

Форм-фактор

M.2 2280

Интерфейс

PCI Express 3.0 x2

Протокол

NVMe 1.1

Контроллер

Intel

Память

128-Гбит 20-нм Intel 3D XPoint

Скорость последовательного чтения, Мбайт/с

900

1350

Скорость последовательной записи, Мбайт/с

145

290

Скорость случайного чтения, IOPS

190 000

240 000

Скорость случайной записи, IOPS

35 000

65 000

Латентность чтения, мкс

7

9

Латентность записи, мкс

18

30

Энергопотребление, Вт

1,0-3,5 Вт

Среднее время наработки на отказ, млн ч

1,6

Ресурс записи, Тбайт

182,5

Гарантийный срок, лет

5

Рекомендованная цена

$44

$77

Характеристики производительности, которые Intel заявляет для устройств Optane Memory, честно говоря, революционно совсем не выглядят. Скорости последовательного чтения ниже пропускной способности интерфейса PCI Express 3.0 x2, а это значит, что они хуже, чем у большинства NVMe SSD. Скорости последовательной записи неприятно удивляют ещё сильнее. По этой характеристике Intel Optane Memory проигрывает даже многим SATA SSD, предлагая производительность на уровне бюджетных моделей накопителей с TLC-памятью. Не слишком впечатляют и показатели, заявленные для произвольного доступа. По производительности случайного чтения Intel Optane Memory похож на среднестатистические потребительские NVMe SSD, а при случайной записи заявленное число IOPS скорее напоминает характеристику массовой модели SATA SSD, чем показатель быстродействия прогрессивной модели накопителя.

Однако не стоит думать, что имеющиеся на рынке флагманские NVMe SSD во всём превосходят Intel Optane Memory. Сильная сторона новаторского решения на базе памяти 3D XPoint заключается не в пиковой производительности, а в низких латентностях. Особенно впечатляюще выглядит Optane Memory при чтении. Заявленные для него задержки на уровне 7-9 мкс – это в разы лучше задержек, которые могут предложить самые быстрые SSD. Правда, при операциях записи с традиционными накопителями наблюдается паритет, так как в этом случае современные SSD на базе NAND-памяти используют буферизацию операций в DRAM.

Выносливость накопителей Intel Optane Memory определена из расчёта возможности перезаписи 100 Гбайт данных ежедневно, что конвертируется в 182,5 Тбайт записей за время службы для вариантов обеих ёмкостей. На фоне того, что изначально Intel для своей 3D XPoint обещала увеличение выносливости по сравнению с NAND-памятью на три порядка, показатели ресурса вызывают разочарование. Однако если исходить из планируемого применения Optane Memory в качестве кеша, заявленное значение представляется вполне достаточным, хотя и не избыточным. В любом случае на завоевание репутации «вечного» накопителя текущая версия Optane Memory пока претендовать неспособна.

В заключение нужно перечислить достаточно обширный список ограничений, способных сузить сферу применимости технологии кеширования с использованием Intel Optane Memory. Помимо того, что она работает лишь в платформах с новыми процессорами Kaby Lake, Kaby Lake-X и Skylake-X (и в перспективе Coffee Lake) и чипсетами двухсотой (и трёхсотой) серий, стоит иметь  в виду, что процессоры семейств Celeron и Pentium активировать кеширование не позволят. Кроме того, драйвером Optane Memory поддерживается лишь единственная операционная система – Windows 10 64-бит, а кешироваться могут исключительно обращения к накопителю с интерфейсом SATA, причём лишь к тому из них, с которого выполняется загрузка операционной системы.


Источник: 3DNews

 
 
Новости:    Предыдущая Следующая   
 Архив новостей

Разделы новостей:

Подписаться на новости:

 

Поиск в новостях: