Увеличение масштабов нейронных сетей для глубинного обучения 15.10.2016

Компания Fujitsu объявила о разработке технологии, которая оптимизирует использование внутренней памяти графических процессоров (GPU) с целью поддержать увеличивающиеся масштабы нейронных сетей, используемых для повышения точности машинного обучения.

Одним из методов увеличения масштаба глубинного обучения является распределение одной модели нейронной сети на нескольких компьютерах и выполнение вычислений параллельно. Но большой объем данных, который должен передаваться между компьютерами, создает "пробки", значительно снижая скорость выполнения задач, пояснили в Fujitsu. Для того чтобы воспользоваться всеми возможностями графических процессоров для высокоскоростных вычислений, данные должны храниться во внутренней памяти самих процессоров. Однако этот объем, как правило, меньше объема памяти обычных компьютеров, что ограничивает возможности по увеличения масштаба нейронных сетей.

Fujitsu разработала технологию для оптимизации использования памяти и увеличения масштаба нейронных сетей для вычислений с одним графическим процессором. В новинке не используются методы параллельной организации работы, которые значительно уменьшают скорость чтения. Новая технология уменьшает необходимый объем памяти за счет повторного использования ресурсов: она позволяет в независимом режиме выполнять вычисления для создания данных промежуточных ошибок из взвешенных данных и вычисления для создания взвешенных данных из промежуточных данных. Когда обучение начинается, структура каждого слоя нейронной сети анализируется, и порядок вычислений изменяется для того, чтобы область памяти, в которой расположен больший объем данных, могла повторно использоваться, отметили в компании.

Компания использовала новую технологию в рамках платформы для глубинного обучения с открытым исходным кодом Caffe, измерив уровень потребления внутренней памяти GPU. После запуска обучения технология анализирует структуру нейронной сети и оптимизирует порядок выполнения вычислений и расположение данных в памяти для того, чтобы свободная область памяти могла повторно использоваться. При использовании ее совместно с AlexNet и VGGNet, нейронными сетями распознавания изображений, которые используются для научных исследований, новая технология Fujitsu до 2 раз увеличила масштаб нейронной сети по сравнению с предыдущими аналогами. Таким образом, используемый объем внутренней памяти графического процессора, по оценкам компании, был уменьшен более чем на 40%.

Планирует серийное использование новой технологии с 31 марта 2017 г. в рамках проекта искусственного интеллекта Human Centric AI Zinrai. Кроме того, компания планирует использовать эту технологию вместе с ранее представленной технологией для обработки данных в рамках глубинного обучения методом параллелизации графических процессоров.

>> Следующая новость: Кошки способны лечить людей 16.10.2016

<< Предыдущая новость: У пчел есть эмоции и смены настроения 15.10.2016

Последние новости науки и техники, новинки электроники:

Полимерный материал, меняющий форму под действием магнитов 13.12.2019

Исследователи из Технологического института штата Джорджия (Georgia Tech) и Университета штата Огайо (США) разработали мягкий полимерный материал - магнитный полимер с памятью формы, - который магнитное поле заставляет скручиваться, сгибаться и хватать. Из материала можно сделать рычаги-захваты, которые смогут поднять хрупкие предметы, не повредив их, или груз в 1000 раз больше собственного веса. Новый материал получен из трех компонентов, каждый из которых обладает уникальными свойствами. Од ...>>

Электрический гидросамолет 13.12.2019

Канадская компания Harbour Air провела первый полет электрифицированного пассажирского гидросамолета DHC-2 Beaver. Канадская авиакомпания Harbour Air 10 декабря провела успешный полет электрической версии гидросамолета DHC-2 Beaver на реке Фрейзер, рядом с Ванкувером. В длину DHC-2 Beaver составляет 9,2 метра и имеет размах крыла 14,6 м. Он может развивать скорость до 255 километров в час, а дальность полета машины составляет до 732 километров. В электрический самолет аппарат был переделан ...>>

Искусственные фрукты 12.12.2019

Мейдан Леви, выпускник израильской национальной Академии искусств "Бецалель", разработал пять видов искусственных фруктов на основе коктейлей с высоким содержанием витаминов и минералов. Проект Леви получил название Neo Fruit. Каждый из пяти плодов серии отличается от других по форме и вкусу, но выполнены они по одной технологии. Сначала Леви печатает оболочку для фрукта на 3D-принтере, используя в качестве материала прозрачную целлюлозу, затем переходит к наполнению, заливая оболочку питател ...>>

Криопроцессор Horse Ridge 12.12.2019

Лаборатория Intel Labs поделилось подробностями о своем новом криогенном процессоре Horse Ridge, разработанном совместно с нидерландской компанией QuTech. Это первый в мире чип, предназначенный для создания коммерческих квантовых систем. Horse Ridge призван взять на себя всю работу, которая ранее ложилась на значительное количество полупроводниковых технологий. Обладая сравнительно небольшими размерами (примерно как ладонь) и заменяя огромные внешние компоненты, которые обычно необходимы для ...>>

Ракета Blue Origin 11.12.2019

Частная американская аэрокосмическая компания Blue Origin основателя Amazon Джеффа Безоса, которая является одной из основных конкуренток компании Илона Маска SpaceX запустит космический корабль New Shepard для суборбитального полета. Сегодня компания Blue Origin американского миллиардера Джеффа Безоса планирует запустить к условной границе между атмосферой и космосом - около 100 км - многоразовую ракету-носитель New Shepard. На борту, помимо коммерческих грузов, будут также тысячи детских ...>>

Случайная новость из Архива

Робот сортирует мух 21.06.2015

Много лет ученые используют мух-дрозофил в различных исследованиях. Достаточно простой организм мух является идеальным материалом для генетических экспериментов.

Однако перед исследованиями фруктовые мухи требуют тщательной сортировки, что является довольно-таки утомительной задачей. Поэтому ученые из Стэнфордского университета (США) построили робота, на который они переложили этот нелегкий труд.

Чтобы "увидеть" дрозофилу, робот включает инфракрасный свет, который отражается от грудной клетки мухи и тем самым делает ее заметной для камеры. Затем выбранная дрозофила берется с помощью крошечной пневмотрубки.

Робот способен хватать мух гораздо быстрее и точнее человека - он обрабатывает более 1000 дрозофил за 10-часовую рабочую "смену". Устройство выполняет анализ физических атрибутов каждой дрозофилы, сортирует их по полу и даже способно препарировать их крошечный мозг.

В дальнейшем ученые планируют обучить прецизионного робота самостоятельному проведению экспериментов на плодовых мухах, освободив от этого аспирантов и стажеров.

Смотрите полный Архив новостей науки и техники, новинок электроники

Бесплатная техническая документация для любителей и профессионалов