Увеличение масштабов нейронных сетей для глубинного обучения

15.10.2016

Компания Fujitsu объявила о разработке технологии, которая оптимизирует использование внутренней памяти графических процессоров (GPU) с целью поддержать увеличивающиеся масштабы нейронных сетей, используемых для повышения точности машинного обучения.

Одним из методов увеличения масштаба глубинного обучения является распределение одной модели нейронной сети на нескольких компьютерах и выполнение вычислений параллельно. Но большой объем данных, который должен передаваться между компьютерами, создает "пробки", значительно снижая скорость выполнения задач, пояснили в Fujitsu. Для того чтобы воспользоваться всеми возможностями графических процессоров для высокоскоростных вычислений, данные должны храниться во внутренней памяти самих процессоров. Однако этот объем, как правило, меньше объема памяти обычных компьютеров, что ограничивает возможности по увеличения масштаба нейронных сетей.

Fujitsu разработала технологию для оптимизации использования памяти и увеличения масштаба нейронных сетей для вычислений с одним графическим процессором. В новинке не используются методы параллельной организации работы, которые значительно уменьшают скорость чтения. Новая технология уменьшает необходимый объем памяти за счет повторного использования ресурсов: она позволяет в независимом режиме выполнять вычисления для создания данных промежуточных ошибок из взвешенных данных и вычисления для создания взвешенных данных из промежуточных данных. Когда обучение начинается, структура каждого слоя нейронной сети анализируется, и порядок вычислений изменяется для того, чтобы область памяти, в которой расположен больший объем данных, могла повторно использоваться, отметили в компании.

Компания использовала новую технологию в рамках платформы для глубинного обучения с открытым исходным кодом Caffe, измерив уровень потребления внутренней памяти GPU. После запуска обучения технология анализирует структуру нейронной сети и оптимизирует порядок выполнения вычислений и расположение данных в памяти для того, чтобы свободная область памяти могла повторно использоваться. При использовании ее совместно с AlexNet и VGGNet, нейронными сетями распознавания изображений, которые используются для научных исследований, новая технология Fujitsu до 2 раз увеличила масштаб нейронной сети по сравнению с предыдущими аналогами. Таким образом, используемый объем внутренней памяти графического процессора, по оценкам компании, был уменьшен более чем на 40%.

Планирует серийное использование новой технологии с 31 марта 2017 г. в рамках проекта искусственного интеллекта Human Centric AI Zinrai. Кроме того, компания планирует использовать эту технологию вместе с ранее представленной технологией для обработки данных в рамках глубинного обучения методом параллелизации графических процессоров.

<< Назад: Кошки способны лечить людей 16.10.2016

>> Вперед: У пчел есть эмоции и смены настроения 15.10.2016

Последние новости науки и техники, новинки электроники:

Глюкозамин и когнитивные нарушения 16.10.2026

С возрастом нарушения памяти и мышления становятся все более распространенной проблемой, однако причины того, почему у одних людей легкие когнитивные изменения остаются стабильными, а у других со временем перерастают в деменцию, до сих пор изучены не полностью. Новая работа исследователей Университета Флориды в США указывает на возможную связь одного из широко используемых пищевых добавок с таким переходом. Речь идет о глюкозамине, который обычно принимают для уменьшения дискомфорта в суставах и поддержания их здоровья. Специалисты проанализировали обезличенные медицинские записи UF Health, охватывающие период с 2012 по 2024 год. С помощью искусственного интеллекта они изучили информацию о пациентах с болезнью Альцгеймера и другими связанными с ней деменциями, а также о людях с легкими когнитивными нарушениями. Последние характеризуются заметными проблемами с памятью или мышлением, которые уже выходят за рамки обычных возрастных изменений, но при этом еще не обязательно существенно ...>>

Звук на квантовом уровне меняется скачками, а не постепенно 16.10.2026

В привычном мире звуковые колебания затухают постепенно: струна после щипка вибрирует все слабее, а звон постепенно превращается в тишину. На уровне квантовой физики картина оказывается совершенно иной. Здесь энергия звука существует отдельными порциями, и переход между состояниями может происходить скачкообразно. Исследователи из Стэнфордского университета впервые смогли непосредственно наблюдать такой процесс в реальном времени, зафиксировав квантовые скачки отдельных звуковых частиц. Речь идет о фононах - квантовых порциях механических колебаний, которые можно рассматривать как своеобразный аналог фотонов для звуковых волн. В макроскопическом мире энергия вибрации может уменьшаться практически непрерывно, однако на квантовом уровне такое описание перестает работать. Энергетическое состояние системы изменяется дискретно, переходя с одного уровня на другой. Результаты стэнфордского эксперимента были опубликованы в журнале Science. Чтобы зафиксировать столь быстрый и чувствительн ...>>

Мизофония может иметь выраженную генетическую основу 15.10.2026

Для большинства людей звук жевания, дыхания или сопения остается практически незаметной частью повседневной жизни. Однако у людей с мизофонией такие совершенно обычные звуки способны вызывать мгновенную и крайне сильную негативную реакцию. Причины этого состояния до сих пор изучены недостаточно, однако новое исследование указывает на важную роль наследственности. Полученные данные свидетельствуют о том, что предрасположенность к мизофонии может иметь глубокую генетическую основу. Исследованием занималась команда Медицинской школы Йельского университета, сосредоточившая внимание на семейной истории людей с этим расстройством. В отличие от ряда предыдущих работ, проводившихся преимущественно с помощью дистанционных опросов, на этот раз специалисты непосредственно обследовали 101 человека с мизофонией и членов их семей. Такой подход позволил исследователям оценить не только распространенность состояния среди родственников, но и возможные связи с другими особенностями психического здоро ...>>

Запись магнитных данных с помощью сверхбыстрых лазерных импульсов 15.10.2026

Системы хранения данных постоянно сталкиваются с необходимостью одновременно увеличивать скорость записи, плотность информации и энергоэффективность. Один из возможных путей решения этой задачи связан с использованием света для управления магнитными состояниями материала. Инженеры Калифорнийского университета в Сан-Диего разработали метод, в котором специально сформированные лазерные импульсы позволяют изменять направление намагниченности, открывая перспективу создания более быстрых и компактных магнитных устройств памяти. Главное отличие нового подхода заключается в том, что исследователи управляют не составом магнитного материала, а характеристиками самого лазерного излучения. Ультрабыстрый лазер концентрирует энергию на микроскопическом участке поверхности. Когда диаметр светового пятна становится меньше 1,36 мкм, специалистам удается переключать направление намагниченности независимо от спиральности света, то есть направления вращения его поляризации. Это позволяет отказаться от ...>>

Биокаталитический способ получения хиральных оксазолидинонов 14.10.2026

Химия все чаще обращается к биологическим молекулам, чтобы сделать синтез сложных веществ более точным и эффективным. Особенно важны такие технологии при создании соединений, у которых одинаковый химический состав может сопровождаться разным пространственным расположением атомов и, следовательно, различными свойствами. Исследователи из Калифорнийского технологического института и Университета Питтсбурга предложили новый биокаталитический подход, позволяющий получать хиральные оксазолидиноны непосредственно из простых неактивированных алкенов. В основе предложенного метода лежит последовательность из двух реакций - азиридинирования и последующего расширения цикла. Этот каскад запускается с помощью гемопротеина, который выполняет функцию катализатора и позволяет направлять химическое превращение в нужную сторону. В результате из относительно простого исходного соединения формируется более сложная циклическая структура с заданной пространственной конфигурацией. Особенно существенным ...>>

Случайная новость из Архива Сухой лед против тумана 16.05.2000 Порошок сухого льда уже давно применяют для рассеивания облаков, а сейчас немецкие метеорологи попробовали использовать его для рассеивания тумана на земле. В ноябре прошлого года на окутанном густым туманом аэродроме под городом Котбус распылили мелкие гранулы сухого льда. Сначала видимость только ухудшилась. Но через минуту в воздухе повисли мелкие ледяные кристаллики, вскоре опавшие на грунт. Через четыре минуты туман в радиусе 50 метров совершенно исчез. В этом году готовится более крупномасштабный эксперимент такого рода.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026