Увеличение масштабов нейронных сетей для глубинного обучения

15.10.2016

Компания Fujitsu объявила о разработке технологии, которая оптимизирует использование внутренней памяти графических процессоров (GPU) с целью поддержать увеличивающиеся масштабы нейронных сетей, используемых для повышения точности машинного обучения.

Одним из методов увеличения масштаба глубинного обучения является распределение одной модели нейронной сети на нескольких компьютерах и выполнение вычислений параллельно. Но большой объем данных, который должен передаваться между компьютерами, создает "пробки", значительно снижая скорость выполнения задач, пояснили в Fujitsu. Для того чтобы воспользоваться всеми возможностями графических процессоров для высокоскоростных вычислений, данные должны храниться во внутренней памяти самих процессоров. Однако этот объем, как правило, меньше объема памяти обычных компьютеров, что ограничивает возможности по увеличения масштаба нейронных сетей.

Fujitsu разработала технологию для оптимизации использования памяти и увеличения масштаба нейронных сетей для вычислений с одним графическим процессором. В новинке не используются методы параллельной организации работы, которые значительно уменьшают скорость чтения. Новая технология уменьшает необходимый объем памяти за счет повторного использования ресурсов: она позволяет в независимом режиме выполнять вычисления для создания данных промежуточных ошибок из взвешенных данных и вычисления для создания взвешенных данных из промежуточных данных. Когда обучение начинается, структура каждого слоя нейронной сети анализируется, и порядок вычислений изменяется для того, чтобы область памяти, в которой расположен больший объем данных, могла повторно использоваться, отметили в компании.

Компания использовала новую технологию в рамках платформы для глубинного обучения с открытым исходным кодом Caffe, измерив уровень потребления внутренней памяти GPU. После запуска обучения технология анализирует структуру нейронной сети и оптимизирует порядок выполнения вычислений и расположение данных в памяти для того, чтобы свободная область памяти могла повторно использоваться. При использовании ее совместно с AlexNet и VGGNet, нейронными сетями распознавания изображений, которые используются для научных исследований, новая технология Fujitsu до 2 раз увеличила масштаб нейронной сети по сравнению с предыдущими аналогами. Таким образом, используемый объем внутренней памяти графического процессора, по оценкам компании, был уменьшен более чем на 40%.

Планирует серийное использование новой технологии с 31 марта 2017 г. в рамках проекта искусственного интеллекта Human Centric AI Zinrai. Кроме того, компания планирует использовать эту технологию вместе с ранее представленной технологией для обработки данных в рамках глубинного обучения методом параллелизации графических процессоров.

<< Назад: Кошки способны лечить людей 16.10.2016

>> Вперед: У пчел есть эмоции и смены настроения 15.10.2016

Последние новости науки и техники, новинки электроники:

Расставание действительно может причинять физическую боль 16.09.2026

Разрыв отношений с близким человеком способно вызывать настолько сильные переживания, что привычное выражение "разбитое сердце" иногда воспринимается почти буквально. Человек может испытывать тревогу, тоску и эмоциональное напряжение, сопровождающиеся вполне реальными телесными ощущениями. Исследования работы мозга показывают, что такая связь между эмоциональными и физическими страданиями может иметь вполне определенную нейробиологическую основу. Эксперимент, позволивший изучить этот вопрос, провела команда психолога Итана Кросса из Мичиганского университета. В исследовании участвовали 40 человек, недавно переживших расставание по инициативе партнера. Все добровольцы продолжали остро реагировать на произошедшее, что позволило исследователям изучить мозговую активность в период наиболее сильных переживаний. Во время эксперимента участников помещали в аппарат магнитно-резонансной томографии. Испытуемым поочередно показывали фотографию бывшего партнера и подвергали предплечье воздей ...>>

Научно доказана невозможность создания нейтринного лазера 16.09.2026

Лазер давно перестал быть исключительно лабораторной технологией: сегодня он используется в связи, медицине, промышленности и научных исследованиях. Поэтому физики периодически предлагают необычные варианты устройств, способных работать по аналогичным принципам, но с другими типами частиц. В 2025 году появилась идея создать лазер, формирующий направленный поток нейтрино. Однако последующий теоретический анализ показал, что привлекательная на первый взгляд концепция сталкивается не просто с техническими трудностями, а с фундаментальными законами квантовой физики. Первоначальную концепцию предложили профессор Массачусетского технологического института (MIT) Джо Формаджио (Joe Formaggio) и Бен Джонс (Ben Jones) из Техасского университета в Арлингтоне. Согласно их замыслу, облако радиоактивных атомов следовало охладить до сверхнизких температур порядка нанокельвинов - миллиардных долей кельвина. В таких условиях атомы могли бы сформировать Бозе - Эйнштейновский конденсат, особое квантов ...>>

Индекс нижнего белья раскрыл состояние швейцарских почв 15.09.2026

Почва кажется обычной частью окружающего нас ландшафта, однако под ее поверхностью существует сложная экосистема, от состояния которой напрямую зависит жизнь человека. Миллиарды микроорганизмов, черви, грибы и другие обитатели почвы перерабатывают органические вещества и участвуют в круговороте питательных элементов. Чтобы привлечь внимание общества к этой мало заметной проблеме, исследователи из Цюрихского университета придумали весьма необычный эксперимент: они закопали более 2000 пар хлопкового нижнего белья в садах, на лугах, полях и газонах по всей Швейцарии. Проект получил название "Доказательство в виде нижнего белья" и представлял собой не массовую шутку, а научный эксперимент, позволяющий наглядно оценить биологическую активность почвы. Исследователи помещали хлопковые изделия в землю, а примерно через два месяца извлекали их и сравнивали степень разрушения ткани. Некоторые образцы за это время практически исчезали, оставляя лишь отдельные фрагменты швов, тогда как на други ...>>

Гибкий алмаз вырабатывает электричество 15.09.2026

Алмаз традиционно воспринимается как исключительно твердый и практически неподвижный материал, поэтому возможность получать из него электричество при механической деформации долгое время казалась невероятной. В начале XX века алмаз относили к непьезоэлектрическим материалам, то есть считалось, что при сжатии или изгибе он, в отличие от кварца, не способен создавать электрический заряд. Однако исследователи из Университета Гонконга обнаружили, что при определенных условиях это представление требует пересмотра. Проблема заключалась прежде всего в физической природе самого минерала. Обычный алмаз настолько тверд, что заметно согнуть его практически невозможно. Поэтому специалисты использовали другой подход и изготовили из алмаза чрезвычайно тонкую гибкую мембрану. После механического воздействия на такую конструкцию измерительные приборы зарегистрировали устойчивые электрические сигналы. Эксперименты неоднократно повторяли и проводили в различных условиях, чтобы исключить случайное про ...>>

Найдена химическая причина возрастных изменений запаха кожи 14.09.2026

Запах человеческого тела меняется на протяжении всей жизни, и особенно заметные изменения могут происходить в пожилом возрасте. Речь идет не только о привычном запахе пота или особенностях гигиены: старение сопровождается целым комплексом биохимических процессов в коже, способных влиять на ее естественный запах. Ученые обнаружили одно из веществ, которое связывают с характерным ароматом, часто называемым "запахом старости". Исследователи установили, что важную роль в этом процессе играет 2-ноненаль - органическое соединение из группы ненасыщенных жирных альдегидов. Это вещество обладает характерным запахом, который нередко описывают как сочетание прогорклого масла и затхлого картона. Его количество в коже увеличивается по мере старения организма, поэтому концентрация 2-ноненаля рассматривается специалистами как одна из биохимических причин возрастного изменения запаха. По словам дерматологов, заметные изменения начинают становиться более вероятными после 40 лет. Доктор Сонал Чоуд ...>>

Случайная новость из Архива В центре Млечного пути нет звездообразования 12.08.2016 Астрономы из Японии, Южной Африки и Италии обнаружили, что в огромной области вокруг центра нашей Галактики нет молодых звезд. Этот неожиданный результат может привести к пересмотру взглядов на эволюцию Млечного пути. Ученые занимались поиском во внутренней области Млечного пути классических цефеид, которые представляют собой молодые звезды с возрастом от 10 до 300 миллионов лет. (Напомним, что наше Солнце имеет возраст порядка 4,6 миллиарда лет.) Это довольно сложная задача, поскольку Галактика полна межзвездной пыли, которая мешает увидеть многие звезды и влияет на видимую светимость тех, что видны. Исследователи компенсировали это наблюдениями в ближнем инфракрасном диапазоне. Работы они проводил на японско-южноафриканском телескопе в Сатерленде (ЮАР), - месте, известном тем, что там самые чистые и темные ночи в мире. Астрономы открыли почти 30 цефеид и с удивлением обнаружили, что в радиусе 8000 световых лет вокруг центра Галактики нет ни одной. Исключение составляет небольшая область в самом центре Галактики радиусом 150 световых лет, где еще ранее были обнаружены четыре цефеиды. Если в этом огромном регионе внутреннего диска Галактики нет молодых звезд, значит, на протяжении сотен миллионов лет там не было никакого существенного звездообразования. Для сравнения диаметр нашей Галактики около 100 000 световых лет, а Солнце располагается на удалении 26 000 световых лет от ее центра. Этот результат согласуется с недавними исследованиями радиоастрономов, но противоречит одной работе с аналогичными измерениями. Однако авторы данного исследования полагают, что там имела место ошибка с определением расстояния из-за покраснения излучения при прохождении через межзвездную пыль.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026