Увеличение масштабов нейронных сетей для глубинного обучения

15.10.2016

Компания Fujitsu объявила о разработке технологии, которая оптимизирует использование внутренней памяти графических процессоров (GPU) с целью поддержать увеличивающиеся масштабы нейронных сетей, используемых для повышения точности машинного обучения.

Одним из методов увеличения масштаба глубинного обучения является распределение одной модели нейронной сети на нескольких компьютерах и выполнение вычислений параллельно. Но большой объем данных, который должен передаваться между компьютерами, создает "пробки", значительно снижая скорость выполнения задач, пояснили в Fujitsu. Для того чтобы воспользоваться всеми возможностями графических процессоров для высокоскоростных вычислений, данные должны храниться во внутренней памяти самих процессоров. Однако этот объем, как правило, меньше объема памяти обычных компьютеров, что ограничивает возможности по увеличения масштаба нейронных сетей.

Fujitsu разработала технологию для оптимизации использования памяти и увеличения масштаба нейронных сетей для вычислений с одним графическим процессором. В новинке не используются методы параллельной организации работы, которые значительно уменьшают скорость чтения. Новая технология уменьшает необходимый объем памяти за счет повторного использования ресурсов: она позволяет в независимом режиме выполнять вычисления для создания данных промежуточных ошибок из взвешенных данных и вычисления для создания взвешенных данных из промежуточных данных. Когда обучение начинается, структура каждого слоя нейронной сети анализируется, и порядок вычислений изменяется для того, чтобы область памяти, в которой расположен больший объем данных, могла повторно использоваться, отметили в компании.

Компания использовала новую технологию в рамках платформы для глубинного обучения с открытым исходным кодом Caffe, измерив уровень потребления внутренней памяти GPU. После запуска обучения технология анализирует структуру нейронной сети и оптимизирует порядок выполнения вычислений и расположение данных в памяти для того, чтобы свободная область памяти могла повторно использоваться. При использовании ее совместно с AlexNet и VGGNet, нейронными сетями распознавания изображений, которые используются для научных исследований, новая технология Fujitsu до 2 раз увеличила масштаб нейронной сети по сравнению с предыдущими аналогами. Таким образом, используемый объем внутренней памяти графического процессора, по оценкам компании, был уменьшен более чем на 40%.

Планирует серийное использование новой технологии с 31 марта 2017 г. в рамках проекта искусственного интеллекта Human Centric AI Zinrai. Кроме того, компания планирует использовать эту технологию вместе с ранее представленной технологией для обработки данных в рамках глубинного обучения методом параллелизации графических процессоров.

<< Назад: Кошки способны лечить людей 16.10.2016

>> Вперед: У пчел есть эмоции и смены настроения 15.10.2016

Последние новости науки и техники, новинки электроники:

Чувства кота, ожидаюшего возвращения хозяина 16.07.2026

Многие владельцы кошек уверены, что их питомцы совершенно равнодушны к уходу человека из дома. Считается, что кошки - независимые существа, которые спокойно переносят одиночество и даже радуются, оставаясь одни. Однако испанские специалисты по поведению животных считают, что реальность гораздо сложнее. Реакция кошки на отсутствие хозяина зависит от ее индивидуального характера, степени привязанности к человеку и привычного распорядка дня. Кошки хорошо запоминают ежедневные ритуалы своих владельцев. Они способны связывать определенные звуки - звон ключей, шаги у двери или звук закрывающегося замка - с предстоящим уходом человека. Для одних животных эти сигналы означают возможность спокойно лечь спать, а для других становятся причиной беспокойства и длительного ожидания возвращения хозяина. Таким образом, кошка не просто "не замечает" уход, а активно реагирует на связанные с ним изменения в окружающей обстановке. Исследования поведения кошек показывают, что некоторые из них действи ...>>

Целесообразность приема пробиотиков после курса антибиотиков 16.07.2026

Антибиотики остаются одним из самых мощных инструментов современной медицины в борьбе с бактериальными инфекциями. Однако их действие не ограничивается уничтожением только вредных микроорганизмов. Эти препараты способны существенно влиять на состав кишечной микрофлоры, что часто вызывает вопросы у пациентов: насколько серьезны эти изменения, как долго они сохраняются и нужно ли после курса антибиотиков принимать пробиотики для восстановления. На эти вопросы попытались ответить исследователи, проанализировав имеющиеся научные данные. Во время приема антибиотиков многие люди сталкиваются с неприятными симптомами со стороны пищеварительной системы: тошнотой, болями или спазмами в животе, а также диареей. Такие реакции возникают потому, что препараты воздействуют не только на возбудителей инфекции, но и на полезные бактерии, которые населяют кишечник и участвуют в пищеварении, синтезе витаминов и поддержании иммунитета. Некоторые антибиотики, например азитромицин, могут напрямую влия ...>>

Резкое похудение и возврат веса могут навредить сердцу 15.07.2026

Многие люди, желая быстро избавиться от лишних килограммов, прибегают к строгим диетам с резким ограничением калорий. Достигнув желаемого результата, они часто постепенно или быстро возвращаются к прежнему рациону и прежнему весу. На первый взгляд это кажется лишь вопросом внешнего вида, однако ученые предупреждают: постоянные колебания массы тела могут оказывать негативное влияние на сердечно-сосудистую систему и обмен веществ. Так называемый эффект йо-йо, когда периоды активного похудения сменяются повторным набором веса, становится все более распространенным явлением. Новые исследования указывают на возможную связь между такими циклами и ухудшением работы сердца. Организм способен адаптироваться к изменениям питания, но постоянное повторение резких переходов между ограничением калорий и перееданием создает дополнительную нагрузку на различные системы. В одном из экспериментов на лабораторных животных исследователи моделировали эффект йо-йо, периодически снижая калорийность рац ...>>

Разбрасыватель минудобрений Rauch Axis 55 15.07.2026

Немецкая компания Rauch, известная своими высокоточными сельскохозяйственными машинами, представила на выставке DLG Feldtage новый флагманский разбрасыватель минеральных удобрений Axis 55. Эта модель пришла на смену предыдущей версии Axis 50.2 и стала самой крупной в актуальной линейке производителя после выхода более компактной Axis 25 в прошлом году. Новая машина сочетает в себе повышенную производительность, расширенный диапазон рабочих ширин и усовершенствованные системы контроля внесения. Одной из главных технических особенностей Axis 55 стала значительно увеличенная максимальная производительность внесения - до 675 кг удобрений в минуту. Это на 30 % больше по сравнению с предшественником. Благодаря такому показателю разбрасыватель способен обеспечивать норму внесения до 900 кг/га при рабочей ширине 36 метров и скорости движения машины 25 км/ч. При этом устройство сохраняет возможность работы с очень низкими нормами внесения, например, при распределении гранул против улиток, бе ...>>

Антоцианы черники: природная защита для зрения в темноте 14.07.2026

Специалисты все активнее изучают влияние растительных веществ на здоровье глаз. Особое внимание привлекают антоцианы - природные пигменты, которые придают яркую окраску многим ягодам и овощам. Новые данные показывают, что эти соединения способны не только защищать клетки глаз от окислительного стресса, но и ускорять восстановление родопсина - ключевого пигмента, отвечающего за способность видеть в условиях низкой освещенности. Антоцианы содержатся в большом количестве в чернике, голубике, ежевике, черной смородине, а также в краснокочанной капусте и некоторых других красных, синих и фиолетовых продуктах. Эти вещества обладают мощными антиоксидантными и противовоспалительными свойствами. Они помогают нейтрализовать активные формы кислорода, которые повреждают клетки сетчатки и способствуют развитию хронического воспаления. По данным исследователей, антоцианы оказывают комплексное положительное влияние на зрительную систему. Они улучшают микроциркуляцию крови в сетчатке, поддержива ...>>

Случайная новость из Архива Самый тонкий 13-Мп модуль от Toshiba 04.04.2013 Японская компания Toshiba анонсировала выпуск на рынок модуля для фотокамер, оборудованного 13-Мп КМОП-сенсором формата 1/3'. Как утверждает производитель, при толщине всего 4,7 мм устройство TCM9930MD является самым тонким среди 13-Мп модулей такого класса. Диаметр пикселя составляет 1,12 мкм. Конструктивно модуль включает четыре пластмассовые линзы и отдельную схему обработки сигналов, которая позволяет улучшить изображение. В частности, этот чип компенсирует дисторсию и улучшает качество изображения по краям кадра. Для уменьшения габаритов модуля также используется так называемый монтаж Flip-Chip, предусматривающий присоединение полупроводникового кристалла на подложку активной стороной вниз. При этом контакты разводятся прямо на подложке кристалла, что позволяет соединять микросхему напрямую с платой, без использования корпуса. Новинка нацелена на использование в планшетных компьютерах и смартфонах. В мае заказчикам будут доступны ознакомительные образцы по цене $74,3 за один экземпляр. Массовое производство стартует в декабре текущего года.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026