Увеличение масштабов нейронных сетей для глубинного обучения

15.10.2016

Компания Fujitsu объявила о разработке технологии, которая оптимизирует использование внутренней памяти графических процессоров (GPU) с целью поддержать увеличивающиеся масштабы нейронных сетей, используемых для повышения точности машинного обучения.

Одним из методов увеличения масштаба глубинного обучения является распределение одной модели нейронной сети на нескольких компьютерах и выполнение вычислений параллельно. Но большой объем данных, который должен передаваться между компьютерами, создает "пробки", значительно снижая скорость выполнения задач, пояснили в Fujitsu. Для того чтобы воспользоваться всеми возможностями графических процессоров для высокоскоростных вычислений, данные должны храниться во внутренней памяти самих процессоров. Однако этот объем, как правило, меньше объема памяти обычных компьютеров, что ограничивает возможности по увеличения масштаба нейронных сетей.

Fujitsu разработала технологию для оптимизации использования памяти и увеличения масштаба нейронных сетей для вычислений с одним графическим процессором. В новинке не используются методы параллельной организации работы, которые значительно уменьшают скорость чтения. Новая технология уменьшает необходимый объем памяти за счет повторного использования ресурсов: она позволяет в независимом режиме выполнять вычисления для создания данных промежуточных ошибок из взвешенных данных и вычисления для создания взвешенных данных из промежуточных данных. Когда обучение начинается, структура каждого слоя нейронной сети анализируется, и порядок вычислений изменяется для того, чтобы область памяти, в которой расположен больший объем данных, могла повторно использоваться, отметили в компании.

Компания использовала новую технологию в рамках платформы для глубинного обучения с открытым исходным кодом Caffe, измерив уровень потребления внутренней памяти GPU. После запуска обучения технология анализирует структуру нейронной сети и оптимизирует порядок выполнения вычислений и расположение данных в памяти для того, чтобы свободная область памяти могла повторно использоваться. При использовании ее совместно с AlexNet и VGGNet, нейронными сетями распознавания изображений, которые используются для научных исследований, новая технология Fujitsu до 2 раз увеличила масштаб нейронной сети по сравнению с предыдущими аналогами. Таким образом, используемый объем внутренней памяти графического процессора, по оценкам компании, был уменьшен более чем на 40%.

Планирует серийное использование новой технологии с 31 марта 2017 г. в рамках проекта искусственного интеллекта Human Centric AI Zinrai. Кроме того, компания планирует использовать эту технологию вместе с ранее представленной технологией для обработки данных в рамках глубинного обучения методом параллелизации графических процессоров.

<< Назад: Кошки способны лечить людей 16.10.2016

>> Вперед: У пчел есть эмоции и смены настроения 15.10.2016

Последние новости науки и техники, новинки электроники:

Стерильного нейтрино не существует 15.01.2026

В физике элементарных частиц поиск новых, пока не обнаруженных объектов играет ключевую роль в понимании устройства Вселенной. Иногда такие поиски приводят к громким открытиям, а иногда - к не менее важным отрицательным результатам, которые позволяют отбросить неверные направления. Именно к таким случаям относится недавний вывод ученых о судьбе стерильного нейтрино - одной из самых интригующих гипотетических частиц последних десятилетий. Исследователи из американской лаборатории Fermilab официально сообщили, что им не удалось найти доказательства существования стерильного нейтрино. К такому выводу пришла команда эксперимента MicroBooNE после многолетнего анализа столкновений нейтрино, которые ранее рассматривались как возможный намек на существование четвертого типа этих частиц. Предполагалось, что стерильное нейтрино взаимодействует с материей исключительно через гравитацию, что делало его крайне трудным объектом для обнаружения. В рамках современной физики нейтрино известны в т ...>>

Беспроводные наушники и колонки Fender 15.01.2026

Музыкальная индустрия постепенно адаптируется к цифровым технологиям, и известный производитель музыкальных инструментов Fender расширяет свое присутствие за пределы гитар и усилителей, представляя современные решения для прослушивания музыки. Новые беспроводные наушники и Bluetooth-колонки Fender объединяют богатый звук, модульность и удобство использования как для дома, так и для профессиональной работы. Флагманской новинкой стали наушники Fender Mix, отличающиеся модульной конструкцией. Динамики подключаются к оголовью через порт USB Type-C и могут быть сняты вместе с амбушюрами, что облегчает уход и транспортировку. Один из динамиков оснащен встроенным адаптером USB Type-C для подключения к источнику звука без потерь, поддерживая кодеки LDHC и Fire, а также функцию Auracast. На другом динамике размещен съемный аккумулятор, который обеспечивает до 100 часов работы без активного шумоподавления; при включении ANC время работы сокращается до 52 часов. Наушники доступны по цене $299 ...>>

Польза белкового завтрака 14.01.2026

Правильное питание по утрам играет ключевую роль в поддержании здоровья и контроле веса. Многочисленные исследования подтверждают, что состав завтрака может влиять на аппетит в течение всего дня и качество употребляемой пищи. Австралийские ученые провели масштабный эксперимент, который показал, что употребление белковой пищи с утра помогает дольше чувствовать сытость и предотвращает переедание. В исследовании участвовали более 9 тысяч человек среднего возраста 46 лет. В период с 2011 по 2012 год специалисты анализировали рационы респондентов, оценивая долю основных макронутриентов. В среднем участники потребляли 43% углеводов, 31% жиров, 18% белков, 2% клетчатки и 4% алкоголя. Такой рацион позволил ученым проследить взаимосвязь между утренним приемом пищи и пищевым поведением в течение дня. Выяснилось, что участники, чей завтрак содержал недостаточное количество белка, ощущали повышенный аппетит в течение дня. Они ели больше, чем необходимо, и часто выбирали продукты с высоким со ...>>

Технология SmartPower HDR 14.01.2026

Ноутбуки стремительно развиваются в плане графики и мультимедийных возможностей, но яркие дисплеи с высоким динамическим диапазоном (HDR) часто становятся серьезной нагрузкой для аккумуляторов. Длительная работа с видео высокого качества или играми в HDR приводит к быстрой разрядке батареи, что ограничивает мобильность пользователей и снижает комфорт работы. Решить эту проблему призвана новая технология SmartPower HDR, разработанная совместно компаниями Samsung Display и Intel. Суть технологии заключается в динамическом управлении напряжением OLED-панелей. Чипсет ноутбука в реальном времени анализирует пиковую яркость каждого кадра и передает эти данные контроллеру дисплея, который оптимизирует подачу напряжения в зависимости от количества активных пикселей. В отличие от традиционных режимов HDR, где яркость часто фиксируется на максимальном уровне, SmartPower HDR адаптируется к конкретному контенту, что снижает энергопотребление без потери качества изображения. Технология позвол ...>>

Недосып существенно сокращает жизнь 13.01.2026

Сон является одной из самых фундаментальных потребностей человека. Он влияет на обмен веществ, работу сердца и мозга, иммунитет и общее самочувствие. Современный ритм жизни часто заставляет людей жертвовать сном ради работы, учебы или развлечений, но ученые предупреждают: регулярный недосып может иметь далеко идущие последствия для здоровья и долголетия. Исследователи из Орегонского университета здравоохранения и науки пришли к выводу, что сон менее семи часов в сутки связан с сокращением продолжительности жизни. По данным специалистов, хроническая нехватка сна не только вызывает усталость и снижение работоспособности, но и постепенно сказывается на здоровье органов и систем, увеличивая риски развития различных заболеваний. Для анализа ученые использовали обширную национальную базу данных США, сопоставляя показатели ожидаемой продолжительности жизни на уровне штатов с результатами опросов Центров контроля и профилактики заболеваний за период с 2019 по 2025 годы. Они учитывали мно ...>>

Случайная новость из Архива Ткань, чувствующая тепло и холод 06.11.2023 Команда ученых Массачусетского технологического института представила программируемое волокно под названием FibeRobo, способное ощущать температуру и изменять свою форму. Это волокно, не требующее встроенных датчиков или жестких компонентов, сокращается при повышении температуры и возвращается в исходное состояние при ее понижении. Эксперты утверждают, что это доступное по стоимости волокно легко интегрируется с текстильными технологиями производства. Оно позволяет дизайнерам интегрировать активацию и датчики в различные виды тканей для различных целей. Кроме того, волокна могут работать с электрическим током, проходящим через нить в качестве нагревательного элемента, что позволяет пользователям цифрово управлять формой текстиля. В настоящее время существующие формоизменяющие волокна имеют ограничения, препятствующие их использованию в текстильной промышленности. Исследователи из MIT разработали FibeRobo, способное бесшумно активироваться и изменять свою форму. Волокно может сокращаться на 40%, активироваться при безопасных для кожи температурах и стоить всего 20 центов за метр. Ученые использовали FibeRobo для создания адаптивного спортивного лифа, который затягивается при физической активности пользователя. В будущем они планируют настраивать химические компоненты волокна для его переработки или биоразлагаемости. Отметим, что исследовательский стартап Milbotix представил носки с искусственным интеллектом - SmartSocks. Эти носки, лишенные проводов и батарей, оснащены датчиками, собирающими физиологическую информацию пользователя и отправляющими ее в мобильное приложение через облачную платформу. Система машинного обучения анализирует данные и при обнаружении аномалии предупреждает паллиативный персонал, что позволяет своевременно принимать необходимые меры для сохранения жизни.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026