Увеличение масштабов нейронных сетей для глубинного обучения

15.10.2016

Компания Fujitsu объявила о разработке технологии, которая оптимизирует использование внутренней памяти графических процессоров (GPU) с целью поддержать увеличивающиеся масштабы нейронных сетей, используемых для повышения точности машинного обучения.

Одним из методов увеличения масштаба глубинного обучения является распределение одной модели нейронной сети на нескольких компьютерах и выполнение вычислений параллельно. Но большой объем данных, который должен передаваться между компьютерами, создает "пробки", значительно снижая скорость выполнения задач, пояснили в Fujitsu. Для того чтобы воспользоваться всеми возможностями графических процессоров для высокоскоростных вычислений, данные должны храниться во внутренней памяти самих процессоров. Однако этот объем, как правило, меньше объема памяти обычных компьютеров, что ограничивает возможности по увеличения масштаба нейронных сетей.

Fujitsu разработала технологию для оптимизации использования памяти и увеличения масштаба нейронных сетей для вычислений с одним графическим процессором. В новинке не используются методы параллельной организации работы, которые значительно уменьшают скорость чтения. Новая технология уменьшает необходимый объем памяти за счет повторного использования ресурсов: она позволяет в независимом режиме выполнять вычисления для создания данных промежуточных ошибок из взвешенных данных и вычисления для создания взвешенных данных из промежуточных данных. Когда обучение начинается, структура каждого слоя нейронной сети анализируется, и порядок вычислений изменяется для того, чтобы область памяти, в которой расположен больший объем данных, могла повторно использоваться, отметили в компании.

Компания использовала новую технологию в рамках платформы для глубинного обучения с открытым исходным кодом Caffe, измерив уровень потребления внутренней памяти GPU. После запуска обучения технология анализирует структуру нейронной сети и оптимизирует порядок выполнения вычислений и расположение данных в памяти для того, чтобы свободная область памяти могла повторно использоваться. При использовании ее совместно с AlexNet и VGGNet, нейронными сетями распознавания изображений, которые используются для научных исследований, новая технология Fujitsu до 2 раз увеличила масштаб нейронной сети по сравнению с предыдущими аналогами. Таким образом, используемый объем внутренней памяти графического процессора, по оценкам компании, был уменьшен более чем на 40%.

Планирует серийное использование новой технологии с 31 марта 2017 г. в рамках проекта искусственного интеллекта Human Centric AI Zinrai. Кроме того, компания планирует использовать эту технологию вместе с ранее представленной технологией для обработки данных в рамках глубинного обучения методом параллелизации графических процессоров.

<< Назад: Кошки способны лечить людей 16.10.2016

>> Вперед: У пчел есть эмоции и смены настроения 15.10.2016

Последние новости науки и техники, новинки электроники:

Хорошо управляемые луга могут компенсировать выбросы от скота 15.02.2026

Животноводство, особенно разведение крупного рогатого скота, часто обвиняют в значительном вкладе в глобальное потепление из-за мощного парникового газа - метана, который выделяется при пищеварении у жвачных животных. Это вызывает острые политические споры и призывы к сокращению потребления мяса. Однако ученые напоминают, что полная картина климатического воздействия отрасли не ограничивается только выбросами от животных: огромную роль играет окружающая экосистема - пастбища, почва и растительность, которые способны активно поглощать углекислый газ из атмосферы. Исследователи из Университета Небраски-Линкольна решили глубже изучить этот баланс. Группа под руководством профессора Галена Эриксона сосредоточилась на том, как правильно организованные пастбища накапливают углерод в растениях и грунте благодаря естественным процессам, стимулируемым выпасом скота. Ученые подчеркивают, что при достаточном уровне осадков и грамотном управлении такие луга превращаются в мощные природные погло ...>>

NASA тестирует инновационную технологию крыла 15.02.2026

Коммерческая авиация ежегодно расходует колоссальные объемы керосина, что сказывается не только на бюджете авиакомпаний, но и на состоянии окружающей среды. В 2024 году глобальные затраты на авиационное топливо достигли 291 миллиарда долларов, и эта сумма продолжает расти. Чтобы справиться с этими вызовами, NASA активно работает над технологиями, способными заметно повысить аэродинамическую эффективность самолетов. Одним из самых перспективных направлений стало создание специальной конструкции крыла, которая максимизирует естественный ламинарный поток воздуха и минимизирует сопротивление. В январе 2026 года специалисты NASA Armstrong Flight Research Center успешно провели важный этап наземных испытаний концепции Crossflow Attenuated Natural Laminar Flow (CATNLF). Для эксперимента под фюзеляж исследовательского самолета F-15B закрепили вертикально ориентированную масштабную модель высотой около 0,9 м (3 фута), напоминающую узкий киль. Такая компоновка позволила подвергнуть прототип р ...>>

Забота о внуках очень полезна для здоровья мозга 14.02.2026

Общение между поколениями приносит радость всей семье, но мало кто задумывается, насколько активно бабушки и дедушки, заботящиеся о внуках, поддерживают свою умственную форму. Регулярное взаимодействие с детьми стимулирует мозг пожилых людей, помогая сохранять память, скорость мышления и общую когнитивную активность. Новые научные данные подтверждают, что такая добровольная помощь не только важна для общества, но и может замедлять возрастные изменения в мозге. Исследователи из Тилбургского университета в Нидерландах провели анализ, чтобы понять, приносит ли уход за внуками реальную пользу здоровью пожилых людей. Ведущий автор работы Флавия Черечес отметила, что многие бабушки и дедушки регулярно присматривают за детьми, и оставался открытым вопрос, насколько это положительно сказывается на их собственном благополучии, особенно в плане когнитивных функций. Ученые поставили цель выяснить, способен ли регулярный уход за внуками замедлить снижение памяти и других умственных способ ...>>

Оптические системы сортировки и AI для черники и фруктов 14.02.2026

Каждый год потребители ожидают увидеть на прилавках свежие, ровные по размеру и цвету ягоды черники без признаков порчи или обезвоживания, при этом производители стремятся минимизировать потери и сохранить естественную привлекательность продукта. В эпоху растущих требований к качеству и дефицита квалифицированной рабочей силы традиционные методы сортировки фруктов уже не всегда справляются с задачей. Именно поэтому компании активно внедряют оптические сканеры в сочетании с искусственным интеллектом, способные анализировать ягоды с невероятной точностью и скоростью, сохраняя при этом их товарный вид. На выставке Fruit Logistica 2026 в Берлине компания Tomra Food презентовала свои последние достижения в области постуборочной обработки. Центральное место на стенде занимает совершенно новая оптическая сортировочная система, специально разработанная для свежей черники и предназначенная для использования непосредственно в упаковочных цехах. Эта машина охватывает весь путь ягод - от загруз ...>>

Монитор ROG Swift OLED PG32UCDM Gen 3 13.02.2026

Для многих поклонников компьютерных игр выбор монитора - это всегда поиск идеального баланса между потрясающей картинкой, молниеносной скоростью отклика и надежностью в длительных игровых сессиях. Технология QD-OLED уже несколько лет задает высокую планку качества изображения, предлагая глубокий черный цвет, яркие краски и практически мгновенную реакцию пикселей. Однако даже у самых продвинутых панелей оставались слабые места: уязвимость к царапинам, цветовые искажения под определенными углами и заметное отражение в освещенных помещениях. Компания ASUS решила серьезно улучшить ситуацию и представила третье поколение своего популярного 32-дюймового флагмана - ROG Swift OLED PG32UCDM Gen 3. В основе новинки лежит современная 32-дюймовая QD-OLED панель с разрешением 4K (3840 x 2160 пикселей), которая обеспечивает невероятную детализацию и точность цветопередачи. Частота обновления достигает 240 Гц, что делает картинку исключительно плавной даже в самых динамичных сценах шутеров или ...>>

Случайная новость из Архива В Южной Корее запущен мощнейший в мире лазер 14.05.2021 Южнокорейские ученые создали мощнейшую в мире лазерную установку. Интенсивность импульсов установки равна всему падающему на Землю свету Солнца, сфокусированному в луч диаметром 10 микрон. Колоссальная энергия импульсов на микрометровой мишени позволит ставить эксперименты, которые помогут проникнуть в суть взаимодействия света и материи, что откроет дорогу для новых направлений в фундаментальной физике. Научные открытия польются рекой. Много лет подряд мощнейшим импульсным лазером оставалась установка в США - титаново-сапфировый лазер HERCULES в Университете штата Мичиган. На своем пике "Геркулес" развивал 10^22 Вт на см2. Исследователи из Центра релятивистской лазерной науки Южной Кореи (CoReLS) смогли на порядок превзойти это достижение и сообщили о создании импульсного лазера с мощностью 10^23 Вт на см2. Длительность импульсов таких лазеров очень и очень маленькая - всего несколько фемтосекунд, а размеры мишени в ширину в 50 раз меньше диаметра человеческого волоса и составляют 1,1 мкм. Для достижения рекордной интенсивности пришлось до предела усложнить оптическую систему фокусировки и очень точно контролировать волновой фронт импульсов. Например, в качестве зеркал были использованы так называемые деформирующие зеркала, которые компенсировали малейшие искажения при фокусировке импульсов. "Этот высокоинтенсивный лазер позволит нам в лаборатории исследовать астрофизические явления, такие как электрон-фотонное и фотон-фотонное рассеяние, - отметил Нам Чхан-хи (Chang Hee Nam), директор CoReLS и профессор Института науки и технологий Кванджу. - Мы можем использовать его для экспериментальной проверки и получения доступа к теоретическим идеям, некоторые из которых были впервые предложены почти столетие назад".

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026