Увеличение масштабов нейронных сетей для глубинного обучения

15.10.2016

Компания Fujitsu объявила о разработке технологии, которая оптимизирует использование внутренней памяти графических процессоров (GPU) с целью поддержать увеличивающиеся масштабы нейронных сетей, используемых для повышения точности машинного обучения.

Одним из методов увеличения масштаба глубинного обучения является распределение одной модели нейронной сети на нескольких компьютерах и выполнение вычислений параллельно. Но большой объем данных, который должен передаваться между компьютерами, создает "пробки", значительно снижая скорость выполнения задач, пояснили в Fujitsu. Для того чтобы воспользоваться всеми возможностями графических процессоров для высокоскоростных вычислений, данные должны храниться во внутренней памяти самих процессоров. Однако этот объем, как правило, меньше объема памяти обычных компьютеров, что ограничивает возможности по увеличения масштаба нейронных сетей.

Fujitsu разработала технологию для оптимизации использования памяти и увеличения масштаба нейронных сетей для вычислений с одним графическим процессором. В новинке не используются методы параллельной организации работы, которые значительно уменьшают скорость чтения. Новая технология уменьшает необходимый объем памяти за счет повторного использования ресурсов: она позволяет в независимом режиме выполнять вычисления для создания данных промежуточных ошибок из взвешенных данных и вычисления для создания взвешенных данных из промежуточных данных. Когда обучение начинается, структура каждого слоя нейронной сети анализируется, и порядок вычислений изменяется для того, чтобы область памяти, в которой расположен больший объем данных, могла повторно использоваться, отметили в компании.

Компания использовала новую технологию в рамках платформы для глубинного обучения с открытым исходным кодом Caffe, измерив уровень потребления внутренней памяти GPU. После запуска обучения технология анализирует структуру нейронной сети и оптимизирует порядок выполнения вычислений и расположение данных в памяти для того, чтобы свободная область памяти могла повторно использоваться. При использовании ее совместно с AlexNet и VGGNet, нейронными сетями распознавания изображений, которые используются для научных исследований, новая технология Fujitsu до 2 раз увеличила масштаб нейронной сети по сравнению с предыдущими аналогами. Таким образом, используемый объем внутренней памяти графического процессора, по оценкам компании, был уменьшен более чем на 40%.

Планирует серийное использование новой технологии с 31 марта 2017 г. в рамках проекта искусственного интеллекта Human Centric AI Zinrai. Кроме того, компания планирует использовать эту технологию вместе с ранее представленной технологией для обработки данных в рамках глубинного обучения методом параллелизации графических процессоров.

<< Назад: Кошки способны лечить людей 16.10.2016

>> Вперед: У пчел есть эмоции и смены настроения 15.10.2016

Последние новости науки и техники, новинки электроники:

Микропластик в атмосфере - скрытый ускоритель глобального потепления 31.05.2026

Микропластик уже давно признан одним из самых масштабных загрязнителей планеты. Он проникает в океаны, почву, организмы животных и даже в тело человека. Однако до недавнего времени мало кто задумывался о его влиянии на климатические процессы. Новое исследование показало, что микро- и нанопластик в атмосфере способен поглощать тепло, тем самым внося дополнительный вклад в глобальное потепление. Ученые обнаружили, что воздействие пластиковых частиц на климат зависит от их цвета. Светлые частицы отражают солнечный свет и способствуют некоторому охлаждению, в то время как более темные - активно поглощают тепло и излучение. Со временем пластик в атмосфере темнеет под воздействием ультрафиолета, что усиливает его согревающий эффект. Этот процесс напоминает пожелтение пластиковых парковочных талонов, оставленных на солнце. Соавтор исследования, заслуженный профессор наук о Земле в Университете Дьюка Дрю Шинделл отметил, что влияние микропластика на изменение климата пока относительно не ...>>

Универсальный бытовой робот-гуманоид GigaAI SeeLight S1 31.05.2026

Развитие робототехники постепенно переносит сложные машины из промышленных цехов прямо в повседневную жизнь людей. Китайская компания GigaAI сделала важный шаг в этом направлении, представив SeeLight S1 - первую в стране модель универсального бытового робота-гуманоида. Эта разработка призвана взять на себя рутинные домашние дела и стать настоящим помощником в повседневной жизни. Уже в конце текущего месяца сотня роботов SeeLight S1 начнет проходить испытания в специализированном жилом комплексе, предназначенном для работников высокотехнологичных отраслей. По словам генерального директора GigaAI Чжу Чжэна, в первой половине 2027 года роботы будут переданы для бесплатного тестирования обычным семьям в Ухане - столице провинции Хубэй. Такой подход позволит собрать реальные данные о работе устройства в домашних условиях. В демонстрационном видео робот, передвигающийся на колесах, уверенно справляется с множеством бытовых задач. Он нарезает овощи, жарит яйца, загружает стиральную маши ...>>

Вкусовые пристрастия формируются еще в утробе 30.05.2026

Предпочтения человека к еде закладываются задолго до первого прикорма. Современная наука подтверждает, что ребенок начинает знакомиться с ароматами и вкусами пищи еще до рождения, через околоплодные воды. Новое международное исследование показало, что регулярное потребление определенных продуктов беременной женщиной может формировать долгосрочные пищевые предпочтения у ребенка, сохраняющиеся даже спустя годы после появления на свет. Ученые из университетов Великобритании, Франции и Нидерландов провели эксперимент с участием беременных женщин. Одной группе будущих мам давали капсулы с порошком капусты кейл, другой - с порошком моркови. Реакцию детей на эти запахи проверяли в три этапа: сначала в утробе матери с помощью 4D-УЗИ на поздних сроках беременности, затем в возрасте трех месяцев и, наконец, когда детям исполнилось три года. Результаты оказались весьма убедительными. Дети женщин, принимавших порошок кейла, положительно реагировали на запах этой капусты, но негативно - на ар ...>>

Монитор Philips 24B2D5300 с двумя экранами 120 Гц 30.05.2026

Компания Philips разработала интересное устройство, которое решает эту задачу элегантно и технологично. Новый монитор 24B2D5300 оснащен сразу двумя полноценными экранами - один спереди, другой сзади. Такая конструкция особенно востребована в банках, на рецепциях, в медицинских центрах и коворкингах, где важна прозрачность взаимодействия. Обе панели монитора представляют собой IPS-матрицы с диагональю 23,8 дюйма и разрешением Full HD (1920x1080 пикселей). Каждая из них поддерживает частоту обновления 120 Гц, что пока остается редкостью для бизнес-ориентированных моделей. Высокая частота обновления обеспечивает плавное изображение даже при динамичном контенте, делая работу за монитором более комфортной и презентации - более качественными. Пользователи могут выбирать между двумя основными режимами работы: дублирование одного и того же изображения на оба экрана или использование дисплеев как полностью независимых. Благодаря этому сотрудник может видеть на своей стороне рабочую информ ...>>

Цыплята из искусственного яйца, напечатанного на 3D-принтере 29.05.2026

Компания Colossal Biosciences, известная своими амбициозными инициативами по "воскрешению" вымерших животных, достигла важного прорыва. Специалистам удалось вырастить цыплят из полностью искусственного яйца, созданного с помощью 3D-печати. Эта технология рассматривается как значительный шаг на пути к возможному возрождению одного из самых впечатляющих представителей исчезнувшей фауны - гигантского моа. Южноостровной гигантский моа (Dinornis robustus) был одной из самых высоких птиц в истории Земли. Самки этого нелетающего родственника страусов могли вырастать выше двух метров и дотягиваться до пищи на высоте до 3,6 метра. Эти гиганты обитали в Новой Зеландии, однако полностью исчезли примерно в XV веке после активной охоты со стороны первых поселенцев-маори. Теперь Colossal Biosciences пытается вернуть подобных птиц в современный мир с помощью передовых биоинженерных решений. Искусственное яйцо, разработанное компанией, состоит из титановой решетчатой оболочки, изготовленной на 3 ...>>

Случайная новость из Архива Древний Египет погубили вулканы 21.10.2017 Ученые обнаружили, что причиной упадка древнего Египта эпохи Птолемеев 2000 лет назад послужило вулканическое извержение. Многодисциплинарное исследование, включающее изучение исторических источников и геологических данных, помогло международной группе ученых найти связь между массовыми извержениями вулканов и социальными волнениями в царстве Птолемеев. Династия Птолемеев (305-30 гг. до н. э.) правила с окончания эпохи походов Александра Великого и до царствования легендарной Клеопатры, которая покончила с жизнь посредством ядовитой змеи. "Древние египтяне очень зависели от летнего разлива Нила, который непосредственно влиял на урожайность в Египте", - сказал ведущий ученый из Йельского университета Джэйл Мэннинг (Joseph Manning). Группа ученых смогла реконструировать геологические процессы той эпохи и сопоставить их с историческими событиями. Сернистые газы, выброшенные в атмосферу, повлияли на осадки муссонов в Эфиопском нагорье, ослабили систему дождевых поясов и как следствие истощили реки. "По этому же периоду мы можем найти сведения о социальных потрясениях, которые могли вызвать беспорядки, а также различные негативные политические и экономические последствия", - сказал Мэннинг. Вулканолог Клайв Оппенгеймер (Clive Oppenheimer) из Кемрджского университета, сказал: "Есть те, кто сильно переоценивает роль экологических факторов в судьбе цивилизаций, однако не следует упускать из виду, что куда важнее экономическая и социальная составляющая проблемы".

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026