Что такое отсев: Что такое отсев щебня и где он используется

Содержание

100 фото сферы применения и характеристики материала

В строительстве нашел применение и такой материал как отсев щебня, который имеет природное происхождение и позволяет экономить на расходах. Он используется при изготовлении бетонных и цементных смесей, причем их качество не ухудшается. Довольно часто приходится сталкиваться с ситуацией, когда необходимо распланировать участок, выровнять, засыпать ямы, траншеи или сделать уклон для водостока. Если использовать отсев, это будет нецелесообразно из-за стоимости. В этом случае рекомендуем использовать грунт для обратной засыпки http://vumpel.ru/grunt-dlya-obratnoj-zasypki/grunt-dlya-obratnoj-zasypki

Сфера применения

Отсев получают в результате дробления каменных пород – природного или искусственного камня. По внешнему виду он представляет собой мелкие кусочки породы, размер которых не превышает 5 мм. Это вторичное сырье. Его иногда можно спутать с крупнофракционным песком.

Материал обладает высокой прочностью. Поэтому в частном строительстве применяют при разведении бетонной смеси вместо основного сырья.


Заменить крупный щебень отсевом можно и при укладке ленточного фундамента. Но для этого целесообразно замешивать раствор несколько раз. Следует помнить, что песок, в отличие от отсева, придает смеси большую клейкость.

Применение отсева разнообразно:

  • в строительстве дорог и обустройстве пешеходных зон;
  • при производстве ЖБИ;
  • в изготовлении плитки;
  • для приготовления бетонных смесей;
  • в декоративных целях;
  • при обустройстве систем фильтрации;
  • в изготовлении керамики и стенных панелей;
  • для устранения скользящего эффекта на тротуарах и дорогах;

Основные параметры материала

Применяемый в строительстве отсевной материал может отличаться не только по свойствам материнской породы, но и в зависимости от качественных параметров. На фото отсева можно увидеть эти различия.

Основными критериями качества выступают:

  • механическая прочность и стойкость к внешним воздействиям;
  • размер частиц;
  • плотность материала по насыпи;
  • устойчивость к низким температурам;
  • наличие в составе зерен плоского или игольчатого типа;
  • наличие примесей и их количество;
  • безопасность для человека.


Разновидности отсева

Материал различается составом, поскольку он может быть результатом дробления гравия, гранита и известняка. Отсюда и разными будут характеристики видов отсева.

Отсев гранита

Результатом размельчения прочного натурального материала является мелкодисперсионный состав с частицами 0,1-5 мм и плотностью 1,33 т/куб. м. Гранитный отсев практически полностью лишен примесей и пыли. Отсутствуют и органические компоненты.

Материал отлично подвергается утрамбовке, а максимальный уровень давления составляет 120 МПа. Отличается также и прекрасными морозоустойчивыми качествами, не имеет радиации. Однако данное сырье будет более дорогим.

Применять данный вид отсева можно как в строительстве, так и дорожно-ремонтных работах. Популярна гранитная смесь и при проведении работ по обустройству ландшафта. Благодаря своей прочности, находит применение в изготовлении ЖБИ и конструкций, плитки и бордюров для дорог и тротуаров.

Гравийный состав

Сам по себе гравий является рыхлым материалом осадочного типа. В нем встречаются минеральные компоненты как результат процессов разрушения породы. Имеет прочность более низкого порядка по сравнению со щебнем. Сцепляемость внутри смеси у гравия также меньше.

Размер крошки 0,16- 2,5 мм. Относится к категории М800-М1000 по уровню прочности. Содержание пыли и органики не более 0,6%. Насыпная прочность 1,4 т/куб. м.

Мелкий отсев гравия применяется при гололеде для покрытия дорожек и тротуаров, а также во время ремонта дорог, в обустройстве покрытия спортивных площадок, при отделке садовых дорожек.

Известковый щебень

Зернистая смесь имеет размер частиц 2-5 мм, отличаются вязкостью и способностью к растворению в жидкости. По прочности она сравнима с категориями М400-800, обладает уровнем нагрузки 1,3 т/куб. м. Примесей здесь больше, чем в предыдущих составах – до 2%.

Из известкового щебня производят пористые блоки для сооружения стен, а также плитку для облицовки, штукатурные смеси с цементом. Возможно применение в сельском хозяйстве в качестве кормов и удобрений.


Щебень вторичного использования

Используется для изготовления разнообразных цементных растворов, обустройства подъездных путей временного действия. Размер гранул не более 10 мм. Является результатом переработки демонтированных бетонных конструкций.

Отсев щебеночного типа является часто используемым в строительстве материалом, благодаря которому появляется возможность снижения себестоимости работ без потерь в качестве. Он применяется при изготовлении растворов, в дорожном строительстве и ландшафтном дизайне, в ходе проведения ремонтных работ.


Фото отсева

Также рекомендуем посетить:



Post Views: Статистика просмотров
1 248

характеристики, применение, цена за куб

Природный камень – многофункциональный строительный материал. На всех стройплощадках востребован результат его дробления – щебень. Побочный продукт производства – так называемый отсев – не менее интересен покупателям. Почему? Расскажем об этом в статье.

Что представляет собой?

Отсев щебня – это продукт дробления горных пород фракцией 0,1-5 мм. Образуется после того, как измельченный камень просеивается через специальные сита с различным диаметром «окна». Щебень делится на крупно-, средне-, мелкофракционный и отсеянный песок. Свойства его аналогичны исходному сырью, цвет зависит от типа скальной породы. Отлично заменяет карьерный песок, позволяет существенно снизить затраты.

Неопытный покупатель поинтересуется, что такое отсев гранитного щебня? Почему прораб требует именно такой, а не какой-нибудь другой? И есть ли другие разновидности? На все эти вопросы ответит краткая характеристика.

Виды и описание

Отсев щебня различается по исходному сырью. В зависимости от породы камня различают:

1. Гранитный с насыпной плотностью от 1320 до 1340 кг/м3. Стандартная доля примесей (глины, ила, пыли и тому подобное) не должна превышать 0,4 %. Прочность на сжатие соответствует М1200, то есть выдерживает до 120 МПа. Массовая доля зерен с формой в виде вытянутого игольчатого либо пластинчатого осколка (лещадность) – не более 14,5 %. Этот параметр характеризует степень удобоукладываемости. Дело в том, что «дробленка» кубовидной формы поддается утрамбовке лучше всего, а количество пустот – минимально. Таким образом, низколещадный отсев в бетонных смесях гранитного щебня выбирается для производства высокоплотного железобетона, верхней части дорожного полотна. А, к примеру, для садовых дорожек, керамических изделий, тротуарной плитки подходит наполнитель со средним и высоким уровнем лещадности. Цена гранитного отсева – от 800 руб/м3.

2. Гравийный отсев с насыпной плотностью 1400 кг/м3. Размер зерен – от 0,16 до 2,5 мм, соответствует марке прочности М800-М1000. Массовая доля примесей пыли, глины и других включений не должна превышать 0,6 %, лещадность – до 17 %. Активно применяется при строительстве и ремонте дорожного полотна, плит для мощения спортивных и детских площадок, садово-парковых зонах и так далее. Стоимость гравийного сырья – от 400 руб/м3.

3. Известняковый с насыпной плотностью 1300 кг/м3. Модуль крупности зерен – 2-5 мм, соответствует марке прочности М400-М800. Доля примесей не должна превышать 2 %, уровень лещадность – до 12 %. Часто используется в зимнее время против обледенения улиц – как заменитель реагентов, также для замеса асфальтобетона, в ландшафтном дизайне. Реже – в качестве наполнителя готовых цементосодержащих смесей для укладки керамогранита, штукатурных работ и так далее. Нашел свое применение этот материал и в сельском хозяйстве – его любят производители удобрений за небольшую стоимость и высокую эффективность. Цена начинается от 150 руб/м3.

Указанные стоимостные показатели варьируются в зависимости от способа доставки, объема выборки, размера зерен и других факторов. Кроме того, некоторые продавцы предоставляют покупателям скидки за самовывоз продукции и крупный опт.

Отличия отсевов от песка и щебня

Отсев вполне успешно заменяет более дорогой песок, но эти материалы абсолютно разные как по свойствам, так и по характеристикам. Силикаты содержат большее количество глинистых и грунтовых примесей. К тому же песчаное сырье редко разделяют по гранулометрическому составу, что накладывает ограничения на его применение в некоторых сферах. К тому же вместо самого дорогого – сеяного песка – производители готовых смесей предпочитают использовать отсев щебня именно из-за цены.

разновидности и сфера применения, цена за куб

Отсев щебня – побочный продукт, получающийся при дроблении природного или искусственного камня. Не меньше, чем сам щебень, потребителей интересуют свойства, характеристики и цена отсева за кубометр. И это неудивительно – ведь его применение становится все популярнее.

Что такое отсев, его виды и назначение

После дробления горных пород осуществляют просеивание готового щебня. В зависимости от диаметра ячейки сита получается сыпучий продукт с размерами частиц от 0,1 до 5 мм. Ввиду того, что гранулы очень малы, масса по внешнему виду напоминает песок. Цвета разнообразны: красный, розовый, пепельный, темно-серый (аналогично исходному сырью).

Особенности разных видов отсева

Продукт переработки щебня обладает свойствами, характерными для материнской породы. В зависимости от нее материал делят на следующие группы.

1. Отсев гранитного щебня.

После дробления твердого натурального камня получается фракция 0,1-5 мм. Его насыпная плотность – 1330 кг/куб. м. Внешне он напоминает песок, но в отличие от него почти не содержит глинистых примесей, органики и пыли (их доля нормируется на уровне 0,4 % от общего веса). Процент игольчатых зерен не превышает 15%, поэтому масса легко укладывается и трамбуется. Отсев прочен: допустимый предел давления составляет 120 МПа (марка М1200). Материал стоек к низким температурам, экологически безопасен. Отличными физико-механическими характеристиками определяется сравнительно высокая стоимость гранитного отсева.

Отличается широкой сферой применения в строительстве, ремонте дорог, ландшафтном дизайне. Песок добавляют в смеси для изготовления железобетонных изделий, тротуарной плитки, дорожных бордюров. Популярно использование цветной гранитной крошки для декорирования клумб, подсыпки пешеходных дорожек в парках и на приусадебных участках.

2. Гравийный отсев.

Щебень гранита и гравий обладают внешним сходством, поскольку образованы из неорганических горных пород. В то же время они отличаются свойствами, чем обусловлено более узкое применение гравия. Это довольно рыхлый осадочный материал с вкраплениями частиц минералов, появляющихся в процессе естественного разрушения твердых пород. Гравий менее прочен, его сцепляемость с другими компонентами в строительных смесях ниже, чем у щебня.

Получаемый отсев (крошка гравийная) характеризуется размером зерна от 0,16 до 2,5 мм. По прочности он соответствует марке М800-М1000, доля пылевидных и органических включений – не более 0,6%. Насыпная плотность крошки составляет 1400 кг/куб. м. Использование гравийного отсева: реставрация дорожного полотна, изготовление плит для оформления спортплощадок, подсыпка дорожек в садах и парковых зонах.

В частном строительстве достигается заметная экономия при замещении основного материала отсевом, поскольку его цена за куб гораздо ниже, чем у щебня. При укладке ленточного фундамента гравий заменяют отсевом частично, а при бетонировании отмостки или забора – полностью (при этом количество песка не уменьшают).

3. Отсев известкового щебня.

Просеивание дробленого известняка позволяет получить камень зернистостью 2-5 мм, отличающийся вяжущими свойствами и способный растворяться в воде. Кубометр отсева весит около 1300 кг, марка прочности колеблется между М400 и М800, примеси не превышают 2 % по массе.

Отсев вводят в цементные смеси, из которых прессуют пористые стеновые блоки, формуют облицовочную плитку, изготавливают цементосодержащие штукатурные смеси. Практикуется применение известковой крошки в качестве кормовой добавки для животных и неорганического удобрения при выращивании сельскохозяйственных культур. Материал используют в зимнее время как антигололедную подсыпку для дорог.

4. Отсев вторичного щебня.

Это продукт, получаемый при утилизации бетонных конструкций после их демонтажа или разрушения. Технология дробления позволяет рационально использовать строительные отходы и одновременно достичь реальной экономии при проведении строительных и дорожных работ. Отсев бетонного щебня с размером гранул 0,1-10 мм используют в качестве наполнителя цементных растворов, подсыпки под тротуарную плитку. С помощью дробленого вторичного сырья оборудуют временные подъездные пути, площадки для автомобилей.

Стоимость

Данные таблицы позволят узнать, сколько стоит куб отсева в Москве и столичном регионе.

Отсев щебня (разновидность) Средняя цена, руб/куб. м
Гравийный 1000
Гранитный 1800
Известковый 500
Вторичный 800

Отсев щебня с доставкой по МО и цена за куб

Щебень, как строительный материал, славится тем, что он не имеет отходов. Так, даже мельчайшие гранулы, которые остаются на предприятиях по производству щебня после выпуска той или иной партии, подлежат последующему использованию.

Аналогичная ситуация складывается и с остатками щебня после израсходования основной массы в строительстве. Самые мельчайшие фракции – отсев, который в дальнейшем может применяться в других целях.

Наша компания DSM13 осуществляет продажу отсева щебня по привлекательным ценам за куб и выполнит доставку в города и районы северного Подмосковья, на строительные площадки Солнечногорска, Истры, Зеленограда, Химок, Лобни, Сходню и Фирсановку, а также на любые строительные объекты Ленинградского и Пятницкого шоссе. Подробнее см. в разделе «Цены»

Купить отсев щебня у нас можно выгодно, так как мы расположены близко и стоимость доставки будет не высокой, звоните!

 

8 (926) 608-58-87
8 (916) 631-63-81

 

Свойства отсева щебня

 

Отсев щебня обладает многими свойствами и достоинствами, присущими щебню традиционному. Как правило, размер зерен отсева щебня колеблется от 1 до 5 мм. Однако, отсев щебня может иметь фракции, достигающие 10-15 мм.

Для отсева щебня характерны такие параметры, как прочность, морозостойкость и другие, но в отличие от обычного гранитного или гравийного щебня, они не имеют столь высокой значимости.

Если говорить о достоинствах отсева, то главным является его стоимость. Цена на отсев в компании DSM13 несколько выше стоимости карьерного песка, однако она на порядок ниже общепринятых марок нерудных строительных материалов.

В случаях, когда щебень рассматривается в качестве материала для благоустройства территории или добавки в недорогие ЖБ-конструкции, не предназначенные для критических нагрузок, отсев станет оптимальным решением.

 

Отсев щебня: применение

 

Как мы уже выяснили – отсев представляет собой полноценный строительный материал. Такой щебень широко используется в производстве железобетонных конструкций.

Также данный материал прекрасно подходит для использования в различных декоративных целях. Очередное применение отсева щебня – ландшафтный дизайн: устройство клумб, насаждений.

Отсев используется для устройства дорожек, детских и спортивных площадок. К примеру, на многих любительских кортах для большого тенниса материал применяется в качестве основного покрытия. На таком корте играть одно удовольствие: любая обувь получает прекрасное сцепление с грунтом, а благодаря высокой прочности и плотности от щебневого покрытия хорошо отскакивает теннисный мяч.

 


Часто выбирают также:

Песок сеяный Щебень гранитный 5-20 Бетон

Что такое отсев щебня: виды и применение

Отсевом щебня называется природный экологический продукт, который получается при дроблении твердых горных пород. Это самая мелкая фракция, размерами до 10 мм, применяется в стройке, дорожных работах, сельском хозяйстве, ландшафтном дизайне. Широкое распространение обусловлено его низкой стоимостью и сохранением свойств сырья.

Свойства материала

Физические свойства материала характеризуются следующими показателями:

Физико-механические свойства щебня

  • Габариты (мм).
  • Устойчивость к низким температурам.
  • Насыпная плотность (кг/м³).
  • Процент примесей (%).
  • Лещадность, наличие плоских и игольчатых зерен (%).
  • Устойчивость к механическим нагрузкам (кг/см²).
  • Удельная эффективная радиоактивность (Бк/кг).

Разновидности

В зависимости от исходного сырья, можно выделить несколько типов отсева: гранитный (насыпная плотность 1320 кг/м³), гравийный (насыпная плотность 1400 кг/м³), известняковый (насыпная плотность 1300 кг/м³), вторичный.

Гранитный отсев щебня. Фракции имеют величину 0,1–5 мм, похож на песок, но в составе отсутствуют примеси глины и пылевидных частиц. Этот материал отличается стойкостью, устойчивостью к морозам и малым количеством примесей. Его используют для производства железобетонных конструкций, плиток для тротуаров, бордюров, в ландшафтном дизайне (обычно для таких целей применяются красные и розовые частицы). Стоимость гранитного отсева выше, чем у других материалов.

Фракции щебня

Отсев гравия. Размер зерен — не более 0,25 см. Материал отличается меньшей прочностью, по сравнению с гранитной крошкой, поэтому стоить он будет дешевле. Используется для засыпки основания дорог, в качестве наполнителя асфальтового покрытия, а также может расходоваться в качестве замены в составе тяжелых бетонов. Мелкая крошка гравийного отсева применяется для посыпки садовых дорожек и тротуаров при гололеде, морской гравий можно встретить в оформлении пляжей.

Известковый отсев щебня. В его составе находятся известковые крошки от 0,2–0,5 см, он растворим в воде и обладает вяжущими свойствами. Используется преимущественно в цементных растворах, штукатурных смесях, в производстве облицовочных плиток и полимерных покрытий. Можно применять как добавку к корму животных, так как известняк является органическим продуктом.

Отсев вторичного щебня. Состав получается при измельчении разрушенных бетонных конструкций и позволяет уменьшить затраты на утилизацию строительного мусора. Размеры крупиц достигают до 10 мм, используется для подсыпки тротуарной плитки и площадок для автомобилей.

Сферы применения

Так как отсев щебня – вторичный материал, обладающий свойствами исходного сырья, его стоимость будет ниже, чем у щебня или гравия. Это позволяет применять его в следующих областях:

Декоративный крашеный гравий для ландшафтного дизайна

  • Строительная – находит свое применение в дорожном, гражданском и промышленном строительстве.
  • Производство керамических изделий.
  • Противоскользящие покрытия.
  • Изготовление плит, блоков и других стройматериалов.
  • Очистка и фильтрация водных стоков.
  • Дизайн – оформление и благоустройство парковых территорий, садов, аллей.

При строительстве крупных объектов блоки с отсевом пользуются большой популярностью. Основными преимуществами являются их низкая стоимость и экологичность. Такие блоки удобно перевозить и хранить, они просты в укладке.

Цена зависит от нескольких факторов: место, в котором добывается сырье, тип и вид, стоимость перевозки и другие. Приобретая подобный материал, нужно требовать от продавца лицензии и сертификаты, подтверждающие соответствие нормам и требованиям.

Когда стоит выбор между отсевом или щебнем, нужно обратить внимание на то, где этот материал будет употребляться, какие показатели требуется получить в результате его эксплуатации.

Видео по теме: Щебень — как выбрать

Что такое отсев щебня и его применение

Дата: 17.09.2014

Основным продуктом, который получают при дроблении различных пород природного камня, является щебень. Это один из самых востребованных материалов, применяемый на строительных площадках всего мира. Не меньшим спросом пользуется и побочный продукт его производства – отсев щебня.

Стандартный дробленый камень имеет фракцию размером от 5 до 70 мм и выше. Зерна породы от 0,1 до 5 мм называются отсевом. В зависимости от исходного сырья различают 3 основных его вида:

  1. гранитный;
  2. гравийный;
  3. известняковый.

Кроме перечисленных сортов, в последнее время стали производить вторичную крошку: отходы производства аналогичной разновидности щебня из вторсырья – битого кирпича и негодных железобетонных изделий. Это наиболее дешевый тип отсева и применяется в основном для посыпания улиц в зимний период.

Характеристики

Основные параметры вторичной крошки схожи с теми, которыми обладает щебенка.

Вид отсева Марка прочности (М) Насыпная плотность (т/м3) Морозостойкость (F) Лещадность (%) Модуль крупности (мм) Доля примесей (%) Азфф* (Бк/кг)
Гранитный

1200

1,32-1,34

300

14,5

0,1-5,0

Не более 0,4

158

Гравийный

800-1 000

1,40

150

7-17

0,16-2,5

Не более 0,6

До 370

Известняковый

400-800

1,30

150

10-12

2,0-5,0

1,5-2,0

55-95

*Показатель Азфф измеряется в Бк/кг и в зависимости от величины этого значения делится на 4 класса: І – до 370 Бк/кг, ІІ – не более 740 Бк/кг, ІІІ – до 1500 Бк/кг, IV – от 1 500 до 4 000 Бк/кг.

Отходы дробления щебня по некоторым характеристикам и области применения близки к песчаному вторсырью. Однако, нужно помнить, что это два разных материала. Отличия отсевов от песка и щебня заключаются в следующем:

  • песчаный содержит большое количество посторонних примесей;
  • у него нет разделения по гранулометрическому составу; здесь могут оказаться и крупные камни (до 100 мм) и мелкий песок, что ограничивает использование такого сырья в некоторых сферах строительства.

Сферы использования

Применение отсевов дробления довольно разнообразно. Их задействуют в строительстве, сельском хозяйстве, полиграфии, при обустройстве приусадебных территорий, изготовлении стекла, и даже пищевой промышленности.

Отсев гранитного щебня наряду с гравийным, применяется для отливки ЖБИ, отделки, бордюрного камня, тротуарной плитки, а также при укладке асфальтобетона или бетонного покрытия, в качестве декорирования для дорожек и клумб. В зимнее время им посыпают проезжую часть и тротуары для уменьшения скольжения. Очень часто применяют отсев в бетонных смесях щебня гранитный. Без ущерба для качества, им можно заменить гравий в плотном бетоне, при этом ощутимо снизив себестоимость. Сырье из отходов переработки известняка используется в качестве наполнителя смесей на основе цемента, для облицовки стен, изготовления полимерных покрытий и плитки. Служит важным компонентом для производства некоторых видов удобрений в сельском хозяйстве.

Стоимость

Поскольку крошка является побочным материалом производства щебенки, ее себестоимость чрезвычайно низка. К примеру, цена гравийного отсева меньше аналогичного щебня на 60%.

В среднем стоимость побочных продуктов дробления камня в Москве составляет:

  • гранитного отсева – от 1 960 руб/м3;
  • гравийного – от 950 руб/м3;
  • известнякового – 150 руб/м3.

Цена может варьировать в зависимости от модуля крупности сырья, покупаемого объема, способа доставки и прочих факторов.

Отсев щебня что это такое, описание, применение, виды

Этот материал можно отнести к категории природных, который нашел свое применение при изготовлении бетонных и цементных смесей. Его высокий спрос вызван относительно недорогой стоимостью, что позволяет большинству производителей использовать материал без нанесения какого-либо вреда качеству изготавливаемой смеси. Розовый и серый оттенок  имеет гранитный отсев щебня, который зачастую используется как декоративный материал.

Отсев щебня представляет собой мелкие осколки одного из прочных материалов, чья фракция не превышает показателя в 0,5 см. Внешне он больше напоминает крупнозернистый песок, но при этом его относят к категории вторичного сырья, в то время как песок, добываемый с карьеров, является первичным. При этом, он по-прежнему является гранитом, и очень прочным строительным материалом. Его свойства приравниваются к показателям, которыми обладает используемая порода гранита. А вот стоимость его, в разы меньше той, которую бы запросили продавцы за гранитный блок.

Краткое описание и виды отсева

Подвид материала напрямую зависит от породы используемого сырья. Исходя из этого, различают:

  1. Известняковый, плотность которого составляет порядка 1 300 кг/м3. Марка прочности М 400-800 имеет фракцию от 2 до 5 мм, при этом  допускается использование лишь 2% примесей, максимальный уровень лещадности не должен превышать 11%. Нашел свое применение в сфере ландшафтного дизайна, при изготовлении дорожного покрытия и как заменитель реагентов, используемых против обледенения покрытий в зимний период времени. Так же используется при проведении штукатурных работ и изготовлений смесей, содержащих цемент. Имеет достаточно высокий уровень эффективности.
  2. Гравийный, чья плотность составляет 1 400 кг/м3. Фракция зерен колеблется от 0,15 до 2,4 мм, что соответствует маркам М 800-1000. Процент примесей не превышает 0,5% показателя, с допустимым уровнем лещадности 16%. Используется в качестве одного из основных элементов при ремонте и укладки дорожных покрытий. Его стоимость в несколько раз выше известнякового отсева.
  3. Гранитный обладает плотностью 1 330 кг/м3. Возможно наличие дополнительных элементов в виде пыли, ила и глины, но не более 0,4% от общей массы сырья. Его марка имеет обозначение М 1200, и способна выдержать давление в 120 Мпа. Общая масса небольших игольчатых зерен оставляет не более 15%. Это позволяет укладывать материал без каких-либо затруднений, так как утрамбовать ее не составит никакого труда. Цена гранитного отсева в два раза превышает стоимость гравийного.

Стоимость также может зависеть от места добычи и способа доставки материала, от уровня зернистости и многих других факторов. Не стоит забывать и об оптовых скидках, которые предоставляются крупным клиентам и малому бизнесу. В последнее время, все чаще начинают использовать такое вторичное сырье как битый железобетон и кирпич, для производства отсева. Этот материал пользуется немалым спросом благодаря низкой стоимости, что позволяет использовать его зимой для посыпания дорог и оживленных улиц.

Основное отличие отсева щебня от песка

Привычный всем, но от этого очень дорогой песок, при использовании современных технологий, вполне может заменить вторичный отсев. Характеристики при этом не пострадают. Стоит учесть то, что большинство силикатов содержат в себе долю грунтовых и глинистых примесей. Гранулометрическая система не характеризует качество песчаной смеси, поэтому ее использование весьма ограничено. Большинство производителей уже давно отдают предпочтение именно отсеву щебня, а не просеву дорогостоящего песка.

Фактор существенной экономии

Дабы снизить общие затраты при работе с бетонной смесью, большинство строителей используют отсев, если речь идет о частном строительстве. При изготовлении бетонной смеси, отсев используется в качестве заместителя основного материала, при этом прочность готового продукта только возрастает. Работать с ним также проще, так как фракция материала приравнивается к 0,5 мм. Простой замены будет недостаточно, ведь чем крупнее зерна, тем меньше их понадобиться для заполнения образовавшихся пустот.

При укладке ленточного типа фундамента, большую часть крупнокалиберного щебня, можно заменить более мелким отсевом. Для достижения наиболее оптимального результата рекомендуется провести несколько обычных замесов, что позволит определить прочность полученного сырья. В некоторых случаях возможно полное замещение гравия его отсевом, но речь идет о бетонировании забора, отмостки, гаража или беседки. Этот материал никаким образом не может полноценно заменить песок, который делает состав более клейким.

Отсев щебня и сфера его использования:

  • Проведение дорожного строительства;
  • При обустройстве транспортной и пешеходной территории;
  • Использование в качестве одного из основных материалов при изготовлении железобетонных конструкций и плитки;
  • При очистке и фильтрации воды;
  • Для производства керамических изделий;
  • Для изготовления бетонных смесей и декоративных изделий из натурального камня;
  • При облагораживании территории;
  • В качестве противоскользящего материала;
  • Как основной компонент при изготовлении панелей для стен.

Где используется отсев щебня

Отсев нашел свое применение в типографии, строительстве, при обустройстве территории, в сельском хозяйстве, пищевой промышленности и изготовлении стеклянных конструкций. Для изготовления бордюрного камня, асфальтового покрытия, тротуарной плитки и отделочных работ рекомендуется использовать гравийный и гранитный щебень. Его же используют для декорирования клумб и усадебных дорожек. Зимой им посыпают дороги, дабы свести коэффициент скольжения к минимуму. В бетонно смеси, он может послужить качественным заменителем гравия, что приведет к экономии средств.

Также используется в качестве одного из компонентов при изготовлении сельскохозяйственных удобрений и полимерных покрытий. Дает безграничную возможность оформить частные владения на любой вкус. Позволяет заделывать изъяны, которые образуются при укладке тротуарной и дворовой плитки. Правильное использование щебневых, галечных и гравийных отсевов, позволит как нельзя лучше спланировать ландшафт имеющейся территории. Рекомендуется использовать отмостки и небольшие бордюры, которые не позволят отсеву расплыться по близлежащей территории. Не способен скапливать на своей поверхности дождевые воды. 

Нежное введение в Dropout для регуляризации глубоких нейронных сетей

Последнее обновление 6 августа 2019 г.

Нейронные сети с глубоким обучением, вероятно, быстро превзойдут набор обучающих данных с несколькими примерами.

Известно, что ансамбли нейронных сетей с различными конфигурациями моделей уменьшают переоснащение, но требуют дополнительных вычислительных затрат на обучение и поддержку нескольких моделей.

Одна модель может использоваться для имитации большого количества различных сетевых архитектур путем случайного исключения узлов во время обучения.Это называется отсевом и предлагает очень дешевый с точки зрения вычислений и замечательно эффективный метод регуляризации для уменьшения переобучения и улучшения ошибок обобщения в глубоких нейронных сетях всех видов.

В этом посте вы откроете для себя использование регуляризации отсева для уменьшения переобучения и улучшения обобщения глубоких нейронных сетей.

Прочитав этот пост, вы будете знать:

  • Большие веса в нейронной сети — признак более сложной сети, которая превышает обучающие данные.
  • Вероятностное отключение узлов в сети — простой и эффективный метод регуляризации.
  • При использовании отсева предлагается большая сеть с дополнительным обучением и использованием ограничения веса.

Начните свой проект с моей новой книги «Лучшее глубокое обучение», включающей пошаговых руководств и файлы исходного кода Python для всех примеров.

Приступим.

Мягкое введение в отсев для регуляризации глубоких нейронных сетей
Фотография Джослин Кингхорн, некоторые права защищены.

Обзор

Это руководство разделено на пять частей; их:

  1. Проблема с переоснащением
  2. Узлы выпадения случайным образом
  3. Как бросить учебу
  4. Примеры использования Dropout
  5. Советы по использованию регуляризации исключения

Проблема с переоснащением

Большие нейронные сети, обученные на относительно небольших наборах данных, могут превосходить обучающие данные.

Это приводит к тому, что модель изучает статистический шум в обучающих данных, что приводит к снижению производительности при оценке модели на новых данных, например.г. набор тестовых данных. Ошибка обобщения увеличивается из-за переобучения.

Один из подходов к уменьшению переобучения состоит в том, чтобы подогнать все возможные нейронные сети к одному и тому же набору данных и усреднить прогнозы каждой модели. На практике это невозможно и может быть аппроксимировано с помощью небольшого набора различных моделей, называемого ансамблем.

При неограниченных вычислениях лучший способ «упорядочить» модель фиксированного размера — это усреднить предсказания всех возможных настроек параметров, взвешивая каждую настройку по ее апостериорной вероятности с учетом обучающих данных.

— Отсев: простой способ предотвратить переоснащение нейронных сетей, 2014.

Проблема даже с аппроксимацией ансамбля состоит в том, что для этого требуется несколько моделей для подгонки и хранения, что может быть проблемой, если модели большие, требующие дней или недель для обучения и настройки.

Узлы выпадения случайным образом

Dropout — это метод регуляризации, который приближает обучение большого количества нейронных сетей с разными архитектурами параллельно.

Во время обучения некоторое количество выходов слоя случайно игнорируется или « выпало .Это приводит к тому, что слой выглядит и обрабатывается как слой с другим количеством узлов и возможностью подключения к предыдущему уровню. Фактически, каждое обновление уровня во время обучения выполняется с другим « view, » настроенного уровня.

Под отключением устройства мы подразумеваем временное удаление его из сети вместе со всеми его входящими и исходящими соединениями

— Отсев: простой способ предотвратить переоснащение нейронных сетей, 2014.

Dropout делает процесс обучения зашумленным, заставляя узлы в пределах уровня вероятностно брать на себя большую или меньшую ответственность за входные данные.

Эта концепция предполагает, что, возможно, выпадение происходит в ситуациях, когда сетевые уровни совместно адаптируются для исправления ошибок предыдущих уровней, что в свою очередь делает модель более устойчивой.

… блоки могут изменяться таким образом, чтобы исправлять ошибки других блоков. Это может привести к сложной коадаптации.Это, в свою очередь, приводит к переобучению, поскольку эти совместные адаптации не распространяются на невидимые данные. […]

— Отсев: простой способ предотвратить переоснащение нейронных сетей, 2014.

Dropout имитирует разреженную активацию заданного уровня, что, что интересно, в свою очередь, побуждает сеть фактически изучать разреженное представление в качестве побочного эффекта. Таким образом, он может использоваться как альтернатива регуляризации деятельности для поощрения разреженных представлений в моделях автоэнкодера.

Мы обнаружили, что как побочный эффект выпадения, активации скрытых модулей становятся редкими, даже если отсутствуют регуляризаторы, вызывающие разреженность.

— Отсев: простой способ предотвратить переоснащение нейронных сетей, 2014.

Поскольку выходные данные слоя, находящегося под выпадением, случайным образом подвергаются субдискретизации, это имеет эффект уменьшения пропускной способности или прореживания сети во время обучения. Таким образом, более широкая сеть, например при использовании выпадения может потребоваться больше узлов.

Хотите лучших результатов с помощью глубокого обучения?

Пройдите мой бесплатный 7-дневный ускоренный курс электронной почты (с образцом кода).

Нажмите, чтобы зарегистрироваться, а также получите бесплатную электронную версию курса в формате PDF.

Загрузите БЕСПЛАТНЫЙ мини-курс

Как бросить учебу

Выпадение выполняется на уровне нейронной сети.

Его можно использовать с большинством типов слоев, такими как плотные полносвязные слои, сверточные слои и повторяющиеся слои, такие как сетевой уровень долговременной краткосрочной памяти.

Выпадение может быть реализовано на любом или всех скрытых слоях в сети, а также на видимом или входном слое. Он не используется на выходном слое.

Термин «выпадение» относится к выпадающим единицам (скрытым и видимым) в нейронной сети.

— Отсев: простой способ предотвратить переоснащение нейронных сетей, 2014.

Введен новый гиперпараметр, который определяет вероятность, с которой выходы уровня выпадают, или, наоборот, вероятность, с которой выходы уровня сохраняются.Интерпретация — это деталь реализации, которая может отличаться от статьи к библиотеке кода.

Обычное значение — это вероятность 0,5 для сохранения выходных данных каждого узла в скрытом слое и значение, близкое к 1,0, например 0,8, для сохранения входных данных из видимого слоя.

В простейшем случае каждая единица сохраняется с фиксированной вероятностью p независимо от других единиц, где p можно выбрать с помощью набора для проверки или просто установить на 0,5, что кажется близким к оптимальному для широкого диапазона сети и задачи.Однако для входных единиц оптимальная вероятность удержания обычно ближе к 1, чем к 0,5.

— Отсев: простой способ предотвратить переоснащение нейронных сетей, 2014.

Dropout не используется после обучения при прогнозировании с помощью подходящей сети.

Вес сети будет больше обычного из-за выпадения. Следовательно, перед завершением сети, веса сначала масштабируются в соответствии с выбранной частотой отсева. Затем сеть можно использовать как обычно, чтобы делать прогнозы.

Если единица сохраняется с вероятностью p во время обучения, исходящие веса этой единицы умножаются на p во время теста

— Отсев: простой способ предотвратить переоснащение нейронных сетей, 2014.

Изменение масштаба весов может выполняться вместо этого во время обучения, после каждого обновления веса в конце мини-пакета. Иногда это называется «, обратное выпадение, » и не требует изменения веса во время тренировки.Обе библиотеки глубокого обучения Keras и PyTorch реализуют отсев таким образом.

Во время тестирования мы уменьшаем вывод по коэффициенту отсева. […] Обратите внимание, что этот процесс можно реализовать, выполнив обе операции во время обучения и оставив выходные данные неизменными во время тестирования, как это часто реализуется на практике.

— стр. 109, Глубокое обучение с помощью Python, 2017.

Dropout хорошо работает на практике, возможно, заменяя необходимость регуляризации веса (например,г. снижение веса) и регуляризация активности (например, разреженность представлений).

… отсев более эффективен, чем другие стандартные недорогие в вычислительном отношении регуляризаторы, такие как уменьшение веса, ограничения нормы фильтра и регуляризация разреженной активности. Прекращение учебы также можно комбинировать с другими формами регуляризации для дальнейшего улучшения.

— стр. 265, Глубокое обучение, 2016 г.

Примеры использования Dropout

В этом разделе приведены некоторые примеры использования исключения из исследования в недавних исследовательских работах, чтобы предложить, как и где его можно использовать.

Джеффри Хинтон и др. в своей статье 2012 года, которая впервые представила отсев под названием «Улучшение нейронных сетей путем предотвращения совместной адаптации детекторов функций», применила метод с рядом различных нейронных сетей для решения различных типов задач, достигнув улучшенных результатов, включая распознавание рукописных цифр (MNIST), фото классификация (CIFAR-10) и распознавание речи (TIMIT).

… мы используем те же показатели отсева — 50% отсева для всех скрытых единиц и 20% отсева для видимых единиц

Нитиш Шривастава и др.в своей журнальной статье 2014 года под названием «Исключение: простой способ предотвратить переоснащение нейронных сетей» использовалось исключение для широкого спектра задач компьютерного зрения, распознавания речи и классификации текста, и было обнаружено, что это постоянно улучшает производительность по каждой проблеме.

Мы обучили нейронные сети отсева для задач классификации на наборах данных в различных областях. Мы обнаружили, что отсев улучшил производительность обобщения для всех наборов данных по сравнению с нейронными сетями, в которых отсев не использовался.

В задачах компьютерного зрения различные уровни отсева использовались на всех уровнях сети в сочетании с ограничением максимальной нормы веса.

Выпадение было применено ко всем слоям сети с вероятностью сохранения единицы, равной p = (0,9, 0,75, 0,75, 0,5, 0,5, 0,5) для различных слоев сети (переход от входных к сверточным слоям и к полностью связанные слои). Кроме того, для всех весов использовалось ограничение max-norm с c = 4.[…]

Для задачи классификации текста использовалась более простая конфигурация.

Мы использовали вероятность удержания p = 0,8 во входных слоях и 0,5 в скрытых слоях. Ограничение максимальной нормы с c = 4 использовалось во всех слоях.

Алекс Крижевский и др. в своей знаменитой статье 2012 года под названием «Классификация ImageNet с глубокими сверточными нейронными сетями» достигли (на тот момент) самых современных результатов для классификации фотографий в наборе данных ImageNet с глубокими сверточными нейронными сетями и регуляризацией исключения.

Мы используем выпадение в первых двух полносвязных слоях [модели]. Без отсева наша сеть демонстрирует существенное переоснащение. Dropout примерно вдвое увеличивает количество итераций, необходимых для сходимости.

Джордж Даль и др. в своей статье 2013 года под названием «Улучшение глубоких нейронных сетей для LVCSR с использованием выпрямленных линейных единиц и отсева» использовали глубокую нейронную сеть с выпрямленными линейными функциями активации и отсева для достижения (в то время) современных результатов на стандартной речи задача распознавания.Они использовали байесовскую процедуру оптимизации для настройки выбора функции активации и количества выпадений.

… процедура байесовской оптимизации выяснила, что отсев не помогает для сигмовидных сетей тех размеров, которые мы обучили. В целом, ReLU и отсев, похоже, довольно хорошо работают вместе.

Советы по использованию регуляризации исключения

В этом разделе приведены несколько советов по использованию регуляризации отсева в нейронной сети.

Использование со всеми типами сетей

Регуляризация отсева — это общий подход.

Его можно использовать с большинством, а может быть и со всеми типами моделей нейронных сетей, не в последнюю очередь с наиболее распространенными типами сетей: многослойными персептронами, сверточными нейронными сетями и рекуррентными нейронными сетями с кратковременной памятью.

В случае LSTM может быть желательно использовать разные скорости отключения для входных и повторяющихся подключений.

Показатель отсева

Интерпретация гиперпараметра отсева по умолчанию — это вероятность обучения данного узла в слое, где 1.0 означает отсутствие выпадения, а 0,0 означает отсутствие выходных данных из слоя.

Хорошее значение для исключения скрытого слоя составляет от 0,5 до 0,8. Входные слои используют больший коэффициент отсева, например 0,8.

Используйте большую сеть

Для более крупных сетей (больше слоев или больше узлов) характерно более легкое переоснащение обучающих данных.

При использовании регуляризации отсева можно использовать более крупные сети с меньшим риском переобучения. Фактически, может потребоваться большая сеть (больше узлов на уровень), поскольку выпадение сети с большой вероятностью снизит пропускную способность сети.

Хорошее практическое правило — разделить количество узлов в слое перед отключением на предложенную частоту отключения и использовать это как количество узлов в новой сети, в которой используется отключение. Например, сеть со 100 узлами и предлагаемым коэффициентом отсева 0,5 потребует 200 узлов (100 / 0,5) при использовании отсева.

Если n — количество скрытых единиц в любом слое, а p — вероятность сохранения единицы […], в хорошей сети с отсечением должно быть не менее n / p единиц

— Отсев: простой способ предотвратить переоснащение нейронных сетей, 2014.

Параметры поиска по сетке

Вместо того, чтобы угадывать подходящий коэффициент отсева для вашей сети, систематически тестируйте разные частоты.

Например, тестовые значения от 1,0 до 0,1 с шагом 0,1.

Это поможет вам определить, что лучше всего работает для вашей конкретной модели и набора данных, а также насколько чувствительна модель к коэффициенту отсева. Более чувствительная модель может быть нестабильной, и ей следует увеличить размер.

Используйте ограничение веса

Веса сети увеличатся в размере в ответ на вероятностное удаление активаций уровня.

Большой вес может быть признаком нестабильной сети.

Чтобы противодействовать этому эффекту, может быть наложено ограничение по весу, чтобы норма (величина) всех весов в слое была ниже заданного значения. Например, ограничение максимальной нормы рекомендуется со значением 3-4.

[…] мы можем использовать регуляризацию максимальной нормы. Это ограничивает норму вектора входящих весов в каждой скрытой единице, чтобы она была ограничена константой c. Типичные значения c находятся в диапазоне от 3 до 4.

— Отсев: простой способ предотвратить переоснащение нейронных сетей, 2014.

Это вводит дополнительный гиперпараметр, который может потребовать настройки для модели.

Использование с меньшими наборами данных

Как и другие методы регуляризации, отсев более эффективен для тех проблем, где имеется ограниченный объем обучающих данных, и модель, вероятно, переоценивает обучающие данные.

Для задач с большим объемом обучающих данных может быть меньше пользы от использования отсева.

Для очень больших наборов данных регуляризация дает небольшое уменьшение ошибки обобщения. В этих случаях вычислительные затраты на использование моделей отсева и более крупных моделей могут перевесить выгоду от регуляризации.

— стр. 265, Глубокое обучение, 2016 г.

Дополнительная литература

Этот раздел предоставляет дополнительные ресурсы по теме, если вы хотите углубиться.

Книги

Документы

Посты

Статьи

Сводка

В этом посте вы обнаружили использование регуляризации отсева для уменьшения переобучения и улучшения обобщения глубоких нейронных сетей.

В частности, вы выучили:

  • Большие веса в нейронной сети — признак более сложной сети, которая превышает обучающие данные.
  • Вероятностное отключение узлов в сети — простой и эффективный метод регуляризации.
  • При использовании отсева предлагается большая сеть с дополнительным обучением и использованием ограничения веса.

Есть вопросы?
Задайте свои вопросы в комментариях ниже, и я постараюсь ответить.

Разрабатывайте лучшие модели глубокого обучения сегодня!

Тренируйтесь быстрее, меньше перетяжек и ансамбли

… всего несколькими строками кода Python

Узнайте, как в моей новой электронной книге:
Better Deep Learning

Он предоставляет руководств для самообучения по таким темам, как:
снижение веса , нормализация партии , выпадение , наложение моделей и многое другое …

Сделайте свои проекты более глубокими!

Пропустить академики.Только результаты.

Посмотрите, что внутри

Понимание отсева с упрощенной математикой | Читта Ранджан

Имея это в виду, давайте погрузимся в математику отсева. Вы можете сразу перейти к Dropout, эквивалентному упорядоченному разделу сети для выводов .

Рассмотрим однослойный линейный блок в сети, как показано на рисунке 4 ниже. Подробнее см. [2].

Рисунок 4. Однослойный линейный блок вне сети.

Это называется линейным из-за линейной активации, f (x) = x.Как видно на рисунке 4, выход слоя представляет собой линейно взвешенную сумму входов. Мы рассматриваем этот упрощенный случай для математического объяснения. Результаты (эмпирически) верны для обычных нелинейных сетей.

Для оценки модели мы минимизируем функцию потерь. Для этого линейного слоя мы рассмотрим обычные потери по методу наименьших квадратов,

Eq. 1 показаны потери для обычной сети и уравнения. 2 для выпадающей сети. В уравнении. 2 коэффициент отсева равен, где ~ Бернулли ( p ).Это означает, что 𝛿 равно 1 с вероятностью p и 0 в противном случае.

Обратное распространение для обучения сети использует подход градиентного спуска. Поэтому мы сначала посмотрим на градиент сети отсева в уравнении. 2, а затем перейти к обычной сети в формуле. 1.

Теперь мы попытаемся найти связь между этим градиентом и градиентом регулярной сети. С этой целью предположим, что мы сделали w ’= p * w в уравнении. 1. Следовательно,

Взяв производную уравнения.4, находим,

Теперь у нас есть интересная часть. Если мы найдем математическое ожидание градиента сети Dropout, мы получим,

. Если мы посмотрим на уравнение. 6, математическое ожидание градиента с выпадением равно градиенту регуляризованной регулярной сети Eɴ, если w ’= p * w.

Это означает, что минимизация потерь при выпадении (в уравнении 2) эквивалентна минимизации регуляризованной сети , показанной в уравнении. 7 ниже.

То есть, если вы дифференцируете регуляризованную сеть в уравнении.7, вы получите (ожидаемый) градиент сети Dropout, как в уравнении. 6.

Это глубокие отношения. Отсюда мы можем ответить:

Почему коэффициент отсева, p = 0,5, дает максимальную регуляризацию?

Это потому, что параметр регуляризации p (1- p ) в уравнении. 7, максимально при p = 0,5.

Какие значения p следует выбирать для разных слоев?

В Керасе аргумент коэффициента отсева равен (1- p ).Для промежуточных уровней выбор (1- p ) = 0,5 для больших сетей является идеальным вариантом. Для входного слоя (1- p ) следует оставить около 0,2 или ниже. Это связано с тем, что удаление входных данных может отрицательно сказаться на обучении. A (1- p )> 0,5 не рекомендуется, так как он отбрасывает больше соединений без повышения регуляризации.

Почему мы масштабируем веса w на p во время теста или вывода?

Потому что ожидаемое значение сети Dropout эквивалентно обычной сети с ее весами, масштабируемыми с частотой Dropout p .Масштабирование делает выводы из сети Dropout сравнимой с полной сетью. Существуют также вычислительные преимущества, которые объясняются с точки зрения ансамблевого моделирования в [1].

Прежде чем мы продолжим, я хочу коснуться Gaussian-Dropout.

Как мы видели ранее, в Dropout мы отбрасываем соединение с вероятностью (1- p ). Математически, в уравнении. 2 мы имеем веса связи, умноженные на случайную величину, где ~ Бернулли ( p ).

Эту процедуру отсева можно рассматривать как установку шлюза Бернулли на каждое соединение.

Рис. 5. Выпадение соединения, рассматриваемое как шлюз Бернулли.

Мы можем заменить ворота Бернулли другими воротами. Например, гауссовы ворота. И это дает нам отсев по Гауссу.

Рис. 6. Выпадение, обобщенное на вентиль Гаусса (вместо Бернулли).

Было обнаружено, что Gaussian-Dropout работает так же хорошо, как и обычный Dropout, а иногда и лучше.

При отключении по Гауссу ожидаемое значение активации остается неизменным (см.8). Следовательно, в отличие от обычного Dropout, во время вывода не требуется масштабирования веса.

Это свойство дает Gaussian-Dropout также вычислительное преимущество. Мы рассмотрим производительность Gaussian-Dropout в следующем посте. А пока одно предостережение.

Хотя идея Dropout Gate может быть обобщена на другие дистрибутивы, кроме Bernoulli, рекомендуется понимать, как новый дистрибутив повлияет на ожидание активаций. И исходя из этого должно быть сделано соответствующее масштабирование активаций.

В этом посте мы рассмотрели математику, лежащую в основе Dropout. Мы работали с математикой в ​​некоторых упрощенных условиях. Однако результаты распространяются на общие случаи глубокого обучения. Таким образом, мы поняли, что

  • Взаимосвязь между отсевом и регуляризацией,
  • Коэффициент отсева 0,5 приведет к максимальной регуляризации, а
  • Обобщение отсева до GaussianDropout.
  1. Шривастава Н., Хинтон Г., Крижевский А., Суцкевер И., Салахутдинов Р. (2014). Dropout: простой способ предотвратить переобучение нейронных сетей. Журнал исследований в области машинного обучения , 15 (1), 1929–1958.
  2. Балди П. и Садовски П. Дж. (2013). Понимание отсева. В Достижения в системах обработки нейронной информации (стр. 2814–2822).

Что такое отсев? Что такое выпадение в нейронных сетях

Что такое выпадение в глубоких нейронных сетях?

Выпадение означает данные или шум, которые намеренно отбрасываются из нейронной сети для улучшения обработки и ускорения получения результатов.

Нейронная сеть — это программа, которая пытается имитировать действия человеческого мозга. Человеческий мозг содержит миллиарды нейронов, которые посылают друг другу электрические и химические сигналы, чтобы координировать мысли и жизненные функции. Нейронная сеть использует программный эквивалент этих нейронов, называемый единиц . Каждый блок получает сигналы от других блоков, а затем вычисляет результат, который он передает другим нейронам / блокам или узлам в сети.

Зачем нам бросать учебу?

Задача программных нейронных сетей состоит в том, что они должны найти способы уменьшить шум миллиардов нейронных узлов, обменивающихся данными друг с другом, чтобы возможности обработки сетей не превышались.Для этого сеть удаляет все коммуникации, которые передаются ее нейронными узлами, не имеющими прямого отношения к проблеме или обучению, над которыми она работает. Срок устранения этого нейронного узла — , выпадение .

Выпадающие слои

Подобно нейронам человеческого мозга, единицы нейронной сети случайным образом обрабатывают бесчисленные входные данные, а затем в любой момент времени запускают бесчисленные выходные сигналы. Процесс и выходы каждого блока могут быть промежуточными выходными сигналами, которые передаются другому блоку для дальнейшей обработки задолго до конечного вывода или результатов вывода.Некоторая часть этой обработки заканчивается шумом, который является промежуточным результатом обработки, но не является окончательным.

Когда специалисты по обработке данных применяют метод исключения к нейронной сети, они учитывают природу этой случайной обработки. Они принимают решение о том, какой шум данных исключить, а затем применяют исключение к различным уровням нейронной сети следующим образом:

  • Входной слой. Это самый верхний уровень искусственного интеллекта (AI) и машинного обучения, на котором загружаются исходные необработанные данные.Отсев можно применить к этому слою видимых данных, в зависимости от того, какие данные считаются не имеющими отношения к решаемой бизнес-проблеме.
  • Промежуточные или скрытые слои. Это уровни обработки после приема данных. Эти слои скрыты, потому что мы не можем точно увидеть, что они делают. Слои, которых может быть один или несколько, обрабатывают данные, а затем передают промежуточные, но не окончательные, результаты, которые они отправляют другим нейронам для дополнительной обработки. Поскольку большая часть этой промежуточной обработки будет превращаться в шум, специалисты по обработке данных используют отсев, чтобы исключить некоторые из них.
  • Выходной слой. Это последний видимый результат обработки всех нейронных единиц. На этом слое выпадение не используется.

На этих изображениях показаны разные уровни нейронной сети до и после применения исключения.

Примеры и использование функции отсева

Организация, которая отслеживает передачу звука из космоса, ищет повторяющиеся, структурированные сигналы, потому что они могут быть возможными признаками жизни. Необработанные сигналы поступают в нейронную сеть для проведения анализа.Специалисты по обработке данных заранее излучают все входящие звуковые сигналы, которые не повторяются или не имеют шаблонов. Они также исключают процент промежуточных элементов скрытого слоя, чтобы сократить время обработки и получить результаты.

Вот еще один реальный пример, показывающий, как работает отсев: биохимическая компания хочет разработать новую молекулярную структуру, которая позволит ей производить революционную форму пластика. Компании уже известны отдельные элементы, из которых состоит молекула. Чего он не знает, так это правильной формулировки этих элементов.

Чтобы сэкономить время и обработку, компания разрабатывает нейронную сеть, которая может оценивать результаты всемирных исследований, но она будет принимать и обрабатывать только те исследования, которые непосредственно относятся к молекуле и ее идентифицированным элементам. Любая другая информация автоматически исключается как не имеющая отношения к делу и удаляется. За счет предварительного исключения нерелевантных данных модель искусственного интеллекта этой биохимической компании позволяет избежать явления, известного как переобучение. Переобучение происходит, когда модель ИИ пытается предсказать тенденцию на основе слишком шумных данных, потому что посторонние данные не были отброшены в начале процесса.

Следующий шаг: узнайте о различных типах машинного обучения и о том, как они влияют на современный бизнес.

нейронных сетей — как простыми словами объяснить регуляризацию отсева?

Резюме выпавшей статьи кажется вполне пригодным.

Нитиш Шривастава, Джеффри Хинтон, Алекс Крижевский, Илья Суцкевер, Руслан Салахутдинов, «Отсев: простой способ предотвратить переоснащение нейронных сетей», Journal of Machine Learning Research , 2014.

Глубокие нейронные сети с большим количеством параметров — очень мощные системы машинного обучения. Однако переоснащение в таких сетях — серьезная проблема. Большие сети также медленны в использовании, что затрудняет борьбу с переоснащением путем комбинирования прогнозов множества различных больших нейронных сетей во время тестирования. Отсев — это метод решения этой проблемы. Ключевая идея — случайным образом отбрасывать единицы (вместе с их связями) из нейронной сети во время обучения.Это предотвращает чрезмерную совместную адаптацию юнитов. Во время обучения отбрасываются образцы из экспоненциального числа различных «прореженных» сетей. Во время тестирования легко аппроксимировать эффект усреднения прогнозов всех этих прореженных сетей, просто используя одну неразрешенную сеть с меньшими весами. Это значительно снижает переоснащение и дает значительные улучшения по сравнению с другими методами регуляризации. Мы показываем, что отсев повышает производительность нейронных сетей в контролируемых обучающих задачах по зрению, распознаванию речи, классификации документов и вычислительной биологии, получая самые современные результаты на многих наборах контрольных данных.

Если вы прочитаете статью, вы найдете описание того, что означает совместная адаптация в контексте исключения из школы.

В стандартной нейронной сети производная, полученная каждым параметром, сообщает ей, как она должна измениться, чтобы окончательная функция потерь была уменьшена с учетом того, что делают все другие устройства. Следовательно, единицы могут изменяться таким образом, чтобы исправлять ошибки других единиц. Это может привести к сложной коадаптации. Это, в свою очередь, приводит к переобучению, поскольку эти совместные адаптации не распространяются на невидимые данные.Мы предполагаем, что для каждой скрытой единицы отсев предотвращает совместную адаптацию, делая присутствие других скрытых единиц ненадежным. Следовательно, скрытый отряд не может полагаться на другие конкретные отряды для исправления своих ошибок. Он должен хорошо работать в самых разных контекстах, предоставляемых другими скрытыми модулями. Чтобы непосредственно наблюдать этот эффект, мы рассмотрим особенности первого уровня, изученные нейронными сетями, обученными визуальным задачам с отсевом и без него.

Где я должен размещать дропаут-слои в нейронной сети?

Некоторые люди интерпретируют нейронную сеть с включенным отключением как приближение байесовской нейронной сети.И мы можем увидеть эту проблему с байесовской точки зрения или рассматривать такие сети как стохастические искусственные нейронные сети.

Искусственная нейронная сеть

Искусственная нейронная сеть сопоставляет некоторые входные данные / характеристики с выходными / предсказаниями, что можно упростить следующим образом:
$ l_0 = x, $
$ l_i = nl_i (W_il_ {i-1} + b_i) \ hspace { 1cm} \ forall i \ in [1, n], $
$ y = l_n. $
, где $ nl_i $ представляет нелинейную функцию активации в i-м слое.

Стохастические искусственные нейронные сети

Существует два метода преобразования традиционной нейронной сети в стохастическую искусственную нейронную сеть, моделирующую несколько возможных моделей $ \ theta $ с их соответствующим распределением вероятности $ p (\ theta) $: 1) дать стохастическую активацию сети (изображенную ниже на слева), 2) или стохастические веса / коэффициенты (справа).

Модель Dropout

В этой замечательной статье: Что моя глубинная модель не знает … Ярин Гэл рассматривает ее как стохастическую сеть:

Обратите внимание, что механизм выпадения, применяемый к $ W_1 $, работает на слое X, а механизм выпадения, применяемый к $ W_2 $, работает на слое $ \ sigma $.

И процесс (с n слоями) можно сформулировать так:
$ l_0 = x, $
$ z_ {i, j} \ sim \ text {Bernouilli} (p_i) \ hspace {1cm} \ forall i \ in [1, n], $
$ l_i = nl_i ((l_ {i-1} \ cdot \ text {diag} (z_i)) W_i + b_i) \ hspace {1cm} \ forall i \ in [1, n] , $
$ y = l_n.$

, где $ l_ {i-1} \ cdot \ text {diag} (z_i) $ означает, что мы случайным образом обнуляем некоторые элементы ввода ( предшествующий слой ) с вероятностью $ 1-p_i $.

TL; DR

Затем обычно мы применяем выпадение перед активацией, чтобы исключить входные элементы в предыдущем слое.

Артикул:

  1. Практические байесовские нейронные сети — учебное пособие для пользователей глубокого обучения
  2. Чего не знает моя глубинная модель …

нейронных сетей — В чем разница между dropout и drop connect?

DropOut и DropConnect — оба метода, предназначенные для предотвращения «коадаптации» блоков в нейронной сети.Другими словами, мы хотим, чтобы юниты независимо извлекали функции из своих входных данных, а не полагались в этом на другие нейроны.

Предположим, у нас есть многоуровневая сеть прямого распространения, подобная этой (топология на самом деле не имеет значения). Нас беспокоит совместная адаптация желтых скрытых юнитов на среднем уровне.

Выпадение

Чтобы применить DropOut, мы случайным образом выбираем подмножество единиц и фиксируем их выход равным нулю, независимо от входа; это эффективно удаляет эти единицы из модели.Каждый раз, когда мы представляем обучающий пример, случайным образом выбирается другое подмножество единиц.

Ниже приведены две возможные конфигурации сети. В первой презентации (слева) 1-й и 3-й блоки отключены, но 2-й и 3-й блоки были случайным образом выбраны при последующей презентации. Во время тестирования мы используем всю сеть, но масштабируем веса, чтобы компенсировать тот факт, что все они теперь могут стать активными (например, если вы отбрасываете половину узлов, веса также должны быть уменьшены вдвое).

DropConnect

DropConnect работает аналогично, за исключением того, что мы отключаем отдельные веса (т. Е. Устанавливаем их на ноль) вместо узлов, поэтому узел может оставаться частично активным. Схематично это выглядит так:

Сравнение

Оба эти метода работают, потому что они эффективно позволяют обучать несколько моделей одновременно, а затем усреднять их для тестирования. Например, желтый слой имеет четыре узла и, следовательно, 16 возможных состояний DropOut (все включены, # 1 отключены, # 1 и # 2 отключены и т. Д.).

DropConnect является обобщением DropOut, потому что он производит еще больше возможных моделей, так как соединений почти всегда больше, чем единиц. Однако вы можете получить аналогичные результаты в индивидуальном испытании. Например, сеть DropConnect справа фактически отключила Блок №2, поскольку все входящие соединения были удалены.

Дополнительная литература

Оригинальные статьи довольно доступны и содержат больше деталей и эмпирических результатов.

Что такое отсев? Уменьшение переобучения в ваших нейронных сетях — MachineCurve

Последнее обновление 17 декабря 2019 г.

При обучении нейронных сетей ваша цель — создать модель, которая действительно хорошо работает.

В этом есть смысл, поскольку нет смысла использовать модель, которая не работает.

Однако существует относительно узкий баланс, который вам придется соблюдать, пытаясь найти модель с отличными характеристиками .

Это баланс между , недостаточным , и , превышающим .

Во избежание недостаточной подгонки (прогнозируемой производительности хуже, чем это возможно) вы можете продолжать обучение до тех пор, пока не столкнетесь с другой проблемой — переобучением, или слишком чувствительным к вашим тренировочным данным. Оба ухудшают производительность модели.

Иногда диапазон, в котором ваша модель не является ни недостаточным, ни избыточным, действительно невелик. К счастью, его можно расширить, применив так называемый регуляризатор — метод, который регулирует поведение вашей модели во время обучения, чтобы отложить переобучение на некоторое время.

Отсев — это такой метод регуляризации. В этом сообщении блога мы рассмотрим это, взглянув на несколько вещей. Во-первых, мы более подробно рассмотрим разницу между недостаточной и избыточной настройкой, чтобы получить более глубокое понимание этих двух. Во-вторых, мы вводим Dropout на основе академических работ и рассказываем, как это работает. В-третьих, мы посмотрим, действительно ли это работает, описав различные эксперименты, проведенные с этой техникой. Наконец, мы сравним традиционный Dropout с Gaussian Dropout — и то, как он меняет обучение вашей модели.

Готовы? Пойдем! 😎

Насколько хорошо работает ваша модель? Недооборудование и переоборудование

Давайте сначала посмотрим, что такое переоборудование и недооборудование.

При запуске процесса обучения веса ваших нейронов, вероятно, инициализируются случайным образом или с какой-либо другой стратегией инициализации. Это означает, что частота ошибок или величина потерь будет очень высокой в ​​течение первых нескольких эпох. Взгляните на эту диаграмму, на которой потери очень быстро уменьшаются в течение первых нескольких эпох:

Когда и потеря обучения, и валидация уменьшаются, модель считается недостаточной: ее все еще можно обучить, чтобы делать более точные прогнозы. , я.е. чтобы получить прогнозную силу .

После этого необходимо продолжить обучение.

Однако так не может продолжаться вечно. Оптимизация модели включает создание прогнозов проверки с вашими данными проверки, что приводит к значениям потерь и градиентам для оптимизации, которая затем выполняется. К сожалению, это означает, что некоторые идеосинкразии данных просочились в веса модели . То есть, поскольку данные представляют собой выборку, а не полную генеральную совокупность, они всегда немного отличаются от полной генеральной совокупности, которую они представляют.Когда вы оптимизируете модель для сотен эпох с этими данными, вы всегда будете получать смещение относительно этой истинной совокупности.

Если вы продолжите обучение, ваша модель будет все больше и больше адаптироваться к этим идеосинкразиям, делая ее менее подходящей для данных, которые она никогда раньше не видела, то есть других выборок из совокупности. Затем говорят, что модель переоборудована: слишком хорошо адаптирована к данным обучения и проверки.

Сделаем паузу на секунду! 👩‍💻

Блоги в MachineCurve обучают машинному обучению разработчиков.Подпишитесь на бесплатное обновление машинного обучения для MachineCurve сегодня! Вы узнаете новых вещей и лучше поймете концепции , которые вы уже знаете.

Мы отправляем электронные письма как минимум каждую пятницу. Добро пожаловать!

Регистрируясь, вы соглашаетесь с тем, что любая полученная вами информация может включать услуги и специальные предложения по электронной почте.

Переобучение может быть обнаружено на графиках, подобных приведенному выше, путем проверки потерь при проверке: когда они снова возрастают, а потери на обучение остаются постоянными или уменьшаются, вы знаете, что ваша модель переобучается.Как видите, сеть с питанием от ELU на графике выше начала очень немного переоснащаться.

Следует избегать как недостаточного, так и переобучения, поскольку ваша модель будет работать хуже, чем теоретически. К счастью, можно использовать определенные методы, называемые регуляризаторами, для уменьшения воздействия переобучения. Dropout — один из них, и мы расскажем о нем в этом блоге. Давайте начнем с анализа того, что такое Dropout, что он делает и как работает.

Что такое Dropout и как оно работает?

В своей статье «Отсев: простой способ предотвратить переоснащение нейронных сетей» Шривастава и др.(2014) описывают метод Dropout , который представляет собой метод стохастической регуляризации и должен уменьшить переобучение за счет (теоретически) комбинирования множества различных архитектур нейронных сетей.

С Dropout процесс обучения по существу исключает нейроны в нейронной сети. Они временно удаляются из сети, что можно визуализировать следующим образом:

Обратите внимание, что соединения или синапсы также удаляются, и, следовательно, данные больше не проходят через эти нейроны.

… но очень кратко! Этот процесс повторяется каждую эпоху (или даже каждую мини-серию! — Шривастава и др., 2014), и, следовательно, выборка прореженных сетей происходит очень часто. Это должно привести к значительному снижению частоты ошибок обобщения (т.е. переобучения), поскольку «присутствие нейронов становится ненадежным» (Srivastava et al., 2014).

Это удаление нейронов и синапсов во время обучения выполняется случайным образом с параметром \ (p \), который можно настраивать (или, с учетом эмпирических тестов, лучше всего установить на 0.5 для скрытых слоев и близко к 1.0 для входного слоя). Фактически это означает, что, по мнению авторов, «прореженная» сеть выбирается из глобальной архитектуры и используется для обучения.

Во время тестирования «невозможно явно усреднить прогнозы из экспоненциально большого числа прореженных моделей» (Srivastava et al., 2014). Это правда: когда нужно усреднять сотни тысяч эпох / мини-пакетов, это станет вычислительной нагрузкой, особенно когда сети становятся действительно большими.

К счастью, есть решение — простое, но дает тот же результат. Используя одну нейронную сеть, где выходные веса уменьшаются в соответствии с \ (p \), с которым единица измерения была сохранена во время обучения. Это означает, что ожидаемый результат во время обучения такой же, как и истинный результат во время тестирования, решая вычислительную проблему и делая Dropout применимым на практике.

Переменные Бернулли

Давайте теперь посмотрим, как Dropout работает математически.Не волнуйтесь, мы не утопаем вас в математике, а вместо этого попытаемся принять интуитивно понятную точку зрения.

Очень упрощенно, так нейрон получает свои входные данные: например, три вышележащих нейрона в трех нейронном плотном слое отправляют свои выходные данные следующему слою, где они принимаются в качестве входных. Обратите внимание, что для простоты мы опускаем здесь значения смещения.

Нормальный нейрон (предполагается, что он не имеет смещения)

Отсюда очень просто перейти к нейрону с выпадением, который выглядит следующим образом:

Нейрон с выпадением (предполагается, что он не имеет смещения)

Математически это включает так называемые случайные величины Бернулли :

В теории вероятностей и статистике распределение Бернулли, названное в честь швейцарского математика Якоба Бернулли, представляет собой дискретное распределение вероятностей случайной величины, которая принимает значение 1 с вероятностью \ (p \).

Википедия по распределению Бернулли

Чтобы создать Dropout, Srivastava et al. (2014) прикрепили переменные Бернулли к нейронам сети (путем умножения их на нейронные выходы), «каждая из которых [имеет] вероятность \ (p \) равняться единице». Значение \ (p \) здесь выбирается инженером по машинному обучению, обычно на основе некоторого набора проверки, или наивно установлено на 0,5.

Не пропустите новые статьи о машинном обучении ✅

Блоги в MachineCurve преподают машинное обучение для разработчиков.Подпишитесь на бесплатное обновление машинного обучения для MachineCurve сегодня! Вы узнаете новых вещей и лучше поймете концепции , которые вы уже знаете.

Мы отправляем электронные письма как минимум каждую пятницу. Добро пожаловать!

Регистрируясь, вы соглашаетесь с тем, что любая полученная вами информация может включать услуги и специальные предложения по электронной почте.

Внутри сети переменная Бернулли и ее значение, равное 1 или 0, определяет, будет ли нейрон «отключен» во время этой эпохи или мини-пакетной прямой связью.Это, по сути, приводит к «истонченной сети», которую Srivastava et al. (2014) говорят о.

Почему Dropout может снизить переобучение?

Теперь вы можете задаться вопросом: почему переменные Бернулли, прикрепленные к обычным нейронным сетям, делая сеть тоньше, уменьшают переобучение?

Чтобы ответить на этот вопрос, нам нужно взглянуть на то, как обучаются нейронные сети.

Обычно для этой цели используется обратное распространение и градиентный спуск или аналогичный оптимизатор.Учитывая значение потерь, вычисляются так называемые «градиенты», которые оптимизатор затем обрабатывает в весах сети. Используя эти градиенты (относительно частоты ошибок) для изменения весов, сеть, вероятно, будет работать немного лучше во время следующей итерации процесса обучения.

Вычисление градиента выполняется относительно ошибки , но также относительно того, что делают все другие устройства (Srivastava et al., 2014). Это означает, что определенные нейроны, изменяя свой вес, могут исправлять ошибки других нейронов.Эти, Srivastava et al. (2014), приводят к сложной коадаптации, которая может не распространяться на невидимые данные, что приводит к переобучению.

Отсев, таким образом, предотвращает эту коадаптацию за счет — как мы писали ранее — , делая присутствие других скрытых [нейронов] ненадежным . Нейроны просто не могут полагаться на другие единицы для исправления своих ошибок, что уменьшает количество коадаптаций, которые не обобщаются на невидимые данные, и, таким образом, по-видимому, также снижает переобучение.

Обучающие нейронные сети с Dropout

Обучающие нейронные сети, к которым был подключен Dropout, в значительной степени эквивалентны обучению нейронных сетей без Dropout.Можно использовать стохастический градиентный спуск или аналогичные оптимизаторы. Единственная разница, как сообщает Srivastava et al. (2014), можно найти при использовании мини-пакетного подхода: выборка прореженных сетей производится не на эпоху, а на мини-пакет.

Кроме того, можно использовать методы, которые улучшают классический SGD — например, импульс — и демонстрируют те же улучшения, что и в обычных нейронных сетях (Srivastava et al., 2014).

Что авторы также нашли полезным во время обучения, так это применение регуляризации max-norm , что означает ограничение нормы входящего веса некоторым максимальным значением \ (c \).Это значение должно быть установлено инженером заранее и определено с помощью набора для проверки (Srivastava et al., 2014).

Комбинация Dropout с регуляризацией максимальной нормы улучшает производительность по сравнению с использованием только Dropout, но авторы сообщили о еще лучших результатах, когда Dropout и регуляризация максимальной нормы сочетаются с двумя другими вещами:

  • Большая, снижающаяся скорость обучения.
  • Высокая динамика.

Согласно Srivastava et al. (2014), это, возможно, может быть оправдано следующими аргументами:

  1. Ограничение весовых векторов позволяет использовать большие скорости обучения без увеличения весов.
  2. Шум выпадения плюс высокая скорость обучения помогают оптимизаторам «исследовать различные области весового пространства, которые в противном случае были бы труднодостижимы».
  3. Снижение скорости обучения затем снижает резкость исследовательского процесса, в конечном итоге «снижаясь до минимума».
  4. Высокий импульс позволяет сети преодолевать локальные минимумы, увеличивая вероятность обнаружения глобального минимума.

Действительно ли отсев

работает? Результаты экспериментов

При любом улучшении машинного обучения приятно иметь теоретическое улучшение, но также важно проверить, действительно ли оно работает.Srivastava et al. (2014) провели несколько тестов, чтобы выяснить, работает ли Dropout. Во-первых, они использовали различные стандартные наборы данных (например, набор данных MNIST), чтобы проверить, улучшает ли Dropout производительность модели при решении широкого круга задач классификации.

Во-вторых, они проверили, как это работает с множеством других регуляризаторов (что позволило понять, что регуляризация максимальной нормы вместе с Dropout работает лучше всего, но давайте более подробно рассмотрим эти результаты позже), и в-третьих, Шривастава и др. .(2014) исследовали, какие показатели отсева (т.е. какой параметр \ (p \)) работают лучше всего и как размер данных влияет на производительность отсева. Давайте взглянем!

Образцы из набора данных MNIST

Выпадение и отсутствие выпадения в стандартных наборах данных

Авторы протестировали выпадение и отсутствие выпадения на этих стандартных наборах данных (Srivastava et al., 2014):

  • Набор данных MNIST , который содержит тысячи рукописных цифры;
  • Набор данных теста речи TIMIT для чистого распознавания речи.
  • Наборы данных CIFAR-10 и CIFAR-100 , содержащие крошечные естественные изображения в 10 и 100 классах.
  • Набор данных Street View House Numbers (SVHN) с изображениями номеров домов, собранными с помощью Google Street View.
  • Набор данных ImageNet , содержащий множество естественных изображений.
  • Набор данных новостных статей Reuters RCV1 . Это текстовый набор данных, а не набор данных изображения.

Примеры из набора данных CIFAR10

Для всех наборов данных Dropout улучшил возможности обобщения модели.В MNIST можно было сообщать о кардинально разных ошибках тестирования со значительными улучшениями для всех протестированных архитектур.

Присоединяйтесь к сотням других учащихся! 😎

Блоги в MachineCurve обучают машинному обучению разработчиков. Подпишитесь на бесплатное обновление машинного обучения для MachineCurve сегодня! Вы узнаете новых вещей и лучше поймете концепции , которые вы уже знаете.

Мы отправляем электронные письма как минимум каждую пятницу. Добро пожаловать!

Регистрируясь, вы соглашаетесь с тем, что любая полученная вами информация может включать услуги и специальные предложения по электронной почте.

Dropout также превосходит обычные нейронные сети в ConvNets, обученных на наборах данных CIFAR-100, CIFAR-100 и ImageNet.

Для набора данных SVHN можно сделать еще одно интересное наблюдение: когда к сверточному слою применяется Dropout, производительность также увеличивается. По мнению авторов, это интересно, потому что раньше предполагалось, что эти слои не чувствительны к переобучению, поскольку у них не так много параметров (Srivastava et al., 2014). Утверждается, что добавление Dropout к слоям Conv обеспечивает зашумленные входные данные для следующих за ними плотных слоев, что предотвращает дальнейшее переоснащение и .

Наконец, Dropout работает с наборами данных тестов речи TIMIT и набором данных Reuters RCV1, но здесь улучшение было намного меньше по сравнению с наборами данных зрения и речи.

Выпадение по сравнению с отсутствием отсева с другими регуляризаторами

Теперь, когда авторы знали, что выпадение хорошо масштабируется для решения множества задач машинного обучения, они исследовали его дополнительно: как он работает по сравнению с другими регуляризаторами?

Несколько методов регуляризатора были протестированы на предмет предотвращения переобучения:

  • Падение веса L2;
  • Лассо;
  • КЛ разреженный;
  • Регуляризация максимальных норм.

Srivastava et al. (2014) обнаружили, что в сочетании с регуляризацией максимальной нормы Dropout дает еще более низкие ошибки обобщения. Фактически, это обеспечило наименьшую из зарегистрированных ошибок, за ней — на некотором расстоянии — упорядочение Dropout + L2 и, наконец, другие.

Следовательно, при применении Dropout также может быть хорошей идеей одновременно выполнить регуляризацию максимальной нормы.

Когда лучше всего работает отсев? О коэффициенте отсева и размере набора данных

Еще один вопрос, на который они пытались ответить: соответствует ли показатель отсева (т.е.е., параметр \ (p \)) и / или размер набора данных влияют на производительность Dropout и нейронных сетей, к которым он подключен?

На вопрос нужно ответить да .

Какое наилучшее значение для \ (p \)?

Сначала параметр \ (p \). К настоящему времени мы можем вспомнить, что он настраивается и фактически должен быть настроен инженером по машинному обучению. Тот факт, что он настраивается, приводит к тем же ошибкам, что и фиксированная скорость обучения — не лучшая идея: вы просто не знаете, какой \ (p \) лучше всего подходит для данных.

Следовательно, утверждают авторы, выбор значения для \ (p \) должен выполняться некоторыми начальными тестами с набором проверки.

Они тоже сделали это — чтобы посмотреть, можно ли найти интересные паттерны.

И они действительно нашли такую ​​закономерность: во многих сценариях значение \ (p \ приблизительно 0,5 \) для скрытых слоев, по-видимому, дает лучшую производительность при применении Dropout (Srivastava et al., 2014). Это верно для всех слоев, кроме входного, где \ (p \) должно быть \ (\ приблизительно 1.0 \). Последнее, вероятно, имеет место, потому что входной слой принимает входные данные, и трудно найти закономерности, когда данные отбрасываются случайным образом.

Как работает Dropout в отношении размера набора данных?

По словам авторов, «хороший регуляризатор позволяет получить хорошую ошибку обобщения от моделей с большим количеством параметров, обученных на небольших наборах данных». То есть он действительно хорошо работает с данными, которых раньше не видел, даже при обучении с небольшими данными.

Чтобы выяснить, хорошо ли упорядочивается Dropout для различных размеров наборов данных, Srivastava et al. (2014) провели тесты с различными размерами набора данных MNIST. Размеры были следующими: «100, 500, 1K, 5K, 10K и 50K выбираются случайным образом из обучающей выборки MNIST» (Srivastava et al., 2014).

Мы помогаем вам с машинным обучением! 🧠

Блоги в MachineCurve обучают машинному обучению разработчиков. Подпишитесь на бесплатное обновление машинного обучения для MachineCurve сегодня! Вы узнаете новых вещей и лучше поймете концепции , которые вы уже знаете.

Мы отправляем электронные письма как минимум каждую пятницу. Добро пожаловать!

Регистрируясь, вы соглашаетесь с тем, что любая полученная вами информация может включать услуги и специальные предложения по электронной почте.

Авторы обнаружили, что существует компромисс между тем, когда отсев необходим, а когда он больше не нужен. Во-первых, чтобы охватить случай, когда набор данных чрезвычайно мал: даже Dropout не улучшает производительность в этом случае просто потому, что размер набора данных слишком мал. То же самое верно и для достаточно больших наборов данных: после этого исключение больше не улучшает модель, а наоборот, ее производительность ухудшается.

Следовательно, существует золотая середина, когда отсев необходим и когда разумно не использовать его (или увеличить размер набора данных). Согласно Srivastava et al. (2014), эвристика для определения этого размера отсутствует; скорее, это должно быть определено с помощью набора для проверки.

Гауссово выпадение: гауссовские переменные вместо переменных Бернулли

Мы напоминаем выше, что выпадение работает с переменными Бернулли, которые принимают 1 с вероятностью \ (p \) и 0, а остальные — \ (1 — p \).

Эту идею можно обобщить для умножения активаций на случайные величины из других распределений (Srivastava et al., 2014). В своей работе Шривастава и др. обнаружили, что гауссово распределение и, следовательно, гауссовские переменные работают так же хорошо — а может быть, даже лучше.

Применение гауссовых переменных может быть выполнено аналогичным образом: прореживание сетей во время обучения и использование взвешенных активаций во время тестирования и производства (как при обычном отключении). Однако авторы предпочитают использовать Gaussian Dropout иначе — i.е., мультипликативно. Вместо прореживания и взвешивания Gaussian Dropout взвешивается во время обучения, когда активированные значения, которые не отбрасываются, умножаются на \ (1 / p \) вместо \ (1 \) (с обычным Bernoulli Dropout). Во время тестирования они не изменяются. Это соответствует предыдущему сценарию.

Gaussian Dropout должен быть настроен некоторым \ (\ sigma \), который в экспериментах Шриваставы и др. Был установлен в \ (\ sqrt {(1-p) / p} \), где \ (p \) является конфигурацией варианта Бернулли (т. е. в наивных случаях \ (p \ приблизительно 0.5 \) для скрытых слоев и \ (\ приблизительно 1.0 \) для входного слоя).

Резюме

В этом сообщении блога мы рассмотрели переоснащение — и как его избежать с помощью Dropout. Посмотрев на то, что это такое, как это работает и , что это работает, мы обнаружили, что это интересный метод для применения в ваших моделях глубокого обучения.

Надеюсь, вы кое-что узнали сегодня — что-то полезное для ваших моделей машинного обучения 😀 Если вы узнали или у вас есть вопросы, не стесняйтесь оставлять комментарии ниже ⬇! По возможности я отвечу на ваши вопросы 😊

Спасибо за то, что прочитали MachineCurve сегодня, и желаю удачного инжиниринга! 😎

Список литературы

Шривастава, Н.

Добавить комментарий

Ваш адрес email не будет опубликован.