Руководство по карточкам моделей

Карточки моделей представляют собой важный документационный и прозрачный фреймворк для моделей машинного обучения. Мы считаем, что карточки моделей могут выполнять роль границных объектов — единого артефакта, доступного пользователям с разным бэкграундом и целями при взаимодействии с карточками моделей, включая разработчиков, студентов, лиц, принимающих решения, этиков, людей, на которых влияют модели машинного обучения, и других заинтересованных сторон. Мы признаём, что создание единого артефакта для столь многогранных целей является сложной задачей и требует тщательного учёта потенциальных пользователей и сценариев использования. Наша цель в составе научной команды Hugging Face на протяжении последних нескольких месяцев заключалась в том, чтобы помочь реализовать карточки моделей в соответствии с этим видением, учитывая эти сложности как в Hugging Face, так и в более широком сообществе ML.

Для достижения этой цели важно признать вдумчивые и целенаправленные усилия, благодаря которым карточки моделей превратились в то, что они представляют собой сегодня: от внедрения карточек моделей как стандартной практики во многих крупных организациях до разработки сложных инструментов для размещения и генерации карточек моделей. С момента предложения карточек моделей Митчелл и соавторами (2018) ландшафт документации по машинному обучению расширился и эволюционировал. Было предложено и разработано множество инструментов и шаблонов документации для данных, моделей и систем машинного обучения, что отражает невероятную работу сотен исследователей, представителей затронутых сообществ, сторонников и других заинтересованных сторон. Важные дискуссии о связи между документацией по машинному обучению и теориями изменений в области ответственного ИИ породили продолжительные важные обсуждения, а иногда и расхождения во мнениях. Мы также признаём проблемы, с которыми сталкиваются карточки моделей, которые в некотором смысле отражают проблемы документации по машинному обучению и усилий в области ответственного ИИ в целом, и видим возможности впереди, чтобы помочь сформировать как сами карточки моделей, так и экосистемы, в которых они функционируют, в ближайшие месяцы и годы.

Наша работа представляет взгляд на то, где, по нашему мнению, находятся модельные карточки сейчас и куда они могут развиваться в будущем — как в Hugging Face, так и за её пределами. Эта работа является «снимком» текущего состояния модельных карточек, основанным на анализе множества способов, которыми были реализованы артефакты документации для ML. Она отражает одну из нескольких точек зрения как на текущее состояние, так и на более амбициозные видения модельных карточек. В этом блоге мы подводим итоги нашей работы, включая обсуждение более широкой и растущей экосистемы инструментов документации для ML, разнообразной аудитории и мнений о модельных карточках, а также потенциальных новых шаблонов для их содержания. Мы также исследуем и развиваем модельные карточки для ML-моделей в контексте Hugging Face Hub, используя возможности Hub для совместного создания, обсуждения и распространения модельных карточек для ML-моделей.

С выходом этого руководства мы представляем несколько новых ресурсов и связываем их с предыдущими работами по Model Cards:

1) Обновлённый шаблон Model Card, опубликованный в файле modelcard_template.md библиотеки huggingface_hub, объединяющий работу над Model Card в академической среде и в индустрии.

2) Шаблон карточки модели с аннотациями, в котором подробно описано, как заполнить карточку.

3) Инструмент для создания карточек моделей, который упрощает создание карточек без необходимости программирования и помогает командам распределять работу над различными разделами.

4) Исследование пользователей по использованию Model Card на Hugging Face

5) Анализ ситуации и обзор литературы по актуальному состоянию в области документирования моделей.

Мы также включили Приложение с дополнительными деталями по этой работе.

---

Цитирование: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub