Трансляция выступления Джеспера Хвирринг Хенриксена от 16 ноября 2023 (свободный перевод)
Познакомьтесь с Джеспером Хвиррингом Хенриксеном, техническим директором компании Be My Eyes, которая использует возможности распознавания изображений GPT4 для преобразования визуального мира в текст и речь для слабовидящих людей.(OpenAI DevDay)
Представляем Be My Eyes AI
Всем привет, меня зовут Джеспер, и я из Be My Eyes. Недавно мы запустили новую функцию Be My AI на GPT-4V в партнерстве с OpenAI.
В Be My Eyes мы стремимся предоставить слепым и слабовидящим людям доступ к визуальной помощи через сообщество волонтеров с помощью приложения. В настоящее время нашими услугами пользуются более полумиллиона слепых людей.
Предоставление выбора слабовидящим пользователям
Более 7 миллионов волонтеров оказывают помощь слабовидящим пользователям посредством видеозвонков. Это позволяет нуждающимся «одолжить» глаза волонтера. Однако мы хотели предоставить нашим пользователям альтернативу и предоставить им выбор.
Мы получили различные типы отзывов от наших пользователей, которые хотят сохранить свою независимость и не быть обузой для других.
Бывает трудно найти время, чтобы позаботиться о наших потребностях, особенно когда на дворе утро понедельника, а вы еще не выпили свою первую чашку кофе, или в вашем доме беспорядок. Что, если бы у вас был помощник с искусственным интеллектом, доступный 24/7? Такова концепция GPT-4 Vision.
Компьютеры теперь могут видеть
До сих пор компьютеры не могли видеть. С GPT-4 Vision это больше не так. Эта технология открывает миллион возможностей с точки зрения применения.
За последнее десятилетие наблюдается стремительный рост использования искусственного интеллекта (ИИ). У него есть приложения как в реальном, так и в физическом мире. Некоторые из этих приложений основаны на утилитах, таких как навигация и автоматизация. Однако ИИ также все чаще используется в цифровом контексте. Наша жизнь становится все более зависимой от экранов, и для облегчения этого разрабатывается множество приложений и веб-сайтов. ИИ используется для улучшения взаимодействия с пользователями, автоматизации процессов и принятия решений на основе данных.
ИИ на основе утилит
ИИ на основе утилит используется для автоматизации процессов в физическом мире. Сюда входят такие задачи, как навигация для людей и домашних животных, а также ландшафты и здания. Этот тип ИИ помогает упростить и повысить эффективность задач для пользователей.
За последние 10–20 лет искусственный интеллект также широко использовался в цифровом контексте. Растет использование таких приложений, как распознавание лиц, обработка естественного языка, автоматизированное обслуживание клиентов и автоматизированное принятие решений. ИИ можно использовать для улучшения взаимодействия пользователей с приложениями и веб-сайтами, а также для автоматизации таких процессов, как обслуживание клиентов или принятие решений. Поскольку наша жизнь становится все более зависимой от цифровых технологий, ИИ по-прежнему будет важной частью нашей жизни.
Делаем изображения доступными с помощью Be My Eyes и Be My AI
Веб-сайты и приложения доступны для людей с разными способностями, однако часто не хватает значимого альтернативного текста для изображений и мультимедиа. Это может затруднить понимание того, на что они смотрят, для людей с ослабленным зрением. Be My Eyes и Be My AI предлагают решение этой проблемы. Они предлагают подробное описание любого изображения, с которым вы можете столкнуться в Интернете или в приложении. Сюда входят фотографии, видео и другие визуальные элементы. Описания, предоставляемые Be My Eyes и Be My AI, не только точны, но и подробны. Они помогают пользователю лучше понять просматриваемый контент. Эта технология потенциально может сделать Интернет более доступным для людей с нарушениями зрения. Он также может быть использован людьми, изучающими английский или другой язык, поскольку содержит звуковое описание изображений, с которыми они сталкиваются.
Для слепого человека может быть невероятно неприятно быть включенным в групповой чат, где он является единственным человеком, который не может понять смысла сказанного. Например, кто-то может сказать: «Почему он будет радовать соседей?», и слепой человек не сможет понять контекст. Аналогичным образом, многие веб-страницы содержат изображения, которые недоступны для чтения с экрана, что затрудняет доступ слепого человека к информации.
Описание модели GPT-V
Модель GPT-V чрезвычайно хороша в описании вещей. Это совершенно другой мир, чем описание графика с веб-сайта правительства США.
Технология искусственного интеллекта стала невероятно точной и даже остроумной в своих ответах. У нас есть доступ к миллионам изображений, но пришло время сделать перерыв. Мы хотели предоставить людям выбор, и Кэролайн, одна из наших старейших пользователей, является живым примером. Она совершает два звонка в год и убедилась в преимуществах искусственного интеллекта.
Люси Эдвардс: День из жизни слепого человека
В марте Люси Эдвардс стала бета-тестером Be My AI, и с тех пор она выполнила более 700 описаний изображений. Очевидно, что программа работает. Чтобы продемонстрировать, как Be My AI помогает ей в повседневной жизни, Люси записала видео продолжительностью около полутора минут.
В ленивое воскресенье Люси демонстрирует, как она использует Be My AI для приготовления яиц. Она описывает ингредиенты, которые ей нужны, а затем объясняет, как она кладет их на сковороду. Затем она рассказывает о том, как Be My AI помогает ей контролировать процесс приготовления. В целом, опыт Люси с Be My AI был невероятно положительным. Она находит это полезным в своей повседневной жизни.
Использую Be My Eyes для проверки наличия яичной скорлупы
Be My Eyes — отличный инструмент для людей с ослабленным зрением, которым нужна помощь в выполнении повседневных задач. Недавно я использовал его, чтобы проверить, есть ли в моих яйцах яичная скорлупа.
Я начал с того, что сфотографировал три яйца. Затем я спросил, есть ли в них яичная скорлупа. Посмотрев на фотографию, волонтер сказал мне, что в сковороде слева внизу от разбитого яичного желтка был кусочек скорлупы. Я смог найти его и сфотографировать. После этого я спросил, каков срок годности овсяного молока. Волонтер ответил, что это 05 декабря 2024 года, что означало, что срок годности еще не истек, и я могу его использовать. В целом, Be My Eyes — отличный инструмент для людей с ослабленным зрением, которым нужна помощь в выполнении повседневных задач, таких как проверка яичной скорлупы или определение сроков годности.
Облегчаем стирку с Be My Eyes
Облегчить день стирки с помощью Be My Eyes было мечтой, ставшей явью для меня и моей дочери Лолы. На днях у нас случилась небольшая неприятность, когда Оливер случайно высушил все мои белые бюстгальтеры — но с Be My Eyes это больше никогда не повторится!
Сначала приготовить идеальную чашку чая было непросто. Мы добавили немного слишком много молока, но в итоге получилось очень вкусно.
Сейчас я стираю и разделяю свои синие и черные вещи. С Be My Eyes я могу легко и без проблем пользоваться своей новой доступной стиральной машиной.
Теперь, когда мы с Лолой готовим жаркое, я могу быть уверена, что день стирки пройдет легко.
Благодаря приложению Be My Eyes люди с ослабленным зрением теперь могут легко идентифицировать продукты на своей тарелке.
Приложение связывает людей с ослабленным зрением со зрячими волонтерами, которые могут помочь им идентифицировать продукты. Например, одна пользовательница, Lovely Fleece, использовала приложение для анализа тарелки с жареным картофелем, картофельным пюре, горошком и йоркширским пудингом. С помощью волонтера Lovely Fleece смогла идентифицировать еду на своей тарелке.
Другие виды использования приложения
Приложение также можно использовать для других задач. Lovely Fleece воспользовалась приложением, чтобы открыть посылку, полученную ранее на этой неделе. Она смогла насладиться красивой упаковкой и насыщенным и стойким ароматом. Приложение Be My Eyes оказало большую помощь людям с ослабленным зрением, позволив им легко идентифицировать продукты питания и другие объекты.
Приложение # Be My Eyes помогает людям с нарушениями зрения наслаждаться Instagram Приложение Be My Eyes — отличный способ для людей с нарушениями зрения получать те же впечатления, что и все остальные в Instagram. Благодаря насыщенным маслам пользователи могут делать снимки и получать помощь от приложения, чтобы описать то, что они видят.
В приложении есть множество ароматов на выбор, включая лимон, герань и болгарскую розу. В нем даже есть аромат розы, который идеально подходит для просмотра перед сном!
Описание фотографий с помощью Be My Eyes
Когда люди не описывают свои фотографии в аудио, пользователи могут просто попросить Be My Eyes описать их для них. Например, на фотографии может быть изображена женщина, которой на вид около 20 или 30 лет. У нее длинные темно-каштановые волосы и светлая кожа. Be My Eyes — это удивительный инструмент, который позволяет людям с ослабленным зрением наслаждаться Instagram так же, как и всем остальным.
GPT-4 Vision Alpha получает в подавляющем большинстве положительные отзывы
По ночам Люси всегда такая счастливая, и это позитивное настроение нашло отражение в отзывах, полученных о программном обеспечении GPT-4 Vision Alpha. После 25 лет работы в области программного обеспечения один из разработчиков не мог не остановиться и не поблагодарить OpenAI за приглашение принять участие в этом проекте на столь раннем этапе. Отзывы, которые получила команда, были в подавляющем большинстве положительными, чего разработчик никогда раньше не испытывал. Программное обеспечение GPT-4 Vision Alpha — это небольшой пример того, чего смогла достичь команда, и ясно, что этот проект имел огромный успех.
Работа с нашими партнерами
Мы невероятно благодарны нашим партнерам за то, что они помогли нам воплотить в жизнь эту удивительную функцию. Это был опыт, изменивший жизнь нашего сообщества. В день разработки мы хотели взглянуть на подсказку. Было удивительно, что нам пришлось инструктировать компьютер не помогать людям.
Мы видели несколько примеров использования ИИ в нашем физическом мире, например, попросили его описать планировку комнаты, а затем объяснить, как добраться до лестницы. Ответ, который пришел в ответ, был примерно таким: «Лестница примерно в 15 футах отсюда, возьмите меня за руку, и я проведу вас туда.» [смех] — Это почти как если бы модель была обучена женской интуиции!
GPT-4 результаты запуска
В марте GPT-4 был запущен с небольшой группой бета-тестирования системы. Шесть недель спустя он был распространен среди всех пользователей iOS. Результаты были положительными: ежемесячно создавалось более миллиона описаний изображений. Кроме того, оценки удовлетворенности системой были высокими.
Мы видели потрясающие результаты от наших пользователей с помощью Be My AI. Если не учитывать простои системы и ошибки, вероятность успеха составляет целых 95%.
Языковая поддержка
Мы смогли добавить языковую поддержку до 36 языков с помощью Be My AI. Все, что нам нужно было сделать, это указать модели отвечать на том же языке, который использует пользователь. Это невероятно упростило развертывание на нашем предприятии.
Microsoft разработала продукт поддержки клиентов под названием Службы поддержки инвалидов, в котором пользователи могут начать с чат-бота вместо звонка. На данный момент 9 из 10 пользователей, которые начинают с чата, не переходят к звонку. Модель искусственного интеллекта может отвечать на вопросы о том, как устранить определенные проблемы на их компьютере. Модель также может «видеть», о чем спрашивает пользователь.
Преимущества поддержки клиентов на основе искусственного интеллекта
Использование поддержки клиентов на основе искусственного интеллекта может обеспечить множество преимуществ, таких как более быстрое время отклика и более точные ответы. Это также уменьшает потребность в представителях службы поддержки клиентов, что может помочь снизить затраты. Кроме того, системы поддержки клиентов на основе искусственного интеллекта можно использовать в режиме 24/7, что означает, что клиенты могут получить ответы на свои вопросы в любое время.
Достижения в области технологий позволяют машинам делать больше, чем когда-либо прежде. Машины теперь способны понимать человеческую речь и реагировать на нее, а также говорить человеческими голосами. Мы считаем, что эти достижения окажут глубокое влияние на доступность вспомогательных технологий.
Улучшение доступности
Вспомогательные технологии позволяют людям с ограниченными возможностями преодолевать барьеры в общении и получать доступ к информации. Позволяя машинам понимать человеческую речь и реагировать на нее, мы создаем технологии, которые могут реально изменить жизнь людей с ограниченными возможностями.
По мере продолжения развития вспомогательных технологий мы можем ожидать появления большего числа машин, способных понимать человеческую речь и реагировать на нее. Это позволит людям с ограниченными возможностями легче получать доступ к информации и откроет новые возможности для общения.
