Яндекс Фотографии: как нейросети изменили поиск по картинкам

Эволюция поиска по изображениям в Яндексе

В 2013 году Яндекс впервые запустил поиск по картинкам, позволяя загружать изображение и находить похожие. За последние годы благодаря компьютерному зрению и машинному обучению функционал значительно расширился. Сегодня нейросети Яндекса способны не только находить визуально похожие изображения, но и распознавать объекты, текст, растения, а также анализировать контекст страницы. В 2026 году компания внедрила мультимодальную технологию, которая одновременно анализирует картинку и сопровождающий её текст, что повысило точность поиска, особенно при несоответствии описания и изображения.

Поиск товаров по фотографии: от интерьера до одежды

Одна из самых востребованных функций — поиск товаров по фото. Загрузив снимок понравившегося предмета интерьера или одежды, пользователь получает ссылки на похожие товары в интернет-магазинах: Яндекс.Маркет, Ozon, Lamoda, Wildberries, AliExpress, IKEA. Алгоритм отдаёт приоритет максимально похожим позициям, которые есть в наличии. Для качественного распознавания объект должен занимать не менее 10% площади изображения и быть размером от 50×50 пикселей. Фон тоже влияет на ранжирование: если два товара похожи, но фон совпадает только с одним, он будет выше в выдаче. Нейросеть обучали сближать фото товаров на белом фоне и снимки с обычного телефона, чтобы результаты были точнее.

Распознавание текста на изображениях (OCR)

Технология оптического распознавания символов (OCR) позволяет извлекать текст из картинок. Это полезно, когда текст прислан в виде изображения, а не документа. Загрузив такое фото, можно скопировать текст, проверить его на уникальность, перевести в Яндекс.Переводчике или отредактировать. Алгоритмы распознают текст даже на перевёрнутых изображениях, а также выделяют ссылки, номера телефонов и email-адреса — по ним можно сразу перейти или позвонить с мобильного. Поддерживается 47 языков, включая кириллицу, латиницу, китайский, японский, корейский, арабский, иврит и другие.

Проверка подлинности фото: защита от мошенников

Яндекс.Картинки помогают проверить, не используется ли чужая фотография в профиле на сайте знакомств или в объявлении о продаже. Достаточно загрузить подозрительное изображение — поиск найдёт все страницы в интернете, где оно встречается, включая открытые профили в соцсетях и на сайтах знакомств. Важно: индексируются только страницы, доступные незарегистрированным пользователям и не запрещённые к индексации. Для большей уверенности рекомендуется проверять несколько снимков.

Определение растений по фото

Функция распознавания растений позволяет узнать название цветка или дерева по фотографии. Пользователи часто снимают домашние растения или уличные деревья (липы, берёзы, дубы). Алгоритм не только определяет вид, но и даёт ссылки на товары (например, на покупку такого же растения). Это может быть полезно для безопасности: например, алоэ и герань вызывают расстройство пищеварения у кошек, а бегония и декабрист — отёк гортани. Зная название, можно проверить, не ядовито ли растение для детей или домашних питомцев.

Мультимодальный анализ: как нейросеть видит фото и текст одновременно

В 2026 году Яндекс внедрил мультимодальную технологию, которая анализирует изображение и текст на странице совместно, а не по отдельности. Раньше система могла ошибаться, если подпись к картинке не соответствовала её содержанию. Теперь нейросеть обучается на большой модели, а затем на её базе создаются компактные модели для разных этапов обработки. Ресурсоёмкие операции выполняются заранее, поэтому скорость поиска не снижается. По данным компании, доля релевантных изображений в верхней части выдачи заметно увеличилась.

Редактирование изображений и создание открыток

На мобильных устройствах прямо в Яндекс.Картинках доступен встроенный редактор. Можно добавлять надписи, рисовать, обрезать изображения. Эта функция особенно популярна для создания поздравлений и открыток — в праздничные дни частота её использования возрастает в 2–3 раза. Редактор интегрирован в поиск, что позволяет сразу обработать найденное изображение без перехода в сторонние приложения.

Умные подсказки и уточнение запросов

Если пользователь не знает точного названия, достаточно ввести ключевое слово, например «жёлтый диван» или «синие шорты». Поиск покажет популярные товары из Яндекс.Маркета в первой строке, а ниже — все остальные результаты. Рядом с картинкой сразу отображаются название, цена и ссылка на магазин. При просмотре изображения можно увидеть описание и информацию о наличии. Кроме того, поиск предлагает уточняющие слова и связанные тематики, чтобы быстрее сузить выдачу.

Практические ограничения и советы по использованию

Для наилучших результатов при поиске по фото объект должен занимать не менее 10% площади и быть размером от 50×50 пикселей. Фон влияет на ранжирование, поэтому старайтесь обрезать лишнее. Если алгоритм не распознал все объекты, можно выделить нужную часть изображения вручную. Для проверки подлинности фото проверяйте несколько снимков, а не один. При распознавании текста учитывайте, что поддерживаются 47 языков, но качество может варьироваться в зависимости от шрифта и качества изображения. Мультимодальный анализ работает в реальном времени, но для сложных запросов может потребоваться больше времени.

Вопросы и ответы