Компьютерное зрение: что это такое и как оно работает
Компьютерное зрение (Computer Vision, CV) это раздел машинного обучения, где компьютер работает с картинками и видео: находит объекты, считает их, читает текст, отслеживает движение. Работает оно так: изображение превращается в таблицу чисел, а обученная нейросеть находит в этих числах закономерности и выдаёт ответ, например «на кадре человек, вот его рамка». Модель тут только половина дела, вторая половина это данные и железо, на котором она должна работать в реальном времени.
CV занимает 13% ML-вакансий на hh и заметно отличается от остального ML. Разберём, как оно устроено и что это значит для работы.
Как работает компьютерное зрение
Для компьютера картинка это таблица чисел: яркость каждого пикселя. У цветного фото три таких таблицы, красная, зелёная и синяя. Снимок на 12 мегапикселей это 12 млн пикселей на 3 канала, то есть 36 млн чисел. Задача CV понять, что в них: кошка, трещина на детали или номер машины.
Как раньше и как сейчас
Раньше признаки придумывали руками: края, углы, переходы яркости. Инженер сам описывал, как выглядит объект, и на новых условиях всё ломалось.
Потом пришли свёрточные нейросети (CNN). Они учатся видеть сами: первые слои ловят линии, следующие формы, последние целые объекты.
Что такое свёртка на простом примере
Свёртка это маленький фильтр, который скользит по картинке и на каждом шаге считает взвешенную сумму пикселей. Возьмём одну строку пикселей, где тёмная область переходит в светлую, и фильтр из трёх чисел (-1, 0, 1):
| Окно пикселей | Расчёт | Результат |
|---|---|---|
| 10, 10, 10 | -10 + 0 + 10 | 0 |
| 10, 10, 200 | -10 + 0 + 200 | 190 |
| 10, 200, 200 | -10 + 0 + 200 | 190 |
| 200, 200, 200 | -200 + 0 + 200 | 0 |
На ровном месте выходит ноль, а на границе большое число. Это детектор вертикальных краёв. В нейросети числа в фильтрах никто не задаёт: сеть подбирает их сама при обучении, и таких фильтров тысячи.
Кроме свёрточных сетей сейчас используют Vision Transformer (ViT), где картинку режут на кусочки и обрабатывают ими как словами в тексте. Логику трансформера мы разбирали в статье про NLP.
Как обучают модель
Почти никто не учит модель с нуля. Берут готовую, которая уже видела миллионы картинок, и дообучают на своих данных. Нижние слои, которые ловят линии и формы, подходят почти для любой задачи, поэтому своих данных нужно гораздо меньше.
Вот так выглядит полный цикл на YOLO, популярной модели для детекции. Код на библиотеке ultralytics:
from ultralytics import YOLO
# Берём модель, обученную на датасете COCO
model = YOLO("yolo11n.pt")
# Дообучаем. coco8.yaml это учебный датасет из 8 картинок, вместо него подставь свой
model.train(data="coco8.yaml", epochs=10, imgsz=640)
# Смотрим качество на валидации
metrics = model.val()
print(metrics.box.map50, metrics.box.map)
# Запускаем на картинке и сохраняем результат с рамками
results = model("https://ultralytics.com/images/bus.jpg")
results[0].save("result.jpg")
# Экспортируем в ONNX, чтобы запускать не только из Python
model.export(format="onnx")
Если собираешься использовать ultralytics в коммерческом продукте, проверь лицензию: библиотека распространяется под AGPL-3.0.
Какие задачи решает компьютерное зрение
| Задача | Что выдаёт модель | Пример |
|---|---|---|
| Классификация | Метка на всю картинку | Деталь с браком или нормальная |
| Детекция | Рамки вокруг объектов | Люди, машины, товары на полке |
| Сегментация | Класс для каждого пикселя | Где дорога, где тротуар, где пешеход |
| Трекинг | Один объект от кадра к кадру | Сколько людей зашло в магазин |
| OCR | Распознанный текст | Номер машины, скан документа, чек |
| Генерация | Новая картинка | Рисунок по текстовому описанию |
Качество детекции меряют через IoU (Intersection over Union): площадь пересечения предсказанной и настоящей рамок, делённая на площадь их объединения. Пример: две рамки 100 на 100 пикселей сдвинуты по горизонтали на 20. Пересечение 80 × 100 = 8000, объединение 10 000 + 10 000 - 8000 = 12 000, IoU = 0,67.
def iou(a, b):
# Рамка задаётся как (x1, y1, x2, y2)
x1, y1 = max(a[0], b[0]), max(a[1], b[1])
x2, y2 = min(a[2], b[2]), min(a[3], b[3])
inter = max(0, x2 - x1) * max(0, y2 - y1)
area_a = (a[2] - a[0]) * (a[3] - a[1])
area_b = (b[2] - b[0]) * (b[3] - b[1])
return inter / (area_a + area_b - inter)
print(round(iou((0, 0, 100, 100), (20, 0, 120, 100)), 2)) # 0.67
Метрика mAP, которую печатает пример выше, строится поверх IoU: она показывает качество детекции сразу по всем классам. map50 считает рамку верной при IoU от 0,5, а map усредняет результат по более строгим порогам.
Где применяется компьютерное зрение
- Производство. Камера над конвейером ловит брак.
- Беспилотники и роботы. Доставка, такси, склады.
- Ритейл. Что стоит на полке, какой товар на кассе самообслуживания.
- Медицина. Подсказка врачу, куда смотреть на снимке. Окончательное решение остаётся за врачом.
- Город и безопасность. Распознавание номеров, подсчёт потоков.
- Банки. Распознать паспорт и проверить, что на селфи тот же человек.
По нашей выгрузке вакансий с hh за октябрь 2026 CV ищут в IT-компаниях (20 вакансий), банках и финансах (15), промышленности и энергетике (14), госсекторе, науке и образовании (12). На промышленность и госсектор у CV приходится больше четверти вакансий, у NLP и LLM около 12%.
В чём главная сложность
Основные проблемы лежат вокруг модели.
Данные. Нужны тысячи размеченных картинок, и кто-то должен обвести каждую трещину. На заводе свет, ракурс и пыль отличаются от датасета, поэтому модель, которая отлично работала в ноутбуке, на складе начинает видеть хуже. Такой сдвиг данных частая причина провалов при внедрении.
Железо. Модель часто должна работать на камере или маленьком компьютере в реальном времени. При 30 кадрах в секунду на кадр остаётся 33 миллисекунды, и в них надо уместить всю обработку. Поэтому модель сжимают и ускоряют (ONNX, TensorRT), а куски кода пишут на C++.
Частые ошибки новичков отсюда и растут:
- Обучить модель и мерить качество на похожих кадрах из того же видео. Цифры выходят красивые, на новом объекте всё падает.
- Не смотреть глазами, где модель ошибается. Половина проблем видна сразу на картинках с ошибками.
- Считать только точность и забыть про скорость на целевом железе.
- Гнаться за новой архитектурой, когда проблема в разметке.
Чем занят CV-инженер
CV-инженер (он же инженер или специалист по компьютерному зрению, Computer Vision Engineer) собирает и размечает данные, дообучает модели, ускоряет их под конкретное железо и внедряет: на камеру, на робота, в мобильное приложение. Бывает, едет на объект разбираться, почему модель видит хуже, чем на тестах.
Компьютерное зрение: вакансии в цифрах
Мы разобрали открытые ML-вакансии на hh.ru, опубликованные с 25 сентября по 25 октября 2026. На CV пришлось 96 вакансий из 751. Навыки в требованиях:
| Навык | Доля вакансий CV |
|---|---|
| Python | 82% |
| PyTorch | 61% |
| OpenCV | 53% |
| C++ | 38% |
| Трекинг, видеопотоки | 35% |
| Linux | 32% |
| YOLO, детекция | 31% |
| TensorRT, ONNX | 28% |
| Docker | 27% |
| GPU, CUDA | 19% |
Главное здесь C++. Мы сравнили требования с 63 резюме CV-специалистов, откликнувшихся на наши тестовые вакансии. C++ требуют 38% вакансий, а указывают только 30% кандидатов. Это единственный навык в нашем сравнении, где спрос оказался выше предложения. У остальных наоборот: кандидаты пишут их в резюме чаще, чем просят работодатели. Если хочешь выделиться в CV, учи C++ и оптимизацию под железо.
Важно знать и об ограничениях:
- Удалёнка. Возможна только в 14% CV-вакансий, по всему ML это 37%. CV привязан к камерам и железу.
- География. Среди CV-кандидатов в Москве живёт 51%, по всему ML 76%. Направление менее столичное.
- Закрытие вакансий. 23% CV-вакансий висят месяц и дольше.
Если сравниваешь направления, посмотри также классический ML и NLP, где вакансий больше и удалёнка встречается чаще.
Стажировка computer vision: что есть на самом деле
За месяц на hh мы нашли 45 junior-вакансий на всё ML, из них 11 в CV. Стажировок среди всех 45 было 19, отдельно по CV мы их не считали. Это немного, поэтому смотри и сайты компаний: часть больших игроков нанимает мимо hh.
Что просят от джунов по всему ML: Python 87%, матстат 40%, SQL 33%, LLM 31%, PyTorch и OpenCV по 24%, YOLO 20%.
Конкретный пример с официальной страницы ML-стажировки Яндекса (проверено в ноябре 2026). Набор указан открытым, отдельной CV-стажировки там нет, но есть задача с данными с камер, лидаров и радаров для планирования движения автомобиля. Условия и отбор:
- Срок 3–6 месяцев, 20, 30 или 40 часов в неделю. Города: Москва, Санкт-Петербург, Минск, удалённый формат только в редких случаях.
- Ждут знание алгоритмов и структур данных, Python или C++, методов ML и теории глубокого обучения. Пет-проекты с нейросетями идут плюсом. Для работы с картинками желательно знать свёрточные сети.
- Этапы: тест в Яндекс Контесте (две задачи на алгоритмы и DL, 6 часов), секция на ML и код около часа, секция на алгоритмы, встречи с командами.
Яндекс также сообщал о летнем кампусе 2026 года, где среди тем было компьютерное зрение, а лучших выпускников приглашали на стажировку. Набор на него шёл до апреля, следующий ищи на сайте компании. Как устроен отбор в другой большой компании, смотри в статье про стажировку в Т-Банке.
Компьютерное зрение для начинающих: с чего начать
- База ML и нейросетей. Если её нет, начни со статьи что такое машинное обучение.
- PyTorch и OpenCV как основной инструмент.
- Дообучи YOLO на своём датасете: от разметки до работающего видео. Сними данные сам, так ты столкнёшься со всеми настоящими проблемами.
- Экспортируй модель в ONNX и замерь скорость на обычном процессоре, а лучше на чём-то маленьком вроде Raspberry Pi или Jetson.
- Подтяни C++. В CV его просят чаще, чем где-либо ещё в ML.
Из материалов часто советуют лекции Stanford CS231n и книгу Ричарда Шелиски «Computer Vision: Algorithms and Applications».
Такой проект с замером скорости и ошибками с реальных кадров выглядит на собесе сильнее, чем ещё один ноутбук с готовым датасетом. Как упаковать проект в резюме и пройти отбор, мы разбираем на странице про поиск работы в ML.
Что спрашивают про нейросети на собесах
Ниже общие вопросы про нейросети с реальных собесов. Они важны и для CV.
Чем отличаются BatchNorm, LayerNorm и InstanceNorm? Спрашивали в Авито. BatchNorm нормализует каждый признак по всему батчу, это классика для свёрточных сетей. LayerNorm нормализует внутри одного объекта по всем его признакам и не зависит от размера батча, поэтому его используют в трансформерах. InstanceNorm работает отдельно по каждому каналу каждой картинки, он встречается в задачах переноса стиля.
Какие есть методы оптимизации в нейросетях? Встречается в Авито и Яндексе. Начни с SGD, добавь momentum, который сглаживает шаги. Затем Adam, у которого для каждого параметра свой адаптивный шаг. Частый выбор на практике AdamW, где регуляризация весов реализована корректнее.
Какие методы регуляризации нейросетей ты знаешь? Тоже Авито и Яндекс. Dropout, регуляризация весов, ранняя остановка. В CV обязательно назови аугментации: повороты, кропы, смена яркости. Это самый простой способ подготовить модель к условиям настоящей камеры.
Частые вопросы
Компьютерное зрение это нейросеть?
Чаще всего да, большинство современных решений строится на нейросетях. Но это название области, и в неё входят и классические методы, например фильтры и поиск контуров из OpenCV. Для простых задач при стабильном освещении такие методы до сих пор работают.
Нужен ли C++ для компьютерного зрения?
Для начала нет: обучение и эксперименты идут на Python. C++ нужен при внедрении на камеры и маленькие устройства, и в наших данных его просят в 38% вакансий CV. Это хорошая точка отличия, потому что кандидатов с C++ заметно не хватает.
Можно ли работать в CV удалённо?
Можно, но таких вакансий мало: 14% против 37% по всему ML в нашем срезе за октябрь 2026. Причина в привязке к камерам, железу и производству. Если удалёнка принципиальна, учти это при выборе направления.
Как найти стажировку в компьютерном зрении?
Отдельных CV-стажировок немного, поэтому смотри общие ML-стажировки и спрашивай про команды, которые работают с картинками. Подготовка та же: алгоритмы, база ML, свёрточные сети и проект с дообученной моделью. На hh проверяй ещё и junior-вакансии.
Что такое компьютерное зрение в медицине?
Это модели, которые анализируют рентген, КТ и другие снимки и подсказывают врачу, куда смотреть. Чаще всего это классификация и сегментация. Главная особенность в том, что данных мало, разметка дорогая и нужна проверка врачами.