Обучение и происходит по одной картинке.
То есть если размер партии = 1 картинка, то после просмотра 1 картинки полученные ошибки сразу запускают в backprop, чтобы изменить весы сети.
Если размер партии 10, то картинки просматриваются, но ошибка суммируется отдельно, и отдается в backprop только в конце. То есть твоя сеть смотрит 10 картинок не обучаясь, но потом суммарная ошибка применяется.