Сглаживание краев выделенной области с помощью алгоритмов сглаживания и растушевки
Сглаживание границ выделенной области с помощью алгоритма сглаживания
Острые края выделенной области можно смягчить с помощью алгоритмов сглаживания и растушевки. Параметр «Сглаживание» выравнивает зубчатые границы выделенной области и обеспечивает плавный переход между пикселями границы выделения и пикселями фона. Так как изменяются только пиксели на краях, то детализация изображения не ухудшается. Сглаживание полезно при вырезании, копировании и вставке выделений во время создания коллажей.
Флажок «Сглаживание» можно установить при работе с инструментами «Лассо», «Полигональное лассо», «Магнитное лассо», «Овальная область» и инструментом «Волшебная палочка». Чтобы получить сглаженные края выделения, флажок «Сглаживание» нужно установить до создания выделения, алгоритм сглаживания нельзя применить к имеющейся выделенной области.
В рабочей среде «Редактирование» выберите инструмент «Лассо», «Полигональное лассо», «Магнитное лассо», «Овальная область» или «Волшебная палочка».
Закругленные углы в Фотошоп

В Фотошоп для того, чтобы закруглить углы, нет специального фильтра, как например в программе Иллюстратор, в которой для этого достаточно воспользоваться вкладкой меню Effect > Stylize и выбрать команду Rounded Corners.
В этом Фотошоп уроке я покажу Вам несколько несложных приёмов, которые помогут Вам закруглить углы любых растровых объектов.
Создайте новый холст и перейдите к инструменту Произвольная фигура (Custom Shape Tool), нажав клавишу (U). В настройках этого инструмента из списка произвольных фигур кликните по фигуре со звездой и образуйте её в центре холста.

На слое со звездой щёлкните правой кнопкой мыши и из контекстного меню выберите опцию Rasterize Layer (Растрировать слой).

После этого перейдите Filter > Blur (Фильтр — Размытие) и выберите Gaussian Blur (Размытие по Гауссу). Значение радиуса для размытия установите в зависимости от размера звезды и желаемого результата.

Создайте выделение для звезды (Ctrl + клик правой кнопкой мыши по миниатюре слоя со звездочкой). Далее нажмите Ctrl + Alt + R для выбора инструмента Refine Edge (Утончить край) и установите значения, подобно скриншоту ниже. C такими параметрами, как Feather (Растушевка) и Smmoth (Сглаживание) вы можете поэкспериментировать, но значение для Контрастности должно оставаться 100%.

На новом слое заполните выделение цветом оригинальной фигуры.

Добавьте к нему маску и углы вашей фигуры закруглятся.
Примечание: чтобы увидеть результат скругления углов, необходимо убрать видимость нижнего слоя с фигурой.

Таким образом скруглять углы можно не только у различных фигур, но и у букв.

Закруглить углы в Фотошоп можно также при помощи этого экшена.
Ссылка на источник урока.
Варианты рисования прямоугольника и изменения обводки
Узнайте, как в Photoshop работать с инструментом «Прямоугольник».
Рисование прямоугольника
Инструмент «Прямоугольник» позволяет рисовать прямоугольники и прямоугольники со скругленными углами на холсте.
Выбор инструмента «Прямоугольник»

На панели инструментов щелкните и удерживайте значок группы инструментов Фигура (), чтобы вызвать различные варианты инструмента «Фигура». Выберите инструмент Прямоугольник .
Настройте свойства фигуры инструмента «Прямоугольник»


На панели параметров инструментов группы «Фигура» можно задать следующие настройки:
- «Режим»: задайте режим для инструмента «Прямоугольник» — «Фигура», «Контур» и «Пиксели».
- «Заливка»: выберите цвет заливки прямоугольной фигуры.
- «Обводка»: выберите цвет, ширину и тип обводки фигуры.
- «Ширина обводки»: вручную укажите ширину обводки прямоугольника.
- Stroke type (Тип обводки): выберите тип обводки для построения прямоугольника.
- Shape W&H (Ш и В фигуры): вручную задайте ширину и высоту фигуры.
- «Операции с контуром»: используйте операции с контуром для настройки взаимодействия нарисованных прямоугольников друг с другом.
- «Выравнивание контура»: используйте этот параметр для выравнивания и распределения прямоугольников.
- «Упорядочение контура»: используйте этот параметр для настройки порядка расположения создаваемых прямоугольников.
- Дополнительные параметры фигур и контуров: щелкните значок шестеренки () для доступа к дополнительным параметрам прямоугольных фигур и контуров, чтобы задать такие атрибуты, как ширина и цвет отображаемого на экране контура, и параметры соблюдения пропорций при построении прямоугольника.
- Radius of rounded corners (Радиус скругления углов): вручную задайте радиус скругления углов прямоугольника.
Рисование прямоугольника Щелкните холст, чтобы вызвать диалоговое окно «Создание прямоугольника». В этом диалоговом окне можно вручную задать размер, радиусы углов прямоугольника и выбрать выравнивание по центру. Для применения изменений нажмите кнопку «ОК». Разместите и перетащите указатель мыши на холсте, чтобы нарисовать прямоугольник. При этом автоматически создается новый слой на панели «Слои».
Закругление углов фигур и текста в Photoshop
В этом уроке я расскажу, как в Photoshop из острых углов букв текста, фигур и предметов сделать мягкие, закругленные углы при помощи простых методов маскирования и фильтров.
Используя этот метод, Вы сможете задать нужный радиус угла, чтобы получить скруглённый край для любого предмета, в т.ч. и букв текста. Данный метод можно использовать даже для закругления углов фотографии.
Вот результаты применения этого способа скругления острых углов:

Давайте начнем с векторной фигуры звезды с острыми углами (хотя метод прекрасно работает с любыми, острыми, прямыми и тупыми углами).
Создаём такую фигуру звезды, это одна из стандартных фигур Photoshop:

Теперь нам надо растеризовать фигуру. Для этого в панели слоёв кликаем по слою с фигурой и выбираем пункт «Растеризовать слой» (Rasterize Layer). Затем применяем Фильтр —> Размытие —> Размытие по Гауссу (Filter —> Blur —> Gaussian Blur).
Значение размытия зависит от линейного размера изображения и величины радиуса скругления, которое Вы хотите получить. Я выбрал значение 4 пикселя:

На всякий случай, создаю копию слоя с размытой фигурой, нажав Ctrl+J.
Зажмите клавишу Ctrl и кликните по иконке слоя в панели слоёв, чтобы создать выделенную область вокруг фигуры. Пройдите по вкладке главного меню Выделение —> Уточнить край (Select —> Refine Edge). Режим просмотра (вверху диалогового окна) выбираем «на чёрном»:

Параметр «Сгладить» (Smooth) отвечает за радиус угла, так что его Вы можете подобрать по вкусу, а вот значения «Растушёвка» (Feather) и «Контрастность» (Contrast) надо задать обязательно 0 пикс. и 100% соответственно.
Нажимаем ОК, диалоговое окно «Уточнить край» закрывается и в документе снова появляются «бегущие муравьи». Нам осталось только кликнуть по значку создания слой-маски внизу панели слоёв, этим мы создадим слой-маску из выделенной области.
Результат:

Панель слоёв выглядит так:

Как можно увидеть на предпоследнем изображении, углы у нас закруглены, но вдоль краёв внутри фигуры появился ненужный цветовой переход (это случилось из-за размытия). Чтобы исправить это зажимаем клавишу Ctrl и кликаем по иконке маски слоя:

Вокруг фигуры появляется выделение. Затем обязательно кликаем по иконке слоя, выбираем желаемый цвет в цветовой палитре и нажимаем Ctrl+Delete для заливки выделения. Я взял исходный цвет фигуры Готово:

Вот как можно закруглить уголки в тексте, применив описанный выше метод:

Кроме того, если слой-маску наложить на исходный файл и частично её удалить, можно добиться действия на отдельные участки фигуры или текста.