Первый.
Делаешь сразу круглую кнопку так, чтобы то, что вокруг неё, точно соответствовало
фону того места, где она будет стоять. Тогда и делать-то ничего не надо. Смотри пример 1.

Второй.
Те места кнопки, которые должны быть прозрачными, закрашиваешь в шопе каким-нибудь
ярким цветом - например красным. И в свойставх кнопки устанавливаешь этот цвет прозрачным.
И тогда вместо твоего красного цвета будут "дырки", то есть прозрачные области.
Смотри пример 2. Правда делал неаккуратно, только чтобы ты понял.

Путем увеличения допуска, одновременно нажимая "Просмотр", добейся того,
чтобы лишние цветовые пикселы исчезли, но чтобы при этом не стали прозрачными
нужные рабочие пикселы.

Именно так, к примеру, сделаны чуть округлые кнопки в моей программе My Cookery Book:

Причем в рисунке фона можно даже оставить изображение кнопки,
а потом в проекте воткнуть ее прямо на это же место