Photoshop'ta seçimi yaptıktan sonra Select / Modify / Smooth yaparsan istediğin değerlerde ovalleştirebilirsin seçim alanını.