Muhtemelen EXE'yi PyInstaller veya türevi program ile yaptınız.

https://github.com/extremecoders-re/pyinstxtractor

Bakınız bunun için araçlar bile var, yani kısa cevap: evet. Ama önüne geçmek için çeşitli yöntemler var, örneğin Cypython kullanarak kodunuzu compile edip ondan sonra EXE haline getirmek gibi.