RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d

ile dosya veya klasör varsa şeklinde bir koşul koyarsanız sorun kalmaz..