Visual Studio Programından otomatik olarak oluşturabilirsin.
Projene sağ tıkla Add New Item de. Soldan hangi dil kullanıyorsan onu seç ve Web Configuration File var. onu seçmen yeterli.

Manuel yapmak istersen de normal txt dosyası ile yaparsın. adini web uzantisinida config yapman yeterli. içinin dolu hali istersende netde örnekler var...