Arama motoru için geniş bir bandwith gerekiyor. Arama motorunun botları için. Ayrıca bot sadece keyword'se meta ya bakmıyorum. Tüm sayfanın içeriğine bakıyor. 1 sitede 1000 den sayfa sayfa taradığında 2. bir bot. taranmış sayfalarda tema denen gereksiz kısımları çıkarıyor. Geriye salt metin kalıyor. Bu konuda gayet başarılı.
Sitenin dışarı verdiği external linkleri alıp biriktiriyor. PR botu ile, taranan sayfa sayısına göre oranlıyor. Şuan için basit bir orantı ile en az geçen domainleri ve %90 dan fazla geçenleri ayrı ayrı dosyalara ekliyor. İlerde bot spam kotrolü yapabilmek için. En az geçenleri (%1 den az) bot motoruna ekliyor. ve taramaya başlıyor.
Arama sayfası bölümü üzerinde çalışıyorum şu an. güzel olucak.
Büyük konuşmuş olmayım ama, Googleye taş çıkaracak :P. Böyle deyince bi garip geliyor ama mantık süper.
Yurt dışında olması iyi olur. Bir de makine ufak bir mysql dbsi kullanıyorum. 200 MB yi geçmez. Gerisi hep diskte. Diskte tahminen 50GB kadar yer yiyecek.
sonra gelsin PR ler, Hitler reklamlar. $$$ lar.
Geliştirmekte Olduğum Arama Motoruna Sponsor Aranıyor...
21
●1.378
- 10-02-2008, 17:37:19Üyeliği durdurulduistersen ben olabilirim sponsor
TurkishHosting.Ch
msn@turkishhosting.ch
250 mb alan + 100 gb bw veririm - 10-02-2008, 18:24:43İlgimi çekti Tr Lokasyonda bende yardımcı olabilirim. İletişim İçin RAMBilisim.Com | Hosting | Reseller | Vps | Domain | Radyo Hosting | Domain Reseller | Awbs Lisans | IRCD | Banner ve Logo Tasarımı | tıcket açabilirsin ya da p.m atabilirsin.
- 11-02-2008, 01:46:27Bu yalnızca tahmin daha çok gerekebilir. Bir iterasyon başlatıyorsun. Örneğin bota diyorsunki prsi 3 büyük ve 7 küçük olanları otomatik aktif et diyorsun. Bizim bot başlıyor interneti sömürmeye. sıra ile aktif olan tüm domainlerden bir link çekiyor. gelen metinin textini çıkarıyorıp salt olarak dosya sistemine kayıt ediyor. sonrasını diğer botlar hallediyor. crontab a yerleştirilen PR bot Tag bot ve Parser bot.saka adlı üyeden alıntı: mesajı görüntüle
Dediğim gibi ciddi anlamda bandwith ve disk alanı yiyor. Mysql db sinde sadece link listesini tutuyor. Fakat o yapıyo değiştireceğim sanırım. 1M url listesi mysql de ~30MB yer tutuyor. onu ilerki aşamada düşünüyorum. şimdi bi görelim 1 milyon linki indexleyince isteninlenleri verecek mi? Evde geliştirdiğim için bandwidth 4GB sadece. Düşünün 1M linki kaç ay sürer artık. Sistemi yerine oturttuğumuzda. Bot çiftlikleri bile kurabiliriz. 5 M linki geçebilmek için tutulan sonuçları bir çok diske parçalamamız gerekecek. SCSI nin babasını koysan yırtınır. Tabi 5M çok ilersi aşama şimdilik 1M link olsun yeter.
- 11-02-2008, 14:43:10Projeniz oldukça başarı gibi durmakta. Fakat Bu tür projeler için bence Tübitak en ideali oldukça güzel hibe vermekte.
Bir de anlayamadığım 50 GB Alan ne için gidecek??