Terim-Döküman Matrisi

ben bu iş üzerine 2 yıl önce çok kafa yordum ve ciddi bir ilerleme de kat ettim. daha sonra deymeyeceğini düşündüğüm için bıraktım. çünkü bunların sanıldığı kadar etkisi yok. linki olan her türlü diğer siteleri yer. tamamen özgün sitemdeki yazıları çekip benim üstümde çıkanlar bunun delilidir.

bir kere bu tarz olaylara giriyorsanız nlp hakkında bilgi sahibi olmanız lazım. php güzeldir ama kapsam büyünce yetersiz kalıyor. türkiyede de nlp adına çalışmalar var. openoffice ın imla kontrolünü yapan modülde kullanılan proje mesela açık kaynak. köklerle, eklerle ilgili işleri bununla yapabilirsiniz https://zemberek.dev.java.net/ .

benim ilgili çeken bir diğer konu da şu oldu. google makalenin içeriğini belirlerken her kelimeye eşit ağırlık vermiyor. mesela bu postu dikkate alın. ağırlık verdiği kelime zemberek ve open office olur. çünkü geri kalan her kelime gündelik hayatta sıkça kullanılan ve kayda değer değeri olmayan, konuyu belirlemeyen kelimeler.

bu açından baktığınızda str_replace ile "ama" ları "fakat" a "ya da" ları "veya" ya çevirmenin falan hiçbir esprisi yok. çünkü asıl kilit kelimelerin ağırlığını değiştiremezsiniz. zemberek e ya da open office a alternatif kelime yok çünkü. saçma alternatifler bulursanız da konuyu saptıracağınızdan, başlıkla ilgili olması gereken kelime ağırlığı bozulacağından eksi puan alırsınız.

bir diğer nokta da translate mevsuzu. bunun üzerine fazla düşmedim ama bence google devrik cümleleri algılayabilecek seviyeye sahiptir. bunun için ingilizceden türkçeye çevirdiğimiz yazılarda iyi sıralamalar elde etmek zor oluyor. ( tabi sağlam link olayını dışarda tutuyorum, özgün yazı ile kıyasladığımızda zor oluyor. )

bir de pratik örnek vereyim. bir ara başlık değiştirme, paragraf atma olayı çok meşhurdu bilirsiniz. kopya yazıyı alırsınız bir haber sitesinden, başlığı değiştirsininiz. konuyla ilgili bir kaç cümle atarsınız. böylece özgün başlığınız olur, kelime yoğunluğu üzerinde de değişiklki yapmış olursunuz. yazı kopya olmaktan büyük ölçüde uzaklaşır. aslında dikkat ederseniz bunu yaparak yukardaki bahsettiğim başlık uyumu ~ ağırlıklı kelime oranı ilişkisini dengelemiş oluyorsunuz.

bu mevzuyu, bu kadar detaya inerek. yani kök - gövde meselesine kadar inerek incelerseniz geçerli bir çözüm bulamazsınız. basit çözümler var ama çok da stabil değiller ben o nedenle artık bu işleri araştırmayı büyük ölçüde bıraktım. kopya içerik / sağlam link bundan çok daha geçerli bir yöntem gibi duruyor. street smart olaylarını falan da bırakın derim. kafadan 1 yılımı yedi o ayaklar .

biri size teknik söylüyor ama tool vermiyorsa, bilin ki 2 ay sonra onun toolunu pazarlamaya çalışacaktır. bunu dp'de de bhw'de de iranjava da sıkça gördük. şimdi bu olayı kendi yarı çapında tr de uygulamaya çalışanlar var. arkanızı kollayın derim.

Sıralama algoritmaları en fazla araştırma yapılan bilgisayar bilimi konularıdır.Bu bilimsel olarak ispatlanmıştır. Dünyada bir çok insan sıralama algoritmaları üstüne çözümler üretmeye çalışıyorlar. Bazı arkadaşların dedikleri gibi translate olsun google sıralama olsun v.b. bir çok mevzu sıralama algoritması içine girmektedir. Örneğin kütüphane sıralaması ilk olarak 2004 yılında ortaya atılmıştır. Yalnızca soyut bir anahtar karşılaştırması yapan bütün sıralama algoritmaları en kötü durumda her zaman Ω(n log n) karşılaştırma yaparlar.Yani senin dediğin kopya içerik olan ve konuda bir çok rekabeti olan seni geçen insanların yaptığı sitelerde. Bana göre soyut bir ahantar karşılaştıtırması yapıyor Google. google nin diğer unsurları devreye giriyor kısacası.Bu sayede sende onların altında kalıyorsun. Zaten yazının en başında alt sayfalar için mükemmel bir şey oldugunu söyledim. Tutupda en kral keywordte bu yogunlukları sağlarsanız ilk sayfalarda çıkmanız oldukça uzun zaman alır.Neyse daha fazla derinlere inmeyelim.

Saygılar..

S.a. Arkadaşlar,
Uzun zamandır paylaşım kapılarını kapatmıştım. Hatta baya düşünerek yazdım saçma oldugunu düşündüm silmek istedim fakat çok şey yazmıştım. İyi veya kötü bir şeyler paylaşmak istedim ve yazımı yayınlamaya karar verdim. Kendi araştırmam olan ve programa dökmeyi düşündüğüm konuda sizlere tamamen bilimsel olan bir araştırmadan bahsetmek ve ufkunuzu bir nebzede olsa açmayı hedefliyorum. Öncelikle konumuz çok derin ve içinden çıkılamaz bir konu oldugunu belirtmek isterim(Kendi adıma konuştum). Zaten bu konuyu tam anlamıyla çözdüğünüz zaman alt sayfalarınızdan aşırı derecede hit almaya başlıyorsunuz. Backlink felan gerekmiyor.Bu konuya beni sevkeden bazı forum üyelerinede burdan teşekkür etmek istiyorum. Onların bazı yorumlarından meraklanarak bu konuya yöneldim aslanbahs ve digiklan.Aslanbash ın paylaşım yapmamasıda üzücü bir haber oldu benim için. Fikrine saygı duyuyorum. Paylaşımlarını her zaman beklediğimizide belirtmek isterim.

Alıntı Özet:
Google google yapan "FAYDALI BİLGİYE ERİŞİMDE SAĞLADIĞI BÜYÜK KOLAYLIKTIR"

Arama motorları yazmış oldugunuz makalede bir kelimenin veya bir metnin 1 yada daha fazla kez bulunup bulunmadığını ararlar.(Kelime veya metin yoğunluğu) Bunun için kelime yogunlugu backlinkten daha önemli hale geliyor.Sırasıyla (Sahsi fikrim):Önce kelime yogunlugu daha sonra referans baglantılar(Backlink). Tabi şöyle düşünebilirsiniz. Ahantar kelimeleri bir veya daha fazla kes tekrarlarsam kelime yogunluğunu sağlamış olabilirim.İşte bu bilimsel araştırmada bunu çok rahat bir biçimde fark ediyor.Bu bilimsel araştırmadaki insanlar bir makalenin kopya veya benzer olup olmadığını veya faydalı bilgiye götürüp götürmediğini anlayabiliyorsa google da hayli hayli anlayacaktır.

Terim-döküman matrisi bir çok aşamadan oluşuyor. Dökümanlar veya terimler eşletiriliyor.Kısaca bilindik aşamalar.

Alıntıdır:
Test
Algoritmanın uygulanabilirliğini test etmek için internet üzerinden haber yayını yapan farklı web sitelerinden toplam 1000 sayfa seçildi. Seçilen bu sayfalar test dokümanlarını oluşturmaktadır. Kullanılan dokümanların birbirinden tamamen faklı olmasıyla birlikte benzer konuları içeren dokümanlar da bulunmaktadır.
Test edilen döküman örnekleri:
Aşağıdaki dört dokümanı ele alırsak:
- Doküman 1: “Microsoft Windows
Vista'nın çekirdeğinde başka hata
bulundu.”
- Doküman 2: “Microsoft'un Web tabanlı
Office'i internet üzerinden dosya saklama
olanağı sunuyor.”
- Doküman 3: “Yapılan ölçümlere göre
Microsoft Kasım ayında PC pazarında
düşüş yaşadı.”
- Doküman 4: “Microsoft'un internet
tarayıcısının kullanım oranı %68.15’e
düştü.”
Yukarıdaki dokümanlara algoritmanın 1.
adımı uygulanırsa sonuç olarak dokümanlar
aşağıdaki formu alır.

- Doküman 1 : [çekirdek, bul, vista,
windows, başka, ha, microsoft]
- Doküman 2: [olanak, sunuyor, sakla,
office, dosya, üzer, internet, tabanlı,
microsoft]
- Doküman 3: [düşüş, ay, kas, gör, yapıla,
yaşadı, ölçüm, pazar, microsoft]
- Doküman 4: [düş, ora, kulla, tarayıcı,
internet, microsoft]

Tüm dokümanlar terimlerine indirgenmiştir.
Bu aşamadan sonra algoritmanın diğer
adımları uygulanarak dokümanlardan bir
terim matrisi oluşturulur (Tablo 1)

Metin matris eşleştirmesi tablolar:
Tablo 1:


Uploaded with ImageShack.us

Tablo 2:


Sonuçlar:
Tasarlanan algoritma gerçek hayatta gerçekleştirilerek dokümanların birbirleriyle karşılaştırılması sonucunda şu veriler elde
edilmiştir:
- Toplam 1000 doküman içinde 230873 terim, 14457 köküne indirgenmiş tekil
terimden oluşmaktadır.
- Bu veriler ışığında birbiri ile karşılaştırılan dokümanlardan benzerlik
değeri 0,3 seviyesinde olan dokümanlar farklı konulardan oluşmaktadır.
- Birbiri ile benzer konular taşıyan ama birbirinden farklı olan dokümanların
benzerlik değerleri ise 0,7 – 0,8 civarındadır. Örnek olarak teknoloji ile
ilgili dokümanların benzerlik değerleri bu aralıktadır.
- İçerik bakımından da aynı konuları kapsayan dokümanların benzerlik
değerleri ise 0.94 ve üzeridir.
KAYNAK

Velasıl kalem bu algoritma sayesinde ve kendimce oluşturdugum bazı işlemler ile alt sayfalarım çok iyi yerlere geldi. Günümüz şartlarında çok iyi dene bilecek rakamlar kazanmaya başladığımıda söylemek istiyorum.Ve bu algoritma üzerine bazı çalışmalar yapmaya başladım. Bunu programlaştırmaya çalışıyorum.Kısacası google sıralama sırrını çözmeye çalışıyorum. Sıralamadaki en büyük sırrı zaten ortada bu konuda tamamen onu anlatıyor. Geometri ve matematik konularında başarılı iseniz. Basit anlamda sizde sıralama algoritmalarına yönelik bazı betikler geliştirebilirsiniz.Daha çok anlatılacak şey var fakat kafa durdu şuan. Başka bir iş geldi aklıma ve yazıyı burda kesiyorum.

Umarım yazının size faydası olur. Özgün ve güncel siteler diliyorum.

Kesinlikle. Bu mesele öncelikle bugün index sorunu yaşayan bir sürü insanın derdine deva olacaktır. Çünkü index problemlerinin başında google ın lsi ile elediği içerik geliyor.
Kötü niyetli kullanılmasından korktuğum için tam anlatmıyorum zaten bilenler biliyor. Ama semantik bir motor bir yazının ne kadar güvenilir olduğunu belirleyebilir.
Sonra bu yazının indexteki aynı konudaki diğer sayfalar ile benzerlik düzeyine bakılır. Ve sayfaya her terim için belirli katsayılar verilir.

Şimdi bu katsayı ne kadar düşük olursa olsun. Siz yüksek çarpanlaişleme sokarsanız (yüksek backlink) çıkacak sonuç büyük olacaktır. Ama şu da bir gerçektir ki o yüksek backlink gücünü katsayısı yüksek bir sayfaya verirseniz sonuç çok daha büyük olacaktır.

Çok detaylandırmak istemiyorum. Sanırım herkes anladı ne demek istediğimiz. Elbette linki yüksek olduktan sonra boş bir sayfa index alıp o kelimede yükselebilir. Ama siz aynı backlinki semantik güvenilirliği ve benzerlik katsayısı yüksek bir sayfaya verirseniz sonuç daha iyi olacaktır.