Bu kod, verdiğiniz bir TXT dosyasının içeriğini tarar ve yapay zeka ile bu dökümanda yer alan metinden mantıklı soru ve cevapları çıkararak soru_cevap.txt isminde bir dosyaya kaydeder. Daha sonra bu dökümanı yapay zekalar üzerinde kullanabilirsiniz.

import torch
from transformers import GPT2LMHeadModel, GPT2Tokenizer
import nltk
from nltk.tokenize import sent_tokenize
from huggingface_hub import login
nltk.download("punkt")
login(token="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")

model_name = "cenkersisman/gpt2-turkish-50m"  # Türkçe için fine-tuning yapılmış bir model
tokenizer = GPT2Tokenizer.from_pretrained(model_name)
model = GPT2LMHeadModel.from_pretrained(model_name)
with open("temiz_turkce_wikipedia_metin.txt", "r", encoding="utf-8") as file:
document_text = file.read()
def split_text(text, max_length=512):
    sentences = sent_tokenize(text)
chunks = []
chunk = ""

    for sentence in sentences:
        tokenized = tokenizer.tokenize(sentence)
        if len(tokenized) + len(tokenizer.tokenize(chunk)) > max_length:
chunks.append(chunk)
chunk = sentence 
        else:
chunk += " " + sentence
    if chunk:
chunks.append(chunk)

return chunks

def generate_question(answer_text):
input_text = f"Cevap: {answer_text}\nSoru:"
    inputs = tokenizer(input_text, return_tensors="pt")

with torch.no_grad():
output = model.generate(
**inputs,
max_length=150,
            num_return_sequences=1,
temperature=0.7,
top_k=50,
top_p=0.95,
max_new_tokens=50
        )

question = tokenizer.decode(output[0], skip_special_tokens=True)

    if "Soru:" in question:
question = question.split("Soru:")[-1].strip()

return question

with open("soru_cevap.txt", "w", encoding="utf-8") as file:
chunks = split_text(document_text, max_length=512)  
    for chunk in chunks:
sentences = sent_tokenize(chunk)

        for sentence in sentences:
question = generate_question(sentence)


            if len(question) > 10 and "?" in question:
file.write(f"Soru: {question}\n")
file.write(f"Cevap: {sentence}\n\n")