Bu kod, verdiğiniz bir TXT dosyasının içeriğini tarar ve yapay zeka ile bu dökümanda yer alan metinden mantıklı soru ve cevapları çıkararak soru_cevap.txt isminde bir dosyaya kaydeder. Daha sonra bu dökümanı yapay zekalar üzerinde kullanabilirsiniz.
import torch
from transformers import GPT2LMHeadModel, GPT2Tokenizer
import nltk
from nltk.tokenize import sent_tokenize
from huggingface_hub import login
nltk.download("punkt")
login(token="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")
model_name = "cenkersisman/gpt2-turkish-50m" # Türkçe için fine-tuning yapılmış bir model
tokenizer = GPT2Tokenizer.from_pretrained(model_name)
model = GPT2LMHeadModel.from_pretrained(model_name)
with open("temiz_turkce_wikipedia_metin.txt", "r", encoding="utf-8") as file:
document_text = file.read()
def split_text(text, max_length=512):
sentences = sent_tokenize(text)
chunks = []
chunk = ""
for sentence in sentences:
tokenized = tokenizer.tokenize(sentence)
if len(tokenized) + len(tokenizer.tokenize(chunk)) > max_length:
chunks.append(chunk)
chunk = sentence
else:
chunk += " " + sentence
if chunk:
chunks.append(chunk)
return chunks
def generate_question(answer_text):
input_text = f"Cevap: {answer_text}\nSoru:"
inputs = tokenizer(input_text, return_tensors="pt")
with torch.no_grad():
output = model.generate(
**inputs,
max_length=150,
num_return_sequences=1,
temperature=0.7,
top_k=50,
top_p=0.95,
max_new_tokens=50
)
question = tokenizer.decode(output[0], skip_special_tokens=True)
if "Soru:" in question:
question = question.split("Soru:")[-1].strip()
return question
with open("soru_cevap.txt", "w", encoding="utf-8") as file:
chunks = split_text(document_text, max_length=512)
for chunk in chunks:
sentences = sent_tokenize(chunk)
for sentence in sentences:
question = generate_question(sentence)
if len(question) > 10 and "?" in question:
file.write(f"Soru: {question}\n")
file.write(f"Cevap: {sentence}\n\n")