Şimdi sohbet uygulaması mı üyelerin mesajlaşması mı öncelikle bunu ayırmak lazım.

Sohbet uygulaması php ile olur ama zor olur.
Üyelerin birbiri ile gerçek zamanlı olmayan mesajlaşması ise dediğiniz gibi olur.

Fakat çok basite indirgemişsiniz. Bu şekilde işin içinde çıkmanız biraz zor olur.

Arada bir tablo daha olması lazım.

User_chat gibi bir tablo olacak. İki kişi arasında bir konuşma başladığında buraya sadece bir kayıt girilecek.
Bu tablodaki sütunlar; chat_id, user_id, user_2_id

Daha sonra mesajlar tablosundaki her mesajı burayla ilişkilendireceksiniz. Yani mesajlar tablosu da şöyle;
Message_id, chat_id, sender_id, message, date.

Böylece siz iki kişi arasındaki konuşmayı çekerken bu iki kişi arasında konuşma var mı yok mu diye user_chat tablosuna bakacaksınız. Varsa bu chat in id sine sahip mesajları çekeceksiniz. Sender_id ile de mesajı kimin gönderdiğini anlayacaksınız.

Bu da çok çok sağlıklı bir yöntem değil daha gelişmiş olması lazım ama uzunca süre basit bir sistem olarak iş görür.