Yapay Zekâ Destekli Haber Toplayıcı ve Akıllı Trend Kümeleme Sistemi
Çok kanallı veri akışlarını izleyen otomatik bir sistem geliştirildi. Gerçek zamanlı anlamsal analiz, haber skorlaması ve metin kümeleme işlemlerini yürütmek için gelişmiş prompt mühendisliği teknikleriyle Ollama üzerinden yerel LLM'ler yönetildi.
Genel Bakış
Haber akışlarını toplayan, anlamsal skorlama uygulayan ve makaleleri anlamlı trend gruplarında kümeleyen tamamen otomatik, çok kanallı bir istihbarat hattı — hem de bulut tabanlı LLM API'lerine bağımlı kalmadan. Her çıkarım (inference) adımı yerel olarak Ollama üzerinden çalışır, bu da veri egemenliğini tam olarak korur ve skorlama görevleri için saniyenin altında gecikme sağlar.
Teknik Mimari
Sistem, olay güdümlü bir arka uç döngüsü etrafında yapılandırılmıştır:
- Veri Toplama Katmanı — Python ile yazılmış asenkron G/Ç (async I/O) destekli paralel RSS/API okuyucular, verileri ortak bir PostgreSQL kuyruğuna besler.
- LLM Orkestrasyonu — Ollama üzerinde barındırılan optimize edilmiş (quantized) bir Llama 3 modeline gönderilen yapılandırılmış bir istem zinciri (prompt-chain). Her makale; tek bir çıkarım çağrısında alaka düzeyi, duygu analizi, özgünlük ve pazar etkisi boyutlarında skorlanır.
- Kümeleme Motoru — Yerel olarak üretilen vektör temsilleri (embeddings), durağan kategoriler yerine yeni ortaya çıkan trendleri yakalamak amacıyla, gerçek zamanlı merkez kayması takibi ile DBSCAN algoritması kullanılarak kümelenir.
- Kontrol Paneli API'si — Flask REST uç noktaları, skorlanmış ve kümelenmiş verileri canlı WebSocket güncellemeleriyle hafif bir ön yüze sunar.
Kritik Mühendislik Kararları
- Bulut API'leri yerine Yerel LLM kullanımı — token başına maliyeti, API sınırlarını ve kişisel verilerin dışarı sızma riskini ortadan kaldırır.
- İstem Şablonlama Sistemi — yeniden kullanılabilir istem DSL'i sayesinde model talimatları versiyon kontrollü ve A/B testine tabi tutulabilir hale getirilir.
- Konteynerleştirilmiş Dağıtım — tüm sistem (PostgreSQL, Ollama, Flask API) Docker Compose içinde sağlık kontrolleri ve otomatik yeniden başlatma politikalarıyla çalışır.
Sonuç
Sistem, tutarlı anlamsal skorlama kalitesiyle saatte yüzlerce makaleyi işleyerek, benzer sistemlerde kullanılan geleneksel anahtar kelime eşleştirme yöntemlerine kıyasla trend kümelerini 30 ila 45 dakika daha hızlı ortaya çıkarır.