trendyol-analiz

admin/trendyol-analiz

Fork 0

mirror of https://github.com/nethunterzist/trendyol-analiz synced 2026-07-01 01:17:04 +00:00

Commit Graph

Author	SHA1	Message	Date
furkanyigit34	706f957ba2	fix(scraper): pathModel -x-c{id} suffix + defensive int cast Ne yaptık: - queue_worker.py find_leaves: kategori URL'sine -x-c{id} suffix ekledik (ör: makyaj-cantasi -> makyaj-cantasi-x-c1110) - scraper.py fetch_all_products: total degeri str gelirse int'e cast ediyoruz (roughTotal "0" string donuyordu, '/' operatoru patliyordu) Neden yaptık: - Trendyol Search API path formati degisti, artik suffix'siz cagri 0 urun donduruyor (ornek test: makyaj-cantasi=0, makyaj-cantasi-x-c1110=15.712) - Yan etki olarak 'total' int 0 falsy oldugu icin 'or' chain roughTotal'a dusuyor, bu da string olarak donuyor ve math.ceil(str/int) TypeError firlatiyordu. Tum 35 alt kategori bu yuzden patladi (rapor 62 "Makyaj Analizi" sifir urun). - Fix iki seviyeli: asil cozum suffix (artik dogru data ceker), defansif int() cast gelecekte API'nin baska sekilde tutarsiz donmesine karsi guvenlik agi. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-04-25 16:38:13 +03:00
furkanyigit34	942c8d1244	fix: scraper Search API fallback + logging + auth Ne yaptık: - queue_worker.py: TrendyolSearchScraper 0 ürün döndürdüğünde TrendyolScraper (Top Rankings API) ile fallback yap — abiye gibi kategoriler için kritik - logging_config.py: varsayılan log dizinini /tmp/logs olarak değiştir, container restart'ta /logs permission hatası düzeldi - main.py: API_KEY env var yoksa auth'u gerçekten atla (uyarıyla uyumlu hale getir) Neden yaptık: - TrendyolSearchScraper pathModel ile bazı kategoriler (abiye-elbise gibi) 0 ürün döndürüyor; eski Top Rankings API categoryId ile çalışıyor - /logs dizini container restart'ta izin hatası veriyordu - API_KEY yoksa tüm istekler 401 dönüyordu (yorum ile çelişki)	2026-04-15 01:53:45 +03:00
furkanyigit34	8cbe100035	feat: PostgreSQL kuyruk sistemi (SSE yerine queue+poll) Ne yaptik: - ReportQueue modeli + Alembic migration (report_queue tablosu) - QueueWorker: SELECT FOR UPDATE SKIP LOCKED ile tek worker polling - 3 yeni endpoint: POST /api/queue/submit, GET /api/queue/{id}/status, GET /api/queue/active - Startup hook ile worker otomatik basliyor, shutdown'da duruyor - Stuck task recovery: 15 dk'dan eski PROCESSING tasklar PENDING'e donuyor Neden yaptik: - Esanli SSE rapor isteklerinde IP ban riski ve veri kaybi vardi - Tek worker ile sirayla isleniyor, rate limit korunuyor - Sifir yeni dependency: sadece PostgreSQL + mevcut scraper'lar Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>	2026-04-14 16:41:19 +03:00

Author

SHA1

Message

Date

furkanyigit34

706f957ba2

fix(scraper): pathModel -x-c{id} suffix + defensive int cast

Ne yaptık:
- queue_worker.py find_leaves: kategori URL'sine -x-c{id} suffix ekledik
  (ör: makyaj-cantasi -> makyaj-cantasi-x-c1110)
- scraper.py fetch_all_products: total degeri str gelirse int'e cast
  ediyoruz (roughTotal "0" string donuyordu, '/' operatoru patliyordu)

Neden yaptık:
- Trendyol Search API path formati degisti, artik suffix'siz cagri 0
  urun donduruyor (ornek test: makyaj-cantasi=0, makyaj-cantasi-x-c1110=15.712)
- Yan etki olarak 'total' int 0 falsy oldugu icin 'or' chain
  roughTotal'a dusuyor, bu da string olarak donuyor ve math.ceil(str/int)
  TypeError firlatiyordu. Tum 35 alt kategori bu yuzden patladi
  (rapor 62 "Makyaj Analizi" sifir urun).
- Fix iki seviyeli: asil cozum suffix (artik dogru data ceker), defansif
  int() cast gelecekte API'nin baska sekilde tutarsiz donmesine karsi
  guvenlik agi.

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>

2026-04-25 16:38:13 +03:00

furkanyigit34

942c8d1244

fix: scraper Search API fallback + logging + auth

Ne yaptık:
- queue_worker.py: TrendyolSearchScraper 0 ürün döndürdüğünde TrendyolScraper
  (Top Rankings API) ile fallback yap — abiye gibi kategoriler için kritik
- logging_config.py: varsayılan log dizinini /tmp/logs olarak değiştir,
  container restart'ta /logs permission hatası düzeldi
- main.py: API_KEY env var yoksa auth'u gerçekten atla (uyarıyla uyumlu hale getir)

Neden yaptık:
- TrendyolSearchScraper pathModel ile bazı kategoriler (abiye-elbise gibi)
  0 ürün döndürüyor; eski Top Rankings API categoryId ile çalışıyor
- /logs dizini container restart'ta izin hatası veriyordu
- API_KEY yoksa tüm istekler 401 dönüyordu (yorum ile çelişki)

2026-04-15 01:53:45 +03:00

furkanyigit34

8cbe100035

feat: PostgreSQL kuyruk sistemi (SSE yerine queue+poll)

Ne yaptik:
- ReportQueue modeli + Alembic migration (report_queue tablosu)
- QueueWorker: SELECT FOR UPDATE SKIP LOCKED ile tek worker polling
- 3 yeni endpoint: POST /api/queue/submit, GET /api/queue/{id}/status, GET /api/queue/active
- Startup hook ile worker otomatik basliyor, shutdown'da duruyor
- Stuck task recovery: 15 dk'dan eski PROCESSING tasklar PENDING'e donuyor

Neden yaptik:
- Esanli SSE rapor isteklerinde IP ban riski ve veri kaybi vardi
- Tek worker ile sirayla isleniyor, rate limit korunuyor
- Sifir yeni dependency: sadece PostgreSQL + mevcut scraper'lar

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>

2026-04-14 16:41:19 +03:00

3 Commits