UGYBot

This page in English: About UGYBot

UGYBot, şehrinizdeki etkinlikleri (konserler, tiyatro, sergiler, festivaller, aile etkinlikleri ve daha fazlası) tek bir akışta toplayan, iOS ve Android için ücretsiz UGY uygulamasının web botudur (crawler). UGYBot, insanlar bu etkinlikleri bulabilsin diye herkese açık etkinlik listelerini okur. Uygulamadaki her etkinlik, kaynağına bağlantı verir.

UGYBot'u nasıl tanırsınız

UGYBot her isteğinde şu User-Agent bilgisini gönderir:

UGYBot/1.0 (+https://ugy.app/bot; [email protected])

Kendini hiçbir zaman bir internet tarayıcısı (browser) gibi göstermez. robots.txt dosyanızda UGYBot için yazılan kurallara uyar.

UGY çalışanları da bir siteyi elle kontrol ederken, örneğin etkinlik verilerinin nereden geldiğini bulmak için, bazen aynı User-Agent bilgisini gönderir. Bunu yaparken aynı robots.txt kurallarına uyarlar, yalnızca birkaç istek gönderirler ve istekler arasında en az 2 saniye beklerler.

Neyi okur

Herkese açık etkinlik listelerini, bu listelerin bağlantı verdiği etkinlik sayfalarını, site haritalarını (sitemap), herkese açık etkinlik API'lerini ve bir sitenin kendi sayfalarının etkinlikleri yüklediği JSON verilerini. UGYBot oturum açmaz, sayfaların JavaScript kodunu çalıştırmaz ve görsel indirmez.

Neyi saklarız

Her etkinlikten temel bilgileri saklarız: adını, tarihini ve saatini, mekânını ve adresini, fiyatını (ya da ücretsiz olduğunu), bilet bağlantılarını ve bilgiyi okuduğumuz sayfanın adresini. Etkinliğe ayrıca kendi kategorilerimizden birini veririz.

Bazı kaynaklardan etkinliğin açıklamasını ve görselinin adresini de saklarız; uygulama görseli bu adresten yükler. Bu kaynakların bir kısmında etkinliğin adını ve açıklamasını İngilizceye çevirebiliriz; çevirdiğimizde özgün metni de saklarız. Diğer kaynaklardan yalnızca temel bilgileri ve kaynağa dönen bağlantıyı saklarız. Sitenizden yalnızca temel bilgilerin saklanmasını istiyorsanız bize yazın.

Bu bilgileri okumak için sayfadaki yapılandırılmış veriyi, siteye özel yazdığımız kuralları ve bazı sayfalarda bir yapay zekâ dil modelini kullanırız.

Çektiğimiz sayfa içeriğini yalnızca işlemek için tutar, en geç 90 gün içinde sileriz. Bunun istisnası, ayrıştırıcılarımızı (parser) test etmek için örnek olarak sakladığımız az sayıda sayfa ve veri dosyasıdır; isterseniz sitenizi bu örneklerden çıkarırız. Etkinlikler, gerçekleştikten sonraki 30 gün içinde UGY'den kaldırılır. Etkinlik adlarının ve açıklamalarının İngilizce çevirileri ayrıca bir çeviri önbelleğinde tutulur. Bu önbelleğin henüz bir silme süresi yoktur: bir çeviri, etkinliği UGY'den kaldırıldıktan sonra da, bir kaldırma talebinden sonra bile, orada kalabilir. Bu verileri hiçbir zaman satmayız ya da lisanslamayız. Genel saklama sürelerimiz İngilizce Privacy Policy metnimizde yer alır; yukarıdaki iki istisna henüz o metinde belirtilmiyor.

Nasıl tarar

• Önce robots.txt. UGYBot bir sayfayı istemeden önce robots.txt dosyanızı okur ve ona uyar (RFC 9309): dosyanızda User-agent: UGYBot grubu varsa onun kurallarına, yoksa User-agent: * kurallarına. robots.txt dosyanızı en fazla bir saat önbellekte tutarız; yaptığınız bir değişiklik bir saat içinde geçerli olur.
• robots.txt okunamazsa. robots.txt dosyanız 429 ya da bir sunucu hatası (5xx) döndürürse veya ulaşılamazsa, UGYBot dosyayı yeniden okuyabilene kadar sitenizden başka hiçbir şey istemez. 404 ya da başka bir 4xx döndürürse, RFC 9309'un öngördüğü gibi sitenin taranmasına izin verildiğini kabul eder.
• Yönlendirmeler. UGYBot robots.txt kurallarını istediği adres için kontrol eder. Bu adres başka bir adrese yönlendirirse, UGYBot yönlendirmeyi, yeni adres için robots.txt dosyasını yeniden kontrol etmeden izler.
• Düşük yük. UGYBot kaynaklarımızdan birini tararken aynı anda en fazla üç istek açık tutar ve her etkinlik sayfasından önce kısa, rastgele bir süre (0,15 ile 0,45 saniye) bekler; bazı kaynaklar saniyede bir istekle okunur. Sitenizde birden fazla kaynağımız varsa (bunlar aynı anda taranabilir) ya da çok sayıda yaklaşan etkinlik varsa, sitenize aynı anda daha fazla istek gelebilir: aşağıdaki iptal kontrolü tek bir siteye aynı anda en fazla on istek açabilir; bu, UGY'nin her kopyası için geçerlidir (bkz. Sıklık).
• Sıklık. Her kaynağın kendi takvimi vardır. Çoğu kaynak günde iki kez okunur ve bir kaynak hiçbir zaman saatte birden sık planlanmaz (başarısız bir çalışma daha erken yeniden başlatılabilir; aşağıdaki Tarama sırasındaki hatalar maddesine bakın). UGY'nin bir test kopyası da aynı kaynakların bir kısmını, genellikle canlı uygulamadan daha seyrek, aynı User-Agent bilgisi ve aynı kurallarla okur ve aynı iptal kontrolünü çalıştırır.
• İptal kontrolü. İptal edilen ya da kaldırılan etkinlikleri yakalamak için UGYBot 4 saatte bir, bugünden önümüzdeki 7 günün sonuna kadar olan etkinlikleri kontrol eder. Etkinliğin sayfasını ve etkinliği okuduğumuz sayfayı ister: bir HEAD isteği ve HEAD isteği başarısız olmadıkça ve 404 ya da 410 dönmedikçe bir GET isteği; 401, 403 ya da 429 yanıtından sonra da GET isteği gönderilir. Bu kontrol yeniden denemez ve Retry-After başlığını okumaz. Bu kontrollerden aynı anda en fazla on tanesi çalışır. Bu kontrol de robots.txt kurallarına uyar.
• Tarama sırasındaki hatalar. 4xx yanıtları o ziyaret sırasında yeniden denenmez; istisnası 429'dur (ve nadiren, Retry-After başlığı taşıyan bir 413). 429 ya da 5xx yanıtı en fazla iki kez yeniden denenir. UGYBot bir 429 ya da 503 yanıtını yeniden denemeden önce Retry-After başlığınızdaki süre kadar bekler, ama yalnızca çalışma süre sınırına ulaşana kadar (bu sınır on dakikadan azdır): daha uzun bir Retry-After çalışmayı erken bitirir ve çalışma birkaç dakika içinde en fazla iki kez yeniden başlatılabilir. UGYBot bir ziyaretteki Retry-After değerini sonraki ziyarete taşımaz. Sunucunuza hiç ulaşılamazsa UGYBot yaklaşık bir dakika içinde en fazla üç kez daha dener. Üst üste beş başarısız ziyaretten sonra bir kaynak en fazla günde bir kez denenir.
• Engelleri aşmaya çalışmaz. UGYBot User-Agent bilgisini hiçbir zaman değiştirmez; proxy ya da headless tarayıcı kullanmaz. Bir engeli, oturum açma ekranını ya da doğrulama sayfasını aşmaya hiçbir zaman çalışmaz.
• Tek istisna. Bugün tek istisna, kendi API anahtarımızla, Ticketmaster'ın API kullanım koşullarına göre okuduğumuz Ticketmaster Discovery API'sidir. Bu bir web sitesi taraması değil, lisanslı bir API olduğu için robots.txt bu isteklere uygulanmaz.

UGYBot nasıl engellenir

robots.txt dosyanıza şunu ekleyin:

User-agent: UGYBot
Disallow: /

Bundan sonra UGYBot sitenizden yalnızca robots.txt dosyasının kendisini ister (yukarıdaki yönlendirme notuna bakın). Yalnızca bazı yolları da engelleyebilirsiniz: UGYBot en uzun eşleşen kurala uyar ve * ile $ joker karakterlerini tanır.

Kaldırma ve iletişim

Sitenizden alınan etkinliklerin UGY'den kaldırılmasını istiyorsanız [email protected] adresine yazın. Geçerli bir kaldırma talebindeki etkinlikleri 7 gün içinde UGY'den kaldırırız (İngilizce Privacy Policy, bölüm 8); önbellekteki çeviriler (yukarıya bakın) ise henüz kaldırılmıyor. UGYBot ile ilgili diğer sorularınız için [email protected] adresine yazabilirsiniz.

UGY bir Viaworks ürünüdür; Tuncan Technology & Consulting DOO (Podgorica, Karadağ) tarafından işletilir.