Web Crawler Nedir?
Web Crawler, bir web sitesindeki sayfaları otomatik olarak tarayan ve bu sayfalardan bağlantılar, e-posta adresleri, görseller ve dosyalar gibi belirli içerikleri çıkaran bir betiktir. Bu araç, bilgi toplama ve içerik analizinde sıklıkla tercih edilir.
Öne Çıkan Özellikler
Belirtilen URL üzerinden tüm bağlantıları listeler
Sayfada yer alan e-posta adreslerini tespit eder
Görsellerin ve indirilebilir dosyaların bağlantılarını çıkarır
Kullanıcı dostu ve sade bir arayüze sahiptir
Kullanım Alanları
Hedefli veri toplama
Arşiv oluşturma
İçerik kontrolü ve bağlantı analizi
Otomatik dosya ve medya linki yakalama
Kurulum ve Kullanım
Script genellikle bir terminal veya komut satırı aracılığıyla çalıştırılır. Python gibi dillerle yazılmış sürümleri mevcuttur. Gereken adımlar:
Gerekli kütüphaneler (requests, BeautifulSoup, vb.) yüklenir
Script bir URL ile çalıştırılır
Çıktılar bağlantılar, dosyalar, resimler vb. olarak ayrı listelenir
Script Bağlantısı
https://github.com/mahmoudimus/webcrawler
https://github.com/PaulSec/urlgrab
Dikkat Edilmesi Gerekenler
Kullandığınız web sayfasının robots.txt kurallarına ve telif hakkı politikalarına uymanız gerekir. Scriptin kötüye kullanımı yasal sonuçlar doğurabilir.
Bu basit ama güçlü araç, bilgiye hızlı ve verimli bir şekilde ulaşmak isteyenler için etkili bir çözüm sunar. Yazının tamamı, pratik kullanım ve temel kurulum bilgileri doğrultusunda hazırlanmıştır. Kopyala-yapıştır kullanıma da oldukça uygundur.
İndirme Linkleri:
http://codecanyon.net/item/web-crawler-and-scraper-for-files-and-links/5674849
http://www.hotfiles.ro/download/webcrawler.rar/1430802
http://www.mirrorcreator.com/files/0HP4CAGP/webcrawler.rar_links
http://www8.zippyshare.com/v/vmeWR72t/file.html
http://ul.to/lr95dj7u
http://www.solidfiles.com/d/19d1e4730e/
https://userscloud.com/aka0hry2r577
http://www.zippyshare.us/download-f534910e
https://www.sendspace.com/file/juapyj
http://www.mediafire.com/download/37ihrr63cxe36ic/webcrawler%282%29.rar
