Python yordamida Veb-sayt Strukturasi va Yo‘llarini Skanerlash

Veb-sayt strukturasini tahlil qilish foydalanuvchiga sayt ichidagi sahifalarni avtomatik tarzda o‘rganish imkonini beradi. Bu amaliyot orqali veb-saytning sahifalararo bog‘liqligini ko‘rish, ichki yo‘llarni topish va kerakli resurslarni o‘rganish mumkin. Python yordamida bu ishni avtomatlashtirish uchun requests va BeautifulSoup kutubxonalaridan foydalanamiz.

1 Kerakli Kutubxonalarni O‘rnatish

Loyihamizda requests va BeautifulSoup kutubxonalaridan foydalanamiz. Ularni quyidagi buyruqlar orqali o‘rnating:

pip install requests beautifulsoup4

Loyiha Struktura Skanerlash Kodu

Ushbu loyiha veb-saytni strukturasi bo‘ylab skanerlash, ichki yo‘llarni topish va ularni qayta ishlash imkoniyatini beradi. Bu loyiha quyidagi amaliyotlarni o‘z ichiga oladi:

1. Saytga so‘rov yuborish va HTML tarkibini yuklash.

2. Sahifadagi barcha havolalarni topish va to‘liq URL'ga aylantirish.

3. Ichki havolalarni chuqurroq o‘rganish uchun ularni qayta skanerlash.

4. Sahifa yo‘nalishini va asosiy qismlarini tahlil qilish.

2 To‘liq Kod va Funksiyalar

Quyida saytni skanerlash uchun kodning to‘liq ko‘rinishi keltirilgan. Har bir funksiya alohida tushuntirilgan.

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse

def fetch_html(url):
    """
    Berilgan URL manzilidan HTML ma'lumotni yuklab olish funksiyasi.
    """
    try:
        response = requests.get(url)
        response.raise_for_status()  # Xatolik yuz bersa xabar beradi
        return response.text
    except requests.RequestException as e:
        print(f"Xato yuz berdi: {e}")
        return None

def find_internal_links(base_url, html):
    """
    HTML tarkibidagi barcha ichki havolalarni topish funksiyasi.
    """
    soup = BeautifulSoup(html, "html.parser")
    internal_links = set()  # Takrorlanmas URL'lar uchun to'plam

    for link in soup.find_all("a", href=True):
        href = link["href"]
        full_url = urljoin(base_url, href)  # To'liq URL yaratish
        # Faqat ichki havolalarni ajratish
        if urlparse(full_url).netloc == urlparse(base_url).netloc:
            internal_links.add(full_url)

    return internal_links

def parse_url(url):
    """
    URL'ning asosiy qismlarini ajratish.
    """
    parsed_url = urlparse(url)
    print("Protokol:", parsed_url.scheme)
    print("Domen:", parsed_url.netloc)
    print("Yo'l:", parsed_url.path)
    print("Parametrlar:", parsed_url.query)
    print("Fragment:", parsed_url.fragment)

def crawl_site(base_url, max_depth=2):
    """
    Saytni skanerlash va ichki yo'llarni qayta o'rganish funksiyasi.
    """
    visited = set()  # Tashrif buyurilgan URL'lar
    to_visit = [(base_url, 0)]  # Tashrif buyurilmagan URL'lar (URL, chuqurlik)

    while to_visit:
        url, depth = to_visit.pop(0)
        
        if depth > max_depth or url in visited:
            continue
        
        print(f"Skanerlash: {url} (Chuqurlik: {depth})")
        visited.add(url)
        
        html = fetch_html(url)
        if html is None:
            continue
        
        internal_links = find_internal_links(base_url, html)
        for link in internal_links:
            if link not in visited:
                to_visit.append((link, depth + 1))

# Loyihani ishga tushirish
base_url = "https://example.com"
crawl_site(base_url)

Funksiya Tushuntirishi

Har bir funksiya aniq vazifani bajaradi va saytni avtomatik tarzda o‘rganish imkonini beradi.

1 fetch_html Funksiyasi

Ushbu funksiya veb-sahifadan HTML tarkibini yuklaydi.

def fetch_html(url):
    """
    Berilgan URL manzilidan HTML ma'lumotni yuklab olish funksiyasi.
    """
    try:
        response = requests.get(url)
        response.raise_for_status()  # Xatolik yuz bersa xabar beradi
        return response.text
    except requests.RequestException as e:
        print(f"Xato yuz berdi: {e}")
        return None

• requests.get(url) – URL manzilga so‘rov yuboradi va javobni response o‘zgaruvchisiga saqlaydi.

• response.raise_for_status() – Agar HTTP so‘rovda xato bo‘lsa, xatolik haqida xabar chiqaradi.

• response.text – Sahifaning HTML matnini qaytaradi.

Sinov:

html = fetch_html("https://example.com")

2 find_internal_links Funksiyasi

Bu funksiya berilgan HTML tarkibidan sayt ichidagi barcha havolalarni topadi va to‘liq URL'ga aylantiradi.

def find_internal_links(base_url, html):
    """
    HTML tarkibidagi barcha ichki havolalarni topish funksiyasi.
    """
    soup = BeautifulSoup(html, "html.parser")
    internal_links = set()  # Takrorlanmas URL'lar uchun to'plam

    for link in soup.find_all("a", href=True):
        href = link["href"]
        full_url = urljoin(base_url, href)  # To'liq URL yaratish
        # Faqat ichki havolalarni ajratish
        if urlparse(full_url).netloc == urlparse(base_url).netloc:
            internal_links.add(full_url)

    return internal_links

• soup.find_all("a", href=True) – Sahifadagi barcha href atributiga ega <a> teglarini topadi.

• urljoin(base_url, href) – Agar href nisbiy URL bo‘lsa, uni to‘liq URL'ga aylantiradi.

• urlparse(full_url).netloc == urlparse(base_url).netloc – Ichki havolalarni filtrlab olish uchun asosiy domenni tekshiradi.

Sinov:

internal_links = find_internal_links("https://example.com", html)

3 parse_url Funksiyasi

Bu funksiya URL’ning asosiy qismlarini (protokol, domen, yo‘l va boshqalar) ajratadi va ular haqida ma’lumot chiqaradi.

def parse_url(url):
    """
    URL'ning asosiy qismlarini ajratish.
    """
    parsed_url = urlparse(url)
    print("Protokol:", parsed_url.scheme)
    print("Domen:", parsed_url.netloc)
    print("Yo'l:", parsed_url.path)
    print("Parametrlar:", parsed_url.query)
    print("Fragment:", parsed_url.fragment)

• urlparse(url) – URL'ni protokol, domen, yo‘l va boshqa qismlarga ajratadi.

• parsed_url.scheme – URL protokolini qaytaradi.

• parsed_url.netloc – Domen nomini qaytaradi.

• parsed_url.path – Yo‘lni chiqaradi.

Sinov:

parse_url("https://example.com/path/to/page?name=John&age=30#section1")

4 crawl_site Funksiyasi

Bu funksiya saytni ma’lum chuqurlikda skanerlash uchun ishlatiladi. U ichki yo‘llarni ketma-ket o‘rganib, har bir havolaga alohida kiradi.

def crawl_site(base_url, max_depth=2):
    """
    Saytni skanerlash va ichki yo'llarni qayta o'rganish funksiyasi.
    """
    visited = set()  # Tashrif buyurilgan URL'lar
    to_visit = [(base_url, 0)]  # Tashrif buyurilmagan URL'lar (URL, chuqurlik)

    while to_visit:
        url, depth = to_visit.pop(0)
        
        if depth > max_depth or url in visited:
            continue
        
        print(f"Skanerlash: {url} (Chuqurlik: {depth})")
        visited.add(url)
        
        html = fetch_html(url)
        if html is None:
            continue
        
        internal_links = find_internal_links(base_url, html)
        for link in internal_links:
            if link not in visited:
                to_visit.append((link, depth + 1))

• visited – Takroriy tashriflarni oldini olish uchun tashrif buyurilgan URL'larni saqlaydi.

• to_visit – Tashrif buyurilmagan URL'lar ro‘yxati, unda URL va chuqurlik darajasi saqlanadi.

• if depth > max_depth – Maksimal chuqurlikdan oshmaslik uchun cheklov qo‘yadi.

• find_internal_links – HTML tarkibidan barcha ichki havolalarni topadi va to_visit ro‘yxatiga qo‘shadi.

Sinov:

crawl_site("https://example.com", max_depth=2)

Loyihani Ishga Tushirish

Quyidagi kodni ishga tushirganingizda saytning ichki havolalari skanerlash va har bir havola tahlil qilinadi:

base_url = "https://example.com"
crawl_site(base_url)

Loyihaning Ishlash Jarayoni:

1. Asosiy sahifadan HTML tarkibini yuklaydi va barcha ichki havolalarni topadi.

2. Har bir topilgan ichki havolani skanerlashda davom etadi, ularni qayta tahlil qiladi va ichki havolalarni chuqurroq o‘rganadi.

3. Barcha URL’larni qisman tahlil qilish orqali sayt strukturasini to‘liq aniqlaydi.

Bu loyiha sayt ichidagi yo‘llarni skanerlash va ularning strukturasi bo‘yicha tahlil qilish uchun asosiy imkoniyatlarni beradi. Bu usuldan foydalangan holda siz saytda ichki yo‘llarni o‘rganib, kerakli ma’lumotlarni yig‘ishingiz mumkin.