Le Web

Cours

Les moteurs de recherche

Une recherche sur le web se fait à l'aide d'un moteur de recherche.

Il ne faut pas confondre le navigateur et le moteur de recherche.

Un navigateur permet d'afficher du contenu web après avoir effectué une requête auprès d'un serveur, le moteur de recherche utilise le navigateur pour effectuer des recherches.

Une vidéo qui explique le principe de fonctionnement d'un moteur de recherche

Complément :

Faites des recherches en utilisant des moteurs de recherche tel que :

Et bien d'autres....

Établir si possible les différences observées...

Les cookies

Visionnez ces deux vidéos.

Rédigez un texte qui résumera les thèmes abordés dans ces vidéos.

Paramétrer son navigateur

En vous aidant de cette vidéo et des informations du site de la CNIL paramétrez votre navigateur pour limiter vos traces sur le web.

Le Rang d'une page web

Google...

En 1998, deux jeunes doctorants de l'université de Stanford, Larry Page et Sergey Brin (en collaboration avec Motwani et Wynograd) publiaient un article intitulé "The PageRank Citation Ranking: Bringing Order to the Web" présentant les résultats d'un nouvel algorithme permettant de classer les pages web selon leur popularité et montrant la précision de cet algorithme sur un nouveau moteur de recherche appelé ... Google !

On simule le comportement d'un internaute.

On démarre au hasard sur une page

On suit de façon aléatoire un lien se trouvant sur cette page

Et ainsi de suite

On impose le fait que dans 15% des cas , l'utilisateur abandonne sa navigation pour repartir d'une page au hasard.

Notre utilisateur va se balader de pages en pages, en faisant son petit tour du net. A chaque fois que l'utilisateur tombe sur une page donnée, cette page gagne un point. Et à la fin, la page ayant le plus de point est alors la page la plus populaire du réseau !

Simulation : Et si on faisait un programme

Considérons 6 sites web : A, B, C, D, E, F ayant des liens hypertexte entre eux.

Le site A contient un lien vers les sites "B", "C" et "E" (3 liens sortants)

Le site B contient un lien vers le site "F" (1 lien sortant)

Le site C contient un lien vers les sites "A" et "E" (2 liens sortants)

Le site D contient un lien vers les sites "B" et "C" (2 liens sortants)

Le site E contient un lien vers les sites "A", "B", "C", "D" et "F" (5 liens sortants)

Le site F contient un lien vers le site "E" (1 lien sortant)

Avec Processing

Commençons par mettre ces informations dans des variables

# import de la bibliothèque random
import random
# programme principal
def setup():
    # création d'un dictionnaire Hypertexte
    Hypertext = {}
    # création d'un dictionnaire pour le nombre de visite
    Walk_Number = {}
    # une variable pour le nombre total de visite
    Total_Walk = 0
    #liste des sites web
    Websites = ["A","B","C","D","E","F"]
    # les liens hypertextes
    #  le dictionnaire possède des clés ( nom des sites)
    # Qui contiennent des listes (liens hypertextes)
    Hypertext["A"] = ["B","C","E"]
    Hypertext["B"] = ["F"]
    Hypertext["C"] = ["A","E"]
    Hypertext["D"] = ["B","C"]
    Hypertext["E"] = ["A","B","C","D","F"]
    Hypertext["F"] = ["E"]
    print(Hypertext)
    # On initialise à 0.0 les visites des sites 
    Walk_Number["A"] = 0.0
    Walk_Number["B"] = 0.0
    Walk_Number["C"] = 0.0
    Walk_Number["D"] = 0.0
    Walk_Number["E"] = 0.0
    Walk_Number["F"] = 0.0

# import de la bibliothèque random
import random
# programme principal
def setup():
    # création d'un dictionnaire Hypertexte
    Hypertext = {}
    # création d'un dictionnaire pour le nombre de visite
    Walk_Number = {}
    # une variable pour le nombre total de visite
    Total_Walk = 0
    #liste des sites web
    Websites = ["A","B","C","D","E","F"]
    # les liens hypertextes
    #  le dictionnaire possède des clés ( nom des sites)
    # Qui contiennent des listes (liens hypertextes)
    Hypertext["A"] = ["B","C","E"]
    Hypertext["B"] = ["F"]
    Hypertext["C"] = ["A","E"]
    Hypertext["D"] = ["B","C"]
    Hypertext["E"] = ["A","B","C","D","F"]
    Hypertext["F"] = ["E"]
    print(Hypertext)
    # On initialise à 0.0 les visites des sites 
    Walk_Number["A"] = 0.0
    Walk_Number["B"] = 0.0
    Walk_Number["C"] = 0.0
    Walk_Number["D"] = 0.0
    Walk_Number["E"] = 0.0
    Walk_Number["F"] = 0.0

Avec Un IDE Python ( EduPython - Spyder...)

import random
# création d'un dictionnaire Hypertexte
Hypertext = {}
# création d'un dictionnaire pour le nombre de visite
Walk_Number = {}
# une variable pour le nombre total de visite
Total_Walk = 0
#liste des sites web
Websites = ["A","B","C","D","E","F"]
# les liens hypertextes
#  le dictionnaire possède des clés ( nom des sites)
# Qui contiennent des listes (liens hypertextes)
Hypertext["A"] = ["B","C","E"]
Hypertext["B"] = ["F"]
Hypertext["C"] = ["A","E"]
Hypertext["D"] = ["B","C"]
Hypertext["E"] = ["A","B","C","D","F"]
Hypertext["F"] = ["E"]
print(Hypertext)
# On initialise à 0.0 les visites des sites 
Walk_Number["A"] = 0.0
Walk_Number["B"] = 0.0
Walk_Number["C"] = 0.0
Walk_Number["D"] = 0.0
Walk_Number["E"] = 0.0
Walk_Number["F"] = 0.0

import random
# création d'un dictionnaire Hypertexte
Hypertext = {}
# création d'un dictionnaire pour le nombre de visite
Walk_Number = {}
# une variable pour le nombre total de visite
Total_Walk = 0
#liste des sites web
Websites = ["A","B","C","D","E","F"]
# les liens hypertextes
#  le dictionnaire possède des clés ( nom des sites)
# Qui contiennent des listes (liens hypertextes)
Hypertext["A"] = ["B","C","E"]
Hypertext["B"] = ["F"]
Hypertext["C"] = ["A","E"]
Hypertext["D"] = ["B","C"]
Hypertext["E"] = ["A","B","C","D","F"]
Hypertext["F"] = ["E"]
print(Hypertext)
# On initialise à 0.0 les visites des sites 
Walk_Number["A"] = 0.0
Walk_Number["B"] = 0.0
Walk_Number["C"] = 0.0
Walk_Number["D"] = 0.0
Walk_Number["E"] = 0.0
Walk_Number["F"] = 0.0

La partie calcul...

L'algorithme :

i=0
tant que i<1000
   On choisit au hasard un site --> x
   tant qu'un nombre aléatoire est inférieur à 0.85
      le nombre de visite de x est incrémenté de 1
      le nombre total de visite est incrémenté de 1
      x <-- un lien hypertexte visitable
   i=i+1
on fait afficher les résultats

i=0
tant que i<1000
   On choisit au hasard un site --> x
   tant qu'un nombre aléatoire est inférieur à 0.85
      le nombre de visite de x est incrémenté de 1
      le nombre total de visite est incrémenté de 1
      x <-- un lien hypertexte visitable
   i=i+1
on fait afficher les résultats

Il faut donc rajouter à notre programme les lignes suivantes :

Avec Processing

i = 0
    while i < 1000:
        x = random.choice(Websites)
        while random.random() < 0.85:
            Walk_Number[x] = Walk_Number[x] + 1
            Total_Walk = Total_Walk + 1
            x = random.choice(Hypertext[x])
        i = i + 1
    print (Walk_Number)
    print(Total_Walk)

i = 0
    while i < 1000:
        x = random.choice(Websites)
        while random.random() < 0.85:
            Walk_Number[x] = Walk_Number[x] + 1
            Total_Walk = Total_Walk + 1
            x = random.choice(Hypertext[x])
        i = i + 1
    print (Walk_Number)
    print(Total_Walk)

Avec Un IDE Python ( EduPython - Spyder...)

i = 0
while i < 1000:
    x = random.choice(Websites)
    while random.random() < 0.85:
        Walk_Number[x] = Walk_Number[x] + 1
        Total_Walk = Total_Walk + 1
        x = random.choice(Hypertext[x])
    i = i + 1
print (Walk_Number)
print(Total_Walk)

i = 0
while i < 1000:
    x = random.choice(Websites)
    while random.random() < 0.85:
        Walk_Number[x] = Walk_Number[x] + 1
        Total_Walk = Total_Walk + 1
        x = random.choice(Hypertext[x])
    i = i + 1
print (Walk_Number)
print(Total_Walk)

Finalement quel est le classement obtenu ?

Était-ce prévisible ?

Travail à réaliser :

En utilisant le programme :