WiKiwix | Wikipediaondvd | Cache |
PDD en cours : Discussion Wikipédia:Prise de décision/Système de cache
Présentation du projet cache.
Depuis quelques mois, Linterweb a entrepris un travail sur les liens externes de fr.wikipedia.org Pour l'instant, cela prend la forme de remontée de ces liens au sein de wikiwix.com. Afin d'étudier la qualité de ces liens, nous nous aventurons dans la conception d'un moteur de recherche contenant ces liens. C'est ainsi que nous nous sommes aperçus que beaucoup d'entre eux était en erreur 404 (c'est-à-dire que les pages n'existaient plus), soit environ 5 %.
Parallèlement à notre travail, nous nous sommes aperçus qu'une partie de la communauté, dont le Projet:Correction des liens externes, travaillait d'arrache-pied sur la question et qu'une solution consistait à fournir un cache pour les liens externes.
Un cache est un outil de sauvegarde de données qui est utilisé par les moteurs de recherche et aussi par des sites comme internet archive. D'un point de vue de la légalité d'une telle sauvegarde, il semblerait qu'elle respecte le code html "no-archive" avant de sauvegarder le contenu. Le dossier est en cours d'étude par mon avocat spécialisé NTIC.
Pour tester le fameux cache et nous permettre de savoir si un tel outil a de l'avenir au sein de Wikipedia, je vous invite donc à tester le cache en plaçant importScript("User:Pmartin/cache.js"); dans votre monobook et à venir nous faire part de vos remarques sur cette page.
Cela ajoute à côté de chaque lien externe un petit lien vert vers la page mise en cache par wikwix. Voici un exemple pris au hasard de cache.
L'intérêt du cache consiste à rendre fiables les sources internet de sorte qu'elles ne finissent pas en erreur 403, 404, 410 ou 500 lorsque le site est déplacé, supprimé, etc.
Cet outil n'est pas intrusif, c'est-à-dire qu'il ne fait pas de requêtes sur les serveurs de Wikiwix lorsqu'un internaute visionne un article de Wikipedia.
De plus seulement les liens externes contenu dans le namespace 0, c'est-à-dire celui des articles, sont mis en cache.
Lors de la suppression d'un lien externe dans un article, celui-ci sera effacé du cache de façon automatique après vérification que celui-ci n'est plus lié à aucun article.
Il y a la possibilité de désactiver le cache en ajoutant no_external_cache = true; à votre monobook.
Cordialement, Pmartin (d) 19 août 2008 à 14:53 (CEST) et Dodoïste [réveille-moi] 21 août 2008 à 06:50 (CEST)
Mais les liens que j'ai indiqué dans la page concernant Victor Ernst NESSLER, renvoient à mon site Généanet personnel..... et je suis d'accord pour qu'on y accède ! Alors, y a-t-il moyen de supprimer ce cache ? Que doit-on faire ? Tout cela devient bien compliqué, savez-vous ! Cordialement. Jean-Pierre BERNARD.
Elle apparaît ci-dessous telle qu'elle était lorsqu'elle elle a été insérée comme lien externe dans Wikipedia.
Vous trouverez des informations et pouvez donner votre opinion sur le cache sur cette page. | Si vous souhaitez interdire la mise en cache de ce site, merci d'utiliser le formulaire de blocage de site. » reste toujours présent quelque soit où l'on navigue dans la page. J'ai essayé de le faire disparaitre ce message avec l'extension firefox « element hiding helper pour adblock plus » mais ça efface le message et le contenu de la page. Merci de faire en sorte que ça change.
sinon qu'il me bousille mon travail et le lien externe dans l'article Heidegger et Aristote vers Persée http://www.persee.fr/web/revues/home/prescript/article/phlou_0035-3841_1989_num_87_76_6579. Les inventeurs de ces joujous devraient comprendre que tous les intervenants ne maîtrisent pas l'informatique et que le les instructions de correction ( Il y a la possibilité de désactiver le cache en ajoutant no_external_cache = true; à votre monobook.) restent un jargon inutilisable. Je suis fatigué d'avoir à me battre avec ces petits génies. Merci de m'en dispenser --Gerard-emile (discuter) 7 janvier 2015 à 05:01 (CET)
Bonjour Pmartin,
Je suis entrain de travailler sur l'article Laurent Fignon et depuis, peu un grand nombre des liens sont bloqués par le cache et je ne sais pas comment faire pour permettre à nouveau que ces liens soient consultables depuis l'article. Merci. Cordialement. Bebel92 (discuter) 27 août 2016 à 10:06 (CEST)
Bonjour, certaines pages du cache affichent une simple page blanche (sous Firefox 50).
Exemples :
Pourriez-vous, au moins, faire apparaître un message d'explication de la non mise en cache de ces pages ? ContributorQ(✍) 7 février 2017 à 00:43 (CET)
Bonjour, peut-être vous rendrez-vous un peu mieux compte du niveau de gogolerie d'ignorance en informatique des gens à qui vous vous adressez, si je vous pose la question : "c'est quoi un monobook ?" (= où c'est, comment on s'en sert ?) Je suis "pour" faire un effort pour que les liens ext. mis en ref ne risquent pas, ou risquent moins, de se retrouver cassés ; mais pas au point d'aller chercher ce que c'est que ce truc-là, ni de galérer pour trouver comment on s'en sert - car galère ce sera presque assurément. Donc non merci. J'ai retenu la page Modèle:Lien brisé, je trouve déjà bien assez compliqué de l'utiliser quand il s'agit d'arranger un lien dans une ref "wikifiée" (après plusieurs essais j'ai décidé de ne plus m'emmerder et de de coller le modèle 'lien brisé' à la suite des doubles accolades fermantes, de le compléter avec le lien coupé-collé depuis la ref). Soit dit en passant, ça serait bien si votre formule, là, était présentée de la même façon que les pages de modèles (enfin, pour la plupart - certaines ne sont pas vraiment au point et manquent de clarté, mais bon dans l'ensemble c'est à peu près compréhensible). C'est-à-dire une page d'explications "pour idiots" (comme la collection de bouquins du même titre). Du pas par pas expliqué le plus simplement possible et chaque pas illustré par des exemples.
Et merci pour le travail utile. Les liens brisés sont une plaie. (et en plus les pauvres se font presque engueuler, lol, ça vous apprendra à être utiles, tiens !) Pueblopassingby (discuter) 1 mars 2017 à 21:41 (CET)
Bonjour, dans certains cas (cas d'une redirection ?), l'archive ne s'affiche pas et se recharge en boucle. Voir l'unique lien externe de la section « Notes et références » de l'article Le Sphinx (éditeur de logiciel). ContributorQ(✍) 3 août 2019 à 12:35 (CEST)
Bonjour, depuis plusieurs jours, l'archive Wikiwix ne renvoie, pour chaque lien externe, qu'une page blanche avec ce message : « cant connect db ». --ContributorQ(✍) 31 août 2019 à 10:53 (CEST)
Bonjour, afin de mieux affiner la génération des caches des sites internet, serait il possible de connaître le user agent présenté par le bot générant les caches ? en vous remerciant. --NyHor (discuter) 14 octobre 2019 à 17:07 (CEST)
Sur cette page, je constate que la page affiche :
Error 401
We are not allowed to archive this url
Le script pourrait récupérer le 401 pour ajouter automatiquement la page dans la liste des sites bloqués. En effet : 401=Unauthorized : une authentification est nécessaire pour accéder à la ressource. OuiQui (discuter) 7 août 2020 à 13:25 (CEST)--
Bonjour,
La bonne nouvelle c'est que le code de l'archive est en opensource depuis le 31 Décembre, le code est accessible ici https://gitlab.com/dev_linterweb/web-archiver la licence retenue est la WTFPL.
L'autre bonne nouvelle, c'est que la V2 est opérationnelle depuis quelques mois maintenant, je vais alimenter le wiki de gitlab au fil de l'eau.
La mauvaise nouvelle c'est que je subis une attaque depuis 72 heures relativement violente qui est canalisée depuis hier, cf log ci dessous. Depuis cette attaque un problème probablement matériel ne me permet pas de remettre en place le service rapidement, je devrai pouvoir m'en sortir la semaine prochaine.
121.175.79.156 - - [15/Jan/2021:08:38:48 +0100] "GET /cache/bar.php?url=http%3A%2F%2Fdatingadvisor.ch HTTP/1.1" 403 508 "http://www.sinp.msu.ru/ru/ext_link?url=http%3A%2F%2Farchive.wikiwix.com%2Fcache%2Fbar.php%3Furl%3Dhttp%253A%252F%252Fdatingadvisor.ch" "Opera/9.80 (Windows NT 6.1; WOW64; MRA 8.2 (build 7100)) Presto/2.12.388 Version/12.17" 118.38.218.36 - - [15/Jan/2021:08:38:48 +0100] "GET /cache/bar.php?url=http%3A%2F%2F1800america.org HTTP/1.1" 403 508 "http://sotofone.ru /bitrix/rk.php?goto=http%3A%2F%2Farchive.wikiwix.com%2Fcache%2Fbar.php%3Furl%3Dhttp%253A%252F%252F1800america.org" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.183 Safari/537.36 Vivaldi/1.96.1147.42" 211.250.198.109 - - [15/Jan/2021:08:38:48 +0100] "GET /cache/bar.php?url=http%3A%2F%2Fme-gray.com HTTP/1.1" 403 508 "http://mb.wendise.com/tools/thumbs.php?tds=3&trs=1&pid=videos&tid=bpgfr&pad=4px&cat=0&ts=156x117&tb=0px&tbc=FFFFFF&fs=12px&ff=Verdana&su=td&sl=ttm&tg=n&url=http%3A%2F%2Farchive.wikiwix.com%2Fcache%2Fbar.php%3Furl%3Dhttp%253A%252F%252Fme-gray.com" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.117 Safari/537.36" 178.159.37.129 - - [15/Jan/2021:08:38:48 +0100] "GET /cache/bar.php?url=http%3A%2F%2Fshehive.com HTTP/1.1" 403 508 "http://addictive.me.uk/go.pl?go=d.r.en.c.hedzm.b&referer=http%3A%2F%2Farchive.wikiwix.com%2Fcache%2Fbar.php%3Furl%3Dhttp%253A%252F%252Fshehive.com" "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4091.2 Safari/537.36" 62.171.165.59 - - [15/Jan/2021:08:38:48 +0100] "GET /cache/bar.php?url=http%3A%2F%2Fchildren1st.com HTTP/1.1" 403 508 "http://bax.kz/redirect?url=http%3A%2F%2Farchive.wikiwix.com%2Fcache%2Fbar.php%3Furl%3Dhttp%253A%252F%252Fchildren1st.com" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.170 Safari/537.36 OPR/53.0.2907.99" 107.175.247.68 - - [15/Jan/2021:08:38:48 +0100] "GET /cache/bar.php?url=http%3A%2F%2Ftaraa.xyz%2F2WXV HTTP/1.0" 403 471 "http://www.caterina-hein.de/url?q=http%3A%2F%2Farchive.wikiwix.com%2Fcache%2Fbar.php%3Furl%3Dhttp%253A%252F%252Ftaraa.xyz%252F2WXV" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3238.0 Safari/537.36" 196.199.122.124 - - [15/Jan/2021:08:38:48 +0100] "GET /cache/bar.php?url=http%3A%2F%2Fscubaphoto.latoniccia.fr%2Fpicture.php%3F%2F423%2Flist%2F2158,3134,513,2597,423,148,1441,3042,2471,2055,3910,1143,4417,1092,3322%26comments_order%3DDESC HTTP/1.0" 403 471 "http://tamdam.ru/ru/tips?tip=ExternalLink&link=http%3A%2F%2Farchive.wikiwix.com%2Fcache%2Fbar.php%3Furl%3Dhttp%253A%252F%252Fscubaphoto.latoniccia.fr%252Fpicture.php%253F%252F423%252Flist%252F2158,3134,513,2597,423,148,1441,3042,2471,2055,3910,1143,4417,1092,3322%2526comments_order%253DDESC" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:31.3) Gecko/20100101 Firefox/42.0" 84.17.35.59 - - [15/Jan/2021:08:38:48 +0100] "GET /cache/bar.php?url=http%3A%2F%2Fmiepvuz.ru%2Fbitrix%2Frk.php%3Fgoto%3Dhttps%253A%252F%252Fyoutu.be%252F3oDED6hF-rk HTTP/1.1" 403 508 "http://netalfa.hu/ext_link?url=http%3A%2F%2Farchive.wikiwix.com%2Fcache%2Fbar.php%3Furl%3Dhttp%253A%252F%252Fmiepvuz.ru%252Fbitrix%252Frk.php%253Fgoto%253Dhttps%25253A%25252F%25252Fyoutu.be%25252F3oDED6hF-rk" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2986.42 Safari/537.36" 210.16.82.243 - - [15/Jan/2021:08:38:48 +0100] "GET /cache/bar.php?url=http%3A%2F%2Fwww.lafent.com%2Fadmse%2Fbanner%2Flibs%2Furl.php%3Furl%3Dhttps%3A%2F%2Fgamestienlen.com%2Ftienlen%2Fprofile.php%253Fid%3D318936 HTTP/1.1" 403 508 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3315.3 Safari/537.36" 103.98.149.145 - - [15/Jan/2021:08:38:48 +0100] "GET /cache/bar.php?url=http%3A%2F%2Flifesettlementexpert.com%2F__media__%2Fjs%2Fnetsoltrademark.php%3Fd%3Dwww.blogcunghoangdao.com HTTP/1.1" 403 508 "http://www.heilpraktikerin-jung.de/url?q=http%3A%2F%2Farchive.wikiwix.com%2Fcache%2Fbar.php%3Furl%3Dhttp%253A%252F%252Flifesettlementexpert.com%252F__media__%252Fjs%252Fnetsoltrademark.php%253Fd%253Dwww.blogcunghoangdao.com" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.170 Safari/537.36" Cordialement Pmartin (discuter) 15 janvier 2021 à 13:17 (CET)