Frisim /nyhetssök/ utvecklingsblogg

Under helgen försöker vi flytta DNS på vår frisim.se-adress, från gratistjänsten Zoneedit.com till vårt webbhotell. Det går lite trögare än jag väntat mig. Förhoppningen var att om man registrerar adressen i på den nya DNS-serverna innan man gör ompekningen hos sin “registrar” så borde det inte bli något glapp då adressen är obrukbar, men det blev det i alla fall. Hoppas det “resolvar” snart ;)

—

Så, nu har DNS:en uppdaterats. Varför det tog så lång tid har jag ingen aning om, men det verkar som om DNS-servern inte “vill vara” authorititive om inte domänen pekar rätt hos dess “registrar”!? Ja ja vem vet.

—

How Krishna Bharat made news with Google

Nu har jag adderat en robots.txt-fil som håller Google borta från att indexera resultat från sökningar i Frisim. Förhoppningen är att detta skall minska belastningen på vår webbsida. Om inte annat så slipper vi den trafik som Google skapar när den hämta sidor hos oss, drygt 0.5GB per månad. Dessutom “missar” vi antagligen de 800 “unika” besökare som kommer till vår sajt via Google varje dag. Tyvärr är allt för stor del av dessa 800 helt ointresserade av vår sajt, och alltså är skräptrafik för oss.

—–

News Sites Make Sense of Web’s Flood of Info

Nu finns Frisim - version blå uppe på den nya servern under labs.frisim.se. På domänen labs.frisim.se kommer vi att försöka utveckla vår nyhetssökmotor. Det första som skall testas är hur mycket servern pallar genom att vi adderar källor och använder den trådade versionen av sök-spindeln. Dessutom kommer vi att göra experiment med mer avancerade “word bursts” och identifiering av liknande nyheter, nyhetskluster.

Mitt bland alla virusmejl som kommit idag kom ett kul mejl från en snubbe med mycket fritid.

Mejlet handlade om att han sökt på “ett ovanligt ord” på Google.com och Google hade returnerat en länk till vår sajt. Sidan som Google hänvisar till är en sökning i Frisim på det “ovanliga ordet”, vilket inte returnerar något vettigt. Snubben tycker i alla fall att jag uppfunnit en ny sorts spam genom att Google indexerar våra sidor, rankar dem högt, och ger totalt irrelevanta sökresultat. Han tycker detta är fel av mig, och att jag skall fixa detta.

Okej, att Google är ett starkt varumärke och har folket på sin sida, det har jag förstått, men att det skulle gå så här lång trodde jag inte. För mig ser detta ut som ett problem hos Google, som inte förstått att “det ovanliga ordet” inte förekommer i något “rimligt” sammanhang på min webbsida. Men okej, jag kan väl förbjuda Google att indexera mina undersidor då, i alla fall fram tills dess att Google hittat på en bättre algoritm för att ranka webbsidor i sina sökresultat.

Det verkar finnas fler sajter som har detta “problem”. Den 7:e augusti fanns ett inlägg på Gnuheter som handlar om samma sak, då i fallet att sajten Gnuheter lockar till sig Google-sökare som är intresserade av Linda Rosing, trots att Gnuheter knappt nämnt hennes namn. I början av augusti hade 13.8% av Gnuheters besökare från Google sökt på Linda Rosing för att komma till Gnuheter. Jag kan kontra med att 1.2% av de besökare Frisim får från Google under samma tidsperiod har sökt på Linda Rosing ;-)

Du som vet den gemensamma nämnaren för Gnuheter och Frisim och förklaringen till detta, kan skicka mig ett nytt kul mejl. ;-) Jag sitter naturligtvis med facit i handen!

Snubben förklarar i ett senare mejl att “klagomålet” är skickat på skoj och skoj det var det :-)

redigering/ Oops, 0.58% har kommit till oss via en sökning på “big brother linda” också.

Google har i ett “alternativt tvisteförfarande” hos IIS fått rätt till domänen Google.se. Domänen “vanns” av ett svenskt kommanditbolag i domännamnsutlottningen i april. Beslutet hittas på IIS hemsida.

Hoppas nu att Google börjar använda domänen =)

Enligt en artikel i Dagens Media så har Sydsvenskan startat tjänsten Sydsvenskan Direkt för att leverera sina nyheter även via andra tekniker än webbläsare, t.ex. SMS och email. Dessutom kan man bestämma vad man vill ha levererat, även om det bara baseras på deras egna kategorier. Tekniken verkar vara byggd av företaget Teknik i Media. Tyvärr kan jag inte prova då jag tydligen inte har rätt Flash-”plugin”.

Vi tar bort den trådning som innebär att vi avsökt och indexerat tre sajter parrallellt. Webbhotellet tycker att det drar för mycket resurser, och jag är inte förvånad =)

Doug Cutting har startat ett nytt sökmotor-projekt: nutch. Tanken är att det skall bli/vara en sökmotor utvecklad med öppen källkod (open source). Projektet verkar vara sponsrat av Overture och Archieve.org och det verkar vara meningen att motverka något av det “monopol” som Google har på sökresultat och sökalgoritmer just nu. (Doug Cutting är en “kändis” i sökmotorbranschen då han utvecklat Apples Sherlock-applikation och byggt sökmotorn till Excite. Lite kul är att vid en sökning på “doug cutting” på Google så annonserar Google efter sökmotorutvecklare via en AdWords-annons ;) )

Via ResourceShelf.

Nu har vi påbörjat installationen av en kopia av Frisim som skall köra på en egenuppsatt server. Installationen gör vi själva vilket innebär att vi också måste sätta upp de “tjänster” som Frisim behöver för att köra: Apache, MySQL och någon programvara som kör Java-servlets (tex. Tomcat). Även om jag gjort denna typ av installation tidigare (med Apache version 1.3) så har det tagit rätt mycket tid. Det är lite struligt att få Apache2 att prata med Tomcat via mod_jk2-modulen ihop med “virtual name hosts”. Nu finns i alla fall en katalog för Frisim under en av användarna och en subdomän, labs.frisim.se som pekar på hemkatalogen. En installerad servlet skall gå att nå under /frisim/servlet/FrisimExample. Nu gäller det bara att dokumentera vad som är gjort så att det går lite snabbare nästa gång något liknande ska sättas upp, samt att flytta över Java-applikationerna som driver Frisim.

Servern, som det som kommer att bli “Frisim - version blå” kör på, står i England. Hittills har servern fungerat fint. Lite “trögare” än vårt nuvaranade svenska konto är det väl, men å andra sidan är det kul med root-rättigheter, och en webbplats som man enkelt kan koppla fler domäner och användare till utan att det kostar något extra.

—-

Google betatestar sin “news alert”-tjänst. Google-news skulle slå ut företag som Agent25 och nyheter.se mycket snabbt om de började indexera svenska sajter. Hoppas inte!