Som jag tidigare skrivit så verkar inte TT så glada över svenska Google News. Till min stora förvåning så verkar det dock inte som om alla på TT har förstått vad Google News är för något. Häromdagen kablade TTSpektra ut en artikel som publicerades i rätt många nyhetssajter som köper TT-feeds. Artikeln finns bland annat i min lokaltidning Corren.se. Artikeln innehåller texten (min markering):

Nobelpristagaren och frihetskämpen Nelson Mandela, som fyller 90 år den 18 juli, fanns självklart på hedersplats under konserten, rapporterar Google News.

Känns en aning skumt att TT hänvisar till Google News som en “rapporterande” källa. Google News aggregerar nyheter från andra sajter, och producerar inga enga rapporter alls. Ja ja, kanske är det bara en miss som kanske uppkommit på grund av sommarjobbare som tagit över nyhetsrapporteringen i Sverige.

Artikeln har sitt ursprung i att någon konstaterat att det tog mer än en timme för nyheten om bortgången av en NBC News reporter att dyka upp på framsidan av Google News. Google skyller på tekniska problem, men faktum är att jag tycker att det speglar lite hur en ”nyhetsaggregator” fungerar. Det tar säkert en halvtimme för en algoritm att avgöra om det är en ”viktig” nyhet eller inte.

En nyhetsaggregator kan bara basera ”viktigheten” på vilken källa det är som publicerar, var på sajten nyheten visas, hur många andra källor som skriver om samma händelse, och i vilken ordning som källorna tar upp nyheten. Det är helt enkelt de nyhetsproducerande källorna som bestämmer vad som är viktigt, och en aggregeringssajt kan bara försöka följa efter så gott det går. Blandar man in andra typer av ”sociala tjänster” som t.ex. bloggar, mikrobloggar och sociala nätverk där folk länkar och kommenterar nyheter så har man ytterligare ett antal källor till att rangordna nyheternas ”viktighet”. Jag gissar att Google News använder sitt bloggsök, och de som pingar in sina uppdateringar till Google, inte bara för sitt bloggsök, utan även för att rangordna sina nyheter på Google News. Det gör även Frisim och t.ex. Knuff/nyheter.

Google säger att du får ut mycket av sin nyhetssökningsfunktion, och påpekar att de använder nyhetslänkar bland sina vanliga sökresultat, där de också visar annonser. John Battelle kommenterar och tror att den svaga tillväxten för Google News beror på att Google fortfarande saknar en affärsmodell för nyheter. Och visst är det väl lite märkligt att Google inte har någon koppling mellan Google News och någon av sina video-tjänster.

Många använder Google News, som är den 8:e största nyhetssajten med sina 11.4 miljoner besökare under maj månad. Många tycker också den fungerar bra, och i New York Times-artikeln intervjuas experter som tror att det inte går att göra så mycket bättre med en algoritm. Själv är jag inte lika imponerad. Det är inte funktionen i sig som jag tycker fungerar dåligt, utan problem ligger i att den svenska versionen har ganska få aktiva källor, samtidigt som det för mig som besökare är svårt att förflytta sig mellan den svenska och US-versionen av sajten. Dessutom tycker jag att det är synd att större bloggar inte räknas in bland nyhetsskällorna. Idag tittar jag hellre på Techmeme för att hitta dator-nörd-nyheter än på Google News Sci/Tech. Skillnaden i hur Techmeme och Google News fungerar rent tekniskt tror jag inte är så stor (även om Techmeme eventuellt bara läsa RSS-data, medan Google News, precis som Frisim, läser hela webbsidor). Skillnaden ligger i vilka källor som är med. Ibland är bloggar och pressmeddelanden väl så intressanta att länkas vidare till som en nyhet på en ”nyhetssajt”. Tyvärr är det också uppenbart för mig när jag jämför dessa sajter, att antalet och bredden på källor som finns i Sverige jämfört med USA är stor. Sverige har ingen egen Techcrunch, och heller ingen NYTimes, ingen Nature, och definitivt ingen Boston.com/bigpicture. (Appropå Nature så har de en aktuell artikel om eScienceNews som är en Google News som är nischad bara mot naturvetenskap.)

Så hur kan en svensk nyhetsaggregeringssajt utvecklas? Kanske kan den göras bättre genom att samla in mer data från ”social media”-sajter där besökare länkar till nyhetsartiklar, kanske kan den bli bättre genom att förbättra funktionaliteten på metoderna för att koppla ihop nyheter med varandra, och kanske kan den bli bättre om man tillåts blanda in nyheter på engelska – eventuellt genom att först automatöversätta dem till svenska för att enklare kunna koppla ihop dem med eventuella svenska versioner. Men innan jag funderar mer så ska jag provprogrammera lite :-)

Lite beroende på vilken typ av sajt det gäller så är olika typer av statistik intressantare än annan. Har du t.ex. en e-butik så är du säkert intresserad av hur “surfvägen” för en besökare som köper skiljer sig från de som inte köper. Sånt kan man hålla koll på relativt enkelt med Google Analytics. Där kan man också göra så kallade A/B-test som gör att man kan utvärdera vilken av två versioner av en webbsida som “funkar bäst” (dvs kanske leder till flest köp, eller fler annonsvisningar).

På Frisim använder jag Google Analytics. Senaste veckan har jag också provat Woopra som är en statstiktjänst som bygger på att man i realtid vill hålla koll på vad som händer på sajten. Statistiken tittar du på genom den Java-client som du kör lokalt på din dator. Programmet är snyggt och funkar bra.

Från skärmbilden ovan kan man se att webbsidan där Woopra är installerat har 5 akriva besökare (dvs., 5 besök under de senaste c:a 30 sekunderna), varifrån de kommer (alla är från Sverige i mitt fall), och få en massa annan statistik om operativ och webbläsare.

Jämfört med Google Analytics är dock Woopra mesigt. Ok, det är säkert lite cool att hålla koll på sina besökare i realtid, t.ex via den karta där dina besökare plottas upp, men det bygger nog på att du har massvis med besök från hela världen. För en sajt som Frisim, som bara har svenska besökare, så blir kartan rätt ointressant. Jag fick inte Woopra att logga interna “exitsidor” som görs med “redirects”, så jag har inte lyckats använda det för att hålla koll på vilka nyhetslänkar det är som besökaren klickar på. För att göra det måste jag även i fortsättningen använda egna script.

Slutsatsen blir att Woopra säkert är lite kul om du har en internationell sajt med mycket besökare, men för en mindre svenska sajt så är det inte så användbart. För oss med små hemsidor, eller för dig som inte har någon hemsida alls, men ändå vill titta på webbsidesstatistik så är Google Trends för “websites” intressant. Där kan du t.ex. konstatera att Allaannonser.se ser ut att ha fler besökare än Sesam.se.

—

Svagt relaterat till ovanstående om FRAs befogenheter så har Twingly lanserat sin bloggsökmotor Twingly i veckan. Ironiskt nog så ger en sökning på just FRA inga resultat alls. Lite otur kanske? Annars lovar Twingly gott, och inte minst trevligt är det att det är ett Linköpingsföretag.

—

Mindpark har, för första gången, lanserat en “tjänst” - ett Mediesök. Det är en söksida som bygger på Google CSE/Site search. Googles Site Search verkar erbjuda en del riktigt schyssta funktioner för sina betalande ($100 per år) användare, som t.ex. möjlighet att påverka ordningen i vilken sökresultaten kommer. Mina gamla försök med gratisversionen av Google CSE för nyheter blev inte så bra. Jag tror att “Mediesök” skulle förbättras avsevärt om listan med källor fanns tillgänglig.

—-

För några veckor sedan så lade BBC upp samlingssidor under namnet BBC/Topics som beta-version. Samlingssidorna är automatgenererade och syftar till att samla ihop allt material som BBC har på sin sajt inom utvalda teman och runt “kända” personer. En kortare funktionsbeskrivning finns i deras blogg. Jag tror att denna typ av sidor borde kunna fungera bra även för svenska sajter som SR, TV4 och SVT.

BBC har också mycket annat kul på sina “backstage”-sidor. Till exempel så finns där ett test-sida för att använda Lucene och Wikipeda för att göra automatisk taggning av texter. Spännande, men lite för långsam för att det ska fungera i drift, tror jag. (källa.)

—

Det svenska företaget med det schyssta namnet Tailsweep fortsätter att bygga på sin sökmotor. En massa detaljer hittar du på Lucene/Solr-maillistan.

—

Och eftersom alla läsare av denna utvecklingsblogg är väldigt intresserade av att se hur det ser ut på den plats där Frisim utvecklas så kommer här en bild :-)

PM Nilsson och Leo Lagercrantz startar snart tillsammans med Bonnier med flera sajten Newsmill. Enligt beskrivningar på mediasajterna Resumé och Dagens media så har Newsmill den amerikanska “nyhetsbloggen” Huffingtonpost som förebild. Det låter som ett bra mål om man vill starta en blogg med nyhetsfokus, kombinerat med nyheter och användarkommentarer, eftesom den är störst; bloggen är den med störst auktoritet (antal inlänkningar?) enligt Technoratis topp 100-lista. En annan inspirationskälla sägs vara Newswine som också innehåller en hel den “användargenererade” nyheter. (Jag betatestade Newsvine innan den lanserades i mars 2006.)

Förhoppninsvis innebär Newsmill.se att vi får se “den nya typen” av nyhetssajt (eller debattsajt, som Jounalisten kallar den) anpassad för svenska nyheter. Kanske blir det inte mer än en re-write sajt av DagensPS-snitt men med lite bättre placering av läsarkommentarerna, men lite spännande blir det.

Newsmill.se har en blogg där man kan följa en liten del av utvecklingen.

Användare får betala mellan 10 till 12 cent per processorkärna och timme samt mellan 15 till 18 cent per gigabyte lagrad data och månad. Till det kommer trafikavgifter. 11 till 13 cent per utgående gigabyte och mellan 9 till 11 cent per ingående gigabyte.

När jag har tid vill jag flytta in term-vector-data från Frisims index till Googles “datastore” Big Table för lagring, och använda Google App Engine för att beräkna nyhetskluster.

————

Amazon har färdiga images för att köra Hadoop på EC2. När jag får tid ska jag sätta upp ett litet kluster av Hadoop-noder och se hur det fungerar. Amazon EC2 har också färdiga “images” av operativsystem för att köra Hadoop MapReduce för distribuerade datahantering. När jag har tid ska jag prova hur denna typ av distribuerade processning fungerar i ett litet Amazon EC2-kluster. Vet inte rikitgt vilken typ av nyhetsdataanalys som är intressant att gör på dessa vis, men det ska nog gå att hitta på något.

Gota media bestämmer sig för att skicka med hela hela artiklarna i flera av sina tidningars RSS-feeds. Jag har skivit om hela artiklar i RSS tidigare. De väljer dock att inte ta med hela artikeln om det är så att den kommer från TT, av någon anledning.

Konceptet på AideRSS fascinerar mig. Jag funderar lite smått på om det inte går att göra en liknande tjänst fokuserad på svenska nyheter. Tanken blir då att du tar en eller flera RSS-feeds från en eller flera tidningar och tjänsten mixar ihop den till en, men den lägger bara in sådana inlägg (nyheter) som har väckt viss uppmärksamhet från “andra nyhetsläsare”. Mått på uppmärksamhet bygger man nog enklast genom att samla data från tjänster som del.icio.us, jaiku, twitter och från bloggar. Låter det användbart?

Snubben som verkar jag gjort större delen av jobbet bloggar om jämförelser mellan Lucene och Minion på sin Sun blogg. Där länkar han bl.a. till en föreläsningsfilm som tar upp lite typiska sökmotorkonstruktionsproblem, men den handlar tyvärr inte om Minion specifikt.

Bison@Jaiku lät meddela att han skulle intervjua de två “publika” personer som jobbar på Google Sverige, och ville ha frågor till intervjun från Jaiku-användare. Jag kunde inte hålla mig, och önskade att han frågade dem om ryktet om Google News och TT var sant. Bison-Fredrik ställde den frågan, och många andra, och presenterar intervjun på sin blogg. På frågan som Google News så var svaret detta:

Michael Zackrisson: Varför är svenska Google News så sunkig? Finns några ambitioner att göra den mer heltäckande? Och att t ex. låta användare söka i flera olika språk? Clas Rydergren: Det vore intressant att höra hur ni ser på utvecklingen av Google News Sverige utan samarbete med TT.

Nicklas: Meh! Sunkig? Det tycker inte jag den är, men okej, jag är ju partisk. Tricket är ju att en nyhetsaggregator blir ju bättre ju fler källor den har och det där kan växa över tid. Vi utvecklar den även genom olika samarbeten. Om vi har missat någon bra nyhetskälla får ni gärna tipsa om den så att vi kan lägga in den och göra tjänsten ännu bättre.

Zackrisson@Jaiku, som ställde första-frågan, bloggar om svaret hos VA.se. Även andra har kommenterat intervjun.

Nu blev svaret på Google News-frågan inte så intressanta, men sättet att få ihop intervjufrågor är intressant. Speciellt intressant blir det på grund av att Bison@Jaiku har många “kompisar” bland sina Jaiku- followers som är relativt väl insatta i Googles verksamhet.