Frisim utvecklingsblogg

Nyhetr.se har fått en ny liten funktion; för varje ”toppnyhet” så visas hur mycket den har delats på Facebook och Twitter. I den första versionen så uppdaterades data endast när nya ”toppnyheter” genererades, men i nuvarande, andra versionen, så uppdateras data mer kontinuerligt. Just nu visas antal delningar bara under Aktuellt-filken, men det är enkelt att lägga till det på alla sidor, om det skulle visa sig fungera bra.

Toppnyheterna tas dock fortfarande fram genom nyhetr.se:s ”wordbust”-teknik, och antalet delningar påverkar inte var länken visas på sidian. Utöver att kunna se antalet delningar så lagrar jag naturligvis antalet, så att det i framtiden, till exempel kommer att gå att göra ”topplistor” över vlika nyhter som delats mest, utan att behöva fråga Facebook och Twitter igen. Även statistik på vilken av de två tjänsterna delningar av nyhetslänkar är störst går naturligtvis att ta fram. Min gissning, efter att ha provkört mitt script någon timme, är att Facebook över överlägset Twitter när det gäller antalet delningar som en nyhet får, ofta med en faktor 10.

Funktionen är inte svår att programmera för den som önskar göra något liknande för andra sidor, och det behöver naturligtvis inte vara nyhetsartiklar som antalet delningar (Share) på Facebook och Twitter visas för, det kan var vilka webbsidor som helst. Facebook, Twitter och LinkedIn har officiella eller inofficiella URLs för att hämta antal delningar.

Till exempel ger anropet:

 
http://urls.api.twitter.com/1/urls/count.json?url=http://www.frisim.com

följande svar från Twitter om antal delningar i JSON-format:

{"count":2,"url":"http://www.frisim.com/"}

och anropet:

 
http://graph.facebook.com/http://www.frisim.com

till Facebooks API, ger:

{
   "id": "http://www.frisim.com",
   "shares": 3
}

Något som inte framgår så väl av exemplen ovan är att både Facebook och Twitter normaliserar de länkar man skickar in, så att man får med en URL i utdata kan vara användbart, speciellt om man vill ha hjälp med URL-normalisering (Normalisering innebär tvättning av URL:ar med hänsyn till ”konstiga” parametrar i länken som inte påverkar till vilken sida de leder.) Normalisering är svårt, och den fungerar lite olika hos Facebook och Twitter. Hur ”rätt” data från dessa API:er är, är också svårt att ta reda på, men det jag sett hittills ser i alla fall rimligt ut.

Lite inspiration till att göra dett fick jag från Slashat-Tommie och hans webbsida tugg.nu, men framförallt från tråden See how many times a URL has been shared on Facebook på Hacker News för nästan ett halvår sedan.

Google har lanserat Google Plus, en social-media sajt. De flesta som skriver om den liknar den vid Facebook, eller kanske Twitter. Den liknar Facebook på så sätt att man ”måste” göra inlägg i sitt riktiga namn, man kan skriva långa inlägg, kommentera andras inlägg och ”gilla” (+1:a) andras inlägg. Men som på Twitter behöver man inte vara ”vänner” för att kunna läsa vad någon annan skriver, det räcker med att följa en person. Även om inte personen följer dig tillbaka så ser du personens publika inlägg i din ”feed”. Men inlägg som inte är publika, och inte är ”riktade” till dig kan du inte läsa.

Tack vare att man inte behöver vara ”vänner” så kan man enkelt följa en större mångd personer. På så sätt får du snabbt ett stort flöde med ”nyheter” att läsa – lite som att skapa sig en egen redaktion av personliga nyhetsinsamlare. Problemet med Google Plus, precis som för Twitter, ligger i själva ”uppstartsfasen”. På Facebook växer ditt nätverk utifrån din kontakter i ”verkligheten”, så behöver det inte vara på Twitter och Google Plus. Istället kan du mer fritt välja personer du vill följa. Vilka har samma intressen som du? Vilka är aktiva och gör många inlägg? Vilka skriver bra? Google Plus försöker hjälpa dig att hitta personer att följa genom att titta bland dina Gmail-kontakter. Men vad göra om de du har där inte använder Google Plus ännu? Då måste du leta upp dem på annat sätt! Det finns t.ex. en lista med personer som skriver om fotografi som du kan titta på, om du är intresserad av ju fotografi. Ett sådant försök finns i Trey Ratcliffs The Google+ Photographer’s List. Det känns som om Google Plus borde ge större hjälp med sånt här, t.ex. genom någon form av grupper; men innan dess så fås det lösas på andra sätt.

Ett annat sätt att göra det på är som hos Alltop Pluserati (se bild nedan) där ett antal utvalda Google Plus:are presenteras med sina senaste inlägg. Genom att titta på den listan så kan man hitta personer som man kanske är intresserad av att följa.

Min tanke blev därför att skapa en liknande uppsättning personer, men med fokus på svenskar. Det var inte så lätt. Mestadels för att Google Plus inte verkar ha så många aktiva svenskar ännu. Jag har i alla fall gjort ett litet försök på nyhetr.se/pluserati (se bild nedan).

Här finns ännu inte så många personer listade, men förhoppningsvis hittar jag ett gäng till som jag enkelt kan addera. Har du förslag på personer som borde vara med så kommentera gärna! För varje person så listas upp till 5 publika inlägg i datumordning från den senaste två veckorna.

För att skapa nyhetr.se/pluserati så behövdes en funktion som hämtar publika inlägg från Google Plus. Kod för att göra det fanns att hitta på GitHub under Russel Beatties PlusFeed. Jag har använt den koden för att skapa en egen en ”PlusFeedSwe” som finns på plusfeedswe.frisim.se (se bild nedan). Koden ”skrapar” innehåll från Google Plus och gör om det till en feed. Det görs med ett Python-skript som jag kör på Google App Engine. PlusFeedSwe är publik och kan användas även till annat, t.ex. för att visa dina publika inlägg på en blogg, eller liknande.

Mig hittar du förstås också på Google Plus.

Sedan den första juli så har Amazon AWS sänkt priset för inkommande datatrafik till noll. Inkommande trafik till servrar är normalt en mycket mindre del än den ”utgående” trafiken. Inkommande trafik består till stor del av anrop till servern med begäran om vilka webbsidor som ska skickas tillbaka. Anropen har mycket mindre storlek än webbsidan, normalt. När man hyr co-location-plats, VPS, eller server så är det sällan någon som bryr sig om inkommande trafik, utan oftast så debiteras man för utgående trafik enbart, säg att du får betala en högra avgift om du har mer än t.ex. 50GB utgående trafik per månad. Det krävs en relativt stor sajt (eller mycket bild eller film på sajten) för att nå den gränsen. Utgående trafik kostar fortfarande $0.12 per GB hos Amazon.

Om man kör en sökmotor på servern, som nyhetr.se så är majoriteten av trafiken ”inkommande” – inhämtningen av webbsidor till servern. Det har gjort att det varit relativt ”dyrt” att köra sökmotor på en Amazon EC2 jämfört med att köra på en egen server. I och med prissänkningen, till gratis inkommande trafik, så blir det mer attraktivt. Nyhetr.se har inte mycket mer än 100GB inkommande trafik per månad, så jag sparar väl inte mycket mer än $10 per månad, men samtigit blir det lite mer lockande att hämta in mer data, oftare, nu när det är gratis.

Jag har en blogg, men som traditionen bjuder så skriver jag inte så ofta på den . Ett tag hade jag ambitionen att skriva något varje månad, mest för att arkivlistan till höger ska innehålla alla månader(!), men inte ens det har jag lyckats med. Den innnehåller alla månader från april 2003 till januari 2011, men där tog det slut… Idag tyckte till och med Google att jag försummat bloggen så mycket så att jag bör uppdatera. Ja, uppdatera WordPress från 2.7 till 3.1 alltså – innehållet tror jag inte de bryr sig så mycket om :-)

Å andra sidan har jag gjort en massa annat, men tyvärr inte så mycket som relaterar till Frisim. Min förhoppning är fortfarande att ”avvecka” ett av nyhetssöken på frisim.com eller nyhetr.se. Hittills har jag börjar skriva om en del av ”backend”-scripten som finns på frisim.com, och är skrivna i Java, till nyhetr.se, men då i PHP.

Internetworld skriver om hur du får koll på vad som sägs om ditt företag. Jag fick inte vara med, eller är det bara så att Internetworld inte har koll ;-)

Redan för ett år sedan skrev jag lite om Readability, som är ett ”script” för att presentera nyhetsartiklar på nätet i ”mer läsbar form”. I praktiken så är det ett Javascript som man klickar igång från sin egen browser (en s.k. ”bookmarklet”) som gör att reklam, menyer och puffar döljs från nyhetsartikeln, och artikeltexten presenteras i ett ”rent” format.

Sedan en tid tillbaka så har Arc90 en betalversion av Readability som är server-baserad, och inte förlitar sig på Javascript som körs lokalt i webbläsaren. Arc90 tänker sig att de för vidare 70% av intäkterna från denna betalversion till nyhetssajterna där funktionen används, fördelat i proportion till antalet användningar. Jag tycker det verkar som ett vågat grepp.

Arc90 har, tillsammans med Instapaper, försökt att skapa en Iphone-app för att erbjuda samma tjänst på Iphone. Appen blev en av de första appar som föll på att de inte följde Apples nya reglera för ”in-app” prenumerationsbetalningar, och Arc90 blev mycket upprörda för att Apple vill ha (just) 30% av prenumerationskostnaden om den ska säljas via Apples app-store. Arc90 har skrivit en bloggpost där de beklagar sig. Från Podcastnätverket 5by5 så finns en podcastepisod DailyEdition #26 med en lång intervju med snubben bakom Readability, om Readability och just dessa ”problem”. Istället för att gå vidare med sin app, så har de i dagarna istället släppt en ”vanlig” webbaserad version för Iphone. Den beskrivs också i bloggen.

Jag tycker Readability är intressant. Det beror dels på att koden för Javascript-versionen finns publicerad, och att den finns konverterad till andra språk, med mer eller mindre kompletta versioner (t.ex. Python och PHP), dels på grund av att det är ett intressant grepp att ”hjälpa” nyhetssajterna att göra sidorna mer läsvänliga (och ta bort reklamen!), och att kunna ta betalt för det, dels på grund av att funktionen hos Readability är väldig lik det som Nyhetr.se använder för att extrahera artikeltexter. Min kod som används för Nyhetr.se är skriven i Java, och föregrep Arc90 med ”ett par år”. På grund av långsam utveckling från min sida så fungerar nog Arc90-versionen bättre än min kod, dock. Jag är lite sugen på att skapa en Java-version av Arc90-koden för att ”uppdatera” mig lite. Jag får se när det kan bli tid till det.

Min testsajt Nyhetr.se har jag idag flyttat från en EC2 virtuell server hos Amazon i USA till deras datacenter på Irland. Med Amazons relativt nya ”management console” så är det ganska enkelt att starta upp nya instanser. Det störst problemet var att uppstarten av en virtuell server på Irland kräver att ”imagen” för den virtuella servern ligger lagrad hos Amazon S3 på Irland. Eftersom jag började använda både S3 och EC2 när de bara hade datacenter i USA, så var jag tvungen att flytta över data. Att flytta de c:a 2.5GB som min server-image är, tog c:a 4 timmar. Jag tycker att det verkar som om söksvaren dyker upp lite snabbare efter flytten. Många av sidorna behöver dock cache:as, speciellt de som kräver många sökningar för att genereras.

Planen är att jag ska ”göra om” testsajten till din ”officiella” frisim.com inom kort, och istället använda min gamla co-location-server endast för bloggdatainsamlig och utveckling. Tyvärr vet jag ännu inte riktigt hur det ska gå till då jag skapat en hel mängd script under olika domäner, allt i en stor röra, under de 5 år som jag kört co-location-servern. Antagligen är det ett gyllene tillfälle att rensa ut en massa skräp som jag inte har så många användare på.

Efter fyra år med min Dell Dimension 9200 så har jag uppdaterat till en ny Dell med Intel Core i5. Jag köpte dessutom en 120GB Solid-State-Disk (SSD) som jag tänkte mig att jag skulle lägga operativsystemet på så att bland annat uppstarter av systemet ska bli lite snabbare.

Dell levererade datorn med Windows 7 (64-bitar) färdiginstallerat på den disk som sitter i. När datorn startas för första gången så färdigställs installationen, och det finns ingen möjlighet att ”styra om” installationen till t.ex. en SSD-disk från början. Hur flytta över operativsystemet till SSD-disken?

Min första tanke var att skapa återställningsdiskarna och från dem kunna återställa den ursprungliga installationen på SSD-disken. Första problemet jag stötte på var att det ”Dell DataSafe Local Backup”-program som skulle finnas installerat och användas för att skapa återställningsskivorna saknades. Det verkar vara ett vanligt problem, och lösningen verkar vara att ladda ner programmet via länken som postats i Dells supportforum. Tyvärr hjälpte inte detta då det inte går att ”återställa” en 1000GB disk på en 120GB SSD, utan återställningsdisken måste vara minst lika stor som originaldisken.

Min andra tanke var då att partitionera om disken i två delar så att allt innehåll finns på 120GB, och sedan skapa en återställningsdisk för bara den partitionen. Tyvärr ville inte det Disk Management-verktyg som följer med Windows 7 ”krympa” disken mer än till halva storleken, så den idén fick förkastas. Antagligen hade det gått att lösa med ett tredjepartsprogram som Acronis men jag var inte sugen på att lägga 400kr på att prova.

Efter dessa två försök så hittade jag istället Easus partition master, ett program som har en ”Copy Wizard”-funktion som sköter allt med bara ett par musklick. Home Edition är dessutom gratis. Resultatet av att köra opertivsystemet på en SSD istället för en 7200RPM ”snurr-disk” är att prestandaindexet gick från 5.9 till 7.7 i den ”prestandaklassificering” som Windows kan visa från kontrollpanelen. Vad det betyder i praktiken vet jag inte, bara det att ha ett ”nytt” Windows gör att allt känns mycket snabbare.

IDG.se har en artikel om Netcamp och den datorhall som huserar den server som kör frisim och som du läser detta från. Servern inköptes för övrigt den 27 juli 2005, så den börjar bli lite gammal och sliten. Och troligen blir det ingen ny, utan jag kommer nog att förlita mig på Amazon EC2 helt i fortsättnngen.

Sökmotorer som är specialiserade för att söka inom ett eller ett fåtal teman, nischade sökmotorer, blev lite populärt att utveckla runt 2006. Exempel är sökmotorer för nyheter, bilder, resor, recept, jobb, script eller program. Inte många av dem har blivit riktigt stora i sig själva, även om några har lyckats ”smyga sig in” bland generella webb-sökmotorer, t.ex. Picsearch. Super-idén bland nischade sökmotorer var Rollyo som lät varje besökare skapa sin egen söknisch genom att specificera vilka domäner som ska sökas igenom. Rollyo är inte perfekt, då det bara går att specificera ett litet antal domäner, och att sökspindeln inte kan anpassar för det specifika innehållet – även om du endast anger sajter som innehåller mat-recept så kommer indexet inte bara att innehålla ingredienser, utan även en del ”kringdata” som stör sökupplevelsen. Inte heller resultatpresentationen kan anpassas, utan är alltid sidtitel och en kort sammanfattning – inga schyssta bilder på maträtter direkt i resultatlistan till exempel.

Jag gillar konceptet att kunna begränsa sina sökningar till sajter jag gillar. Inte som ersättning till mina Google-sökningar, men som komplement, eller som en form av ”bevakningsfunktion” av sajter som jag helst inte vill missa ”intressanta” inlägg/artiklar från. Jag tycker att just sökord är en rimlig ”trigger” för att hitta inlägg eller artiklar som jag är intresserata för mig.

Twingly har provat en approach som inte bygger på sökord, utan som listar inlägg från dina utvalda källor som fått många kommentarer på sajten, eller länkar från många Twitter-tweets. Länkarna listas i omvänd tidsordning. Det är endast sajter med RSS-feeds som kan specificeras. Twingly kallar det för Twingly Channels.

I dagarna kom Blekko i en beta-version. Blekko är en generell webb-sökmotor, precis som standard-Google, även om Blekko har ett avsevärt mindre index – och verkar indexera mestadels engelskspråkigt innehåll. Men Blekko har också en ”Rollyo-funktion” i det att du kan specificera vilka sajter som din sökning ska göras bland i en lista. Varje lista du skapar namnger du, och du gör en sökning som begränsas till sajterna i listan genom att addera /listnamn till din sökning. Blekko kallar det ”slashtags”. Så långt är allt väldigt likt Rollyo. Det som gör att det även har vissa likheter med Twingly channels är att du kan sortera dina resultat i omvänd tidsordning. Skillnaden mot Twingly channels är naturligtvis att urvalet är sökordsbaserat.

Vill jag t.ex. bevaka Googles utveckling runt Apples Ipad kan jag göra en sökning på [google] begränsad till sajter som är specificerade på min /ipad-lista. Sökningen skulle då bli [google /ipad].

Resultatet från en sökning på [google] i en ipad-lista.

Nu har jag inte satt upp någon /ipad-lista, men om jag trots det gör sökningen [google /ipad] så föreslår Blekko att jag använder en /ipad-lista från en annan användare; Blekko föreslår användaren ”lloyd”:s /ipad-lista. Denna användare har redan pekat ut ett antal sajter som skriver om Ipad:en. Vill jag använda den så söker jag med [google /lloyd/ipad].

Sajter specificerade i /lloyd/ipad-listan

Blekko är känns lite listigt. Utan att ha med speciellt många svenska sajter i sitt index (bland nyhetssajterna bara Aftonbladet?) så är känns det dock lite tokigt. Om sajten inte är indexerad sedan tidigare av Blekko så kommer inga resultat att visas, även om du tar med sajten i din lista. Kanske börjar Blekko indexera de sajter som blir specificerade i listorna, men i så fall oklart hur snabbt det sker. Hade Blekko haft ett större index och bättre täckning av svenska sajter då hade detta varit riktigt intresssant.

Blekko har också några andra snygga funktioner. Sökresultaten kan också sorteras på relevans, och om du gör det så kan du, genom att klicka på en länk märkt SEO, få en förklaring till hur relevansen är framtagen.

Men som det är nu får vi vänta till det kommer en svensk version eller konkurrent, kanske…