Frisim utvecklingsblogg

Nyhetr.se har fått en ny liten funktion; för varje ”toppnyhet” så visas hur mycket den har delats på Facebook och Twitter. I den första versionen så uppdaterades data endast när nya ”toppnyheter” genererades, men i nuvarande, andra versionen, så uppdateras data mer kontinuerligt. Just nu visas antal delningar bara under Aktuellt-filken, men det är enkelt att lägga till det på alla sidor, om det skulle visa sig fungera bra.

Toppnyheterna tas dock fortfarande fram genom nyhetr.se:s ”wordbust”-teknik, och antalet delningar påverkar inte var länken visas på sidian. Utöver att kunna se antalet delningar så lagrar jag naturligvis antalet, så att det i framtiden, till exempel kommer att gå att göra ”topplistor” över vlika nyhter som delats mest, utan att behöva fråga Facebook och Twitter igen. Även statistik på vilken av de två tjänsterna delningar av nyhetslänkar är störst går naturligtvis att ta fram. Min gissning, efter att ha provkört mitt script någon timme, är att Facebook över överlägset Twitter när det gäller antalet delningar som en nyhet får, ofta med en faktor 10.

Funktionen är inte svår att programmera för den som önskar göra något liknande för andra sidor, och det behöver naturligtvis inte vara nyhetsartiklar som antalet delningar (Share) på Facebook och Twitter visas för, det kan var vilka webbsidor som helst. Facebook, Twitter och LinkedIn har officiella eller inofficiella URLs för att hämta antal delningar.

Till exempel ger anropet:

 
http://urls.api.twitter.com/1/urls/count.json?url=http://www.frisim.com

följande svar från Twitter om antal delningar i JSON-format:

{"count":2,"url":"http://www.frisim.com/"}

och anropet:

 
http://graph.facebook.com/http://www.frisim.com

till Facebooks API, ger:

{
   "id": "http://www.frisim.com",
   "shares": 3
}

Något som inte framgår så väl av exemplen ovan är att både Facebook och Twitter normaliserar de länkar man skickar in, så att man får med en URL i utdata kan vara användbart, speciellt om man vill ha hjälp med URL-normalisering (Normalisering innebär tvättning av URL:ar med hänsyn till ”konstiga” parametrar i länken som inte påverkar till vilken sida de leder.) Normalisering är svårt, och den fungerar lite olika hos Facebook och Twitter. Hur ”rätt” data från dessa API:er är, är också svårt att ta reda på, men det jag sett hittills ser i alla fall rimligt ut.

Lite inspiration till att göra dett fick jag från Slashat-Tommie och hans webbsida tugg.nu, men framförallt från tråden See how many times a URL has been shared on Facebook på Hacker News för nästan ett halvår sedan.

Sedan den första juli så har Amazon AWS sänkt priset för inkommande datatrafik till noll. Inkommande trafik till servrar är normalt en mycket mindre del än den ”utgående” trafiken. Inkommande trafik består till stor del av anrop till servern med begäran om vilka webbsidor som ska skickas tillbaka. Anropen har mycket mindre storlek än webbsidan, normalt. När man hyr co-location-plats, VPS, eller server så är det sällan någon som bryr sig om inkommande trafik, utan oftast så debiteras man för utgående trafik enbart, säg att du får betala en högra avgift om du har mer än t.ex. 50GB utgående trafik per månad. Det krävs en relativt stor sajt (eller mycket bild eller film på sajten) för att nå den gränsen. Utgående trafik kostar fortfarande $0.12 per GB hos Amazon.

Om man kör en sökmotor på servern, som nyhetr.se så är majoriteten av trafiken ”inkommande” – inhämtningen av webbsidor till servern. Det har gjort att det varit relativt ”dyrt” att köra sökmotor på en Amazon EC2 jämfört med att köra på en egen server. I och med prissänkningen, till gratis inkommande trafik, så blir det mer attraktivt. Nyhetr.se har inte mycket mer än 100GB inkommande trafik per månad, så jag sparar väl inte mycket mer än $10 per månad, men samtigit blir det lite mer lockande att hämta in mer data, oftare, nu när det är gratis.

Jag har en blogg, men som traditionen bjuder så skriver jag inte så ofta på den . Ett tag hade jag ambitionen att skriva något varje månad, mest för att arkivlistan till höger ska innehålla alla månader(!), men inte ens det har jag lyckats med. Den innnehåller alla månader från april 2003 till januari 2011, men där tog det slut… Idag tyckte till och med Google att jag försummat bloggen så mycket så att jag bör uppdatera. Ja, uppdatera WordPress från 2.7 till 3.1 alltså – innehållet tror jag inte de bryr sig så mycket om :-)

Å andra sidan har jag gjort en massa annat, men tyvärr inte så mycket som relaterar till Frisim. Min förhoppning är fortfarande att ”avvecka” ett av nyhetssöken på frisim.com eller nyhetr.se. Hittills har jag börjar skriva om en del av ”backend”-scripten som finns på frisim.com, och är skrivna i Java, till nyhetr.se, men då i PHP.

Internetworld skriver om hur du får koll på vad som sägs om ditt företag. Jag fick inte vara med, eller är det bara så att Internetworld inte har koll ;-)

Redan för ett år sedan skrev jag lite om Readability, som är ett ”script” för att presentera nyhetsartiklar på nätet i ”mer läsbar form”. I praktiken så är det ett Javascript som man klickar igång från sin egen browser (en s.k. ”bookmarklet”) som gör att reklam, menyer och puffar döljs från nyhetsartikeln, och artikeltexten presenteras i ett ”rent” format.

Sedan en tid tillbaka så har Arc90 en betalversion av Readability som är server-baserad, och inte förlitar sig på Javascript som körs lokalt i webbläsaren. Arc90 tänker sig att de för vidare 70% av intäkterna från denna betalversion till nyhetssajterna där funktionen används, fördelat i proportion till antalet användningar. Jag tycker det verkar som ett vågat grepp.

Arc90 har, tillsammans med Instapaper, försökt att skapa en Iphone-app för att erbjuda samma tjänst på Iphone. Appen blev en av de första appar som föll på att de inte följde Apples nya reglera för ”in-app” prenumerationsbetalningar, och Arc90 blev mycket upprörda för att Apple vill ha (just) 30% av prenumerationskostnaden om den ska säljas via Apples app-store. Arc90 har skrivit en bloggpost där de beklagar sig. Från Podcastnätverket 5by5 så finns en podcastepisod DailyEdition #26 med en lång intervju med snubben bakom Readability, om Readability och just dessa ”problem”. Istället för att gå vidare med sin app, så har de i dagarna istället släppt en ”vanlig” webbaserad version för Iphone. Den beskrivs också i bloggen.

Jag tycker Readability är intressant. Det beror dels på att koden för Javascript-versionen finns publicerad, och att den finns konverterad till andra språk, med mer eller mindre kompletta versioner (t.ex. Python och PHP), dels på grund av att det är ett intressant grepp att ”hjälpa” nyhetssajterna att göra sidorna mer läsvänliga (och ta bort reklamen!), och att kunna ta betalt för det, dels på grund av att funktionen hos Readability är väldig lik det som Nyhetr.se använder för att extrahera artikeltexter. Min kod som används för Nyhetr.se är skriven i Java, och föregrep Arc90 med ”ett par år”. På grund av långsam utveckling från min sida så fungerar nog Arc90-versionen bättre än min kod, dock. Jag är lite sugen på att skapa en Java-version av Arc90-koden för att ”uppdatera” mig lite. Jag får se när det kan bli tid till det.

Min testsajt Nyhetr.se har jag idag flyttat från en EC2 virtuell server hos Amazon i USA till deras datacenter på Irland. Med Amazons relativt nya ”management console” så är det ganska enkelt att starta upp nya instanser. Det störst problemet var att uppstarten av en virtuell server på Irland kräver att ”imagen” för den virtuella servern ligger lagrad hos Amazon S3 på Irland. Eftersom jag började använda både S3 och EC2 när de bara hade datacenter i USA, så var jag tvungen att flytta över data. Att flytta de c:a 2.5GB som min server-image är, tog c:a 4 timmar. Jag tycker att det verkar som om söksvaren dyker upp lite snabbare efter flytten. Många av sidorna behöver dock cache:as, speciellt de som kräver många sökningar för att genereras.

Planen är att jag ska ”göra om” testsajten till din ”officiella” frisim.com inom kort, och istället använda min gamla co-location-server endast för bloggdatainsamlig och utveckling. Tyvärr vet jag ännu inte riktigt hur det ska gå till då jag skapat en hel mängd script under olika domäner, allt i en stor röra, under de 5 år som jag kört co-location-servern. Antagligen är det ett gyllene tillfälle att rensa ut en massa skräp som jag inte har så många användare på.

Efter fyra år med min Dell Dimension 9200 så har jag uppdaterat till en ny Dell med Intel Core i5. Jag köpte dessutom en 120GB Solid-State-Disk (SSD) som jag tänkte mig att jag skulle lägga operativsystemet på så att bland annat uppstarter av systemet ska bli lite snabbare.

Dell levererade datorn med Windows 7 (64-bitar) färdiginstallerat på den disk som sitter i. När datorn startas för första gången så färdigställs installationen, och det finns ingen möjlighet att ”styra om” installationen till t.ex. en SSD-disk från början. Hur flytta över operativsystemet till SSD-disken?

Min första tanke var att skapa återställningsdiskarna och från dem kunna återställa den ursprungliga installationen på SSD-disken. Första problemet jag stötte på var att det ”Dell DataSafe Local Backup”-program som skulle finnas installerat och användas för att skapa återställningsskivorna saknades. Det verkar vara ett vanligt problem, och lösningen verkar vara att ladda ner programmet via länken som postats i Dells supportforum. Tyvärr hjälpte inte detta då det inte går att ”återställa” en 1000GB disk på en 120GB SSD, utan återställningsdisken måste vara minst lika stor som originaldisken.

Min andra tanke var då att partitionera om disken i två delar så att allt innehåll finns på 120GB, och sedan skapa en återställningsdisk för bara den partitionen. Tyvärr ville inte det Disk Management-verktyg som följer med Windows 7 ”krympa” disken mer än till halva storleken, så den idén fick förkastas. Antagligen hade det gått att lösa med ett tredjepartsprogram som Acronis men jag var inte sugen på att lägga 400kr på att prova.

Efter dessa två försök så hittade jag istället Easus partition master, ett program som har en ”Copy Wizard”-funktion som sköter allt med bara ett par musklick. Home Edition är dessutom gratis. Resultatet av att köra opertivsystemet på en SSD istället för en 7200RPM ”snurr-disk” är att prestandaindexet gick från 5.9 till 7.7 i den ”prestandaklassificering” som Windows kan visa från kontrollpanelen. Vad det betyder i praktiken vet jag inte, bara det att ha ett ”nytt” Windows gör att allt känns mycket snabbare.

IDG.se har en artikel om Netcamp och den datorhall som huserar den server som kör frisim och som du läser detta från. Servern inköptes för övrigt den 27 juli 2005, så den börjar bli lite gammal och sliten. Och troligen blir det ingen ny, utan jag kommer nog att förlita mig på Amazon EC2 helt i fortsättnngen.

För ett par tre veckor sedan så registrerade jag mitt intresse för Google ”programmerar-lek-kit” för Andriod-mobiler, App Inventor. Idag när jag gick tillbaka till sidan så visade det sig att jag nu kan köra den. Jag fick aldrig något mail som meddelande att de öppnat upp, men öppet verkar det vara i alla fall.

Jag minns ju fortfarande hur besviken jag blev på dessa ”game makers” när de fanns till Commodore (vem minns Gary Kitchen’s GameMaker?), men likväl så lockas jag att prova dem varje gång. Så även denna gång. Så kanske inte för App Inventor i sig, men för möjligheten att programmera smågrejor till mobilen själv, så skippar jag kanske nästa version av iPhone och kör Android istället. Och App Inventor är inte kul utan Android-telefon tyvärr – all ”what you see is what you get” sker på den mobil som ska vara kopplad till datorn när du utvecklar dina grejer.

Frisim har en sida som tar emot blogg-ping. Under de senaste 18 månaderna har 231900 olika bloggar pingats in (inte bloggposter, utan bloggar). Ungefär hälften av dessa har klassats som ”inget att ha” och c:a 15000 har varit till webbsidor där Frisim inte hittat någon RSS-feed. Om du är intresserad av att se vilka bloggar som kommer till, och vilka som Frisim ”Nekad”-klassar, så kan du numera se det på sidan med senast inpingade bloggar. Om du vill undvika tråkiga överraskningar så bör du inte besöka någon av de sidor som nekats. ;-) Bloggar som är markerade med ”Köad” kommer inom den närmsta timmen att analyseras av Frisims sökspindel, och bloggar som är markerade ”OK” har redan analyserats. Från listan syns att inpingningar av specifika inlägg inte analyseras. Vill du ha mer data, eller samma data på annat format, så delar jag gärna ut.

Om du är mer intresserad av vilka bloggar det är som pingar in uppdaterade inlägg så syns de som vanligt på Frisim.com/ping.