Frisim utvecklingsblogg

Jag brukar lyssna på podcasten This week in Google allt som oftast. I det senaste avsnittet jag lyssande på så nämndes ExpertLabs som verkar vara ett trevligt initiativ. Det som intresserade mig mest var att de redan nu har en liten applikation som ska hjälpa personer att ”lyssna”. Applikationen kallas ThinkTank och är finns att ladda ner och installera på sin egen server. Applikationen kopplar till ditt Twitter-konto, laddar ner dina data och ditt kontaktnät, och hjälper till att se t.ex. vilka länkar som dina kontakter har tweetat. Det är inte rocket science, men en början till att verktyg för att hålla kopp på vad som tycks i ditt nätverk på Twitter utan att du behöver vara aktiv där för jämnan. Thinktank-koden är skriven i PHP, använder Smarty, MySQL och Twitters OAuth API. Större delen av applikationen handlar om att extrahera ”dina” data från Twitter. Jag har installerat den på min Nyhetr-server och kopplat det till mitt Twitterkonto. Det ser ut såhär:

På skärmbilden ser du min något klena aktivitet på mitt Twitter-konto. Du kan ser den publika delen av applikationen här, där jag är den enda användaren.

@ginatrapani som initierat utvecklingen av Thinktank har skrivit om den på sin Smarterware-blog. Då applikationen är ”open source” så finns möjlighet att själv bidra till utvecklingen. (Jag har tittat lite på koden och bl.a. noterat att den använder LongUrl för att expandera förkortade adresser from Twitter, medan jag använder Topsy).

Googgle News släpper idag en ”stjärnmärkningsfunktion”. Genom att stjärnmärka nyheter som du tycker är intressanta så 1) kan du enkelt senare gå tillbaka till dessa nyheter, och 2) du får en markering (fetstil) på denna nyhet när det har kommit ”uppdateringar” på denna nyhet. Funktionen är inte helt olik den ”Viktigt”-markering som jag just implementerat på Nyhetr.se.

Tyvärr är det, som vanligt, svårt att från ett svenskt IP-nummer prova de funktioner som bara finns på den amerikanska versionen av Google News, så jag har tyvärr inte provat själv.

Nyhetr.se:s iphone-version har fått en liten uppdatering, trots allt. Nu finns källorna Nyhetskanalen.se, Corren.se, VK.se, Realtid.se, HD.se, Expressen.se och Aftonbladet.se med. Det är lite synd att många Poloploy-sajter såsom DN.se inte använder samma data i sina webb-URL:ar och mobilsajt-URL:ar. I fallet DN.se saknas ett rssid för att göra konverteringen. Samma gäller sajterna BT.se, Ystadsallehanda.se, UNT.se, Sydsvenskan.se (cid) och gp.se (pageid).

Nyhetr.se/iphone har också fått viktigt-fliken från webbversionen. Tyvärr går det fortfarande inte att logga in på mobil-sajten, och tyvärr är det nog så att det är svårt att göra inloggningen med Twitters OAuth-funktion, då jag tror att den saknar AJAX-stöd. För att få den att fungera som AJAX-sida så måste jag skapa en ”wrapper” och det gör att jag måste mellanlagra login och lösen till Twitter-kontot.

Viktigt-sidan i iPhone-versionen ser ut som på bilden ovan. Här är länkarna inte begränsade till endast mobil-versioner av nyhetssajter, utan länkar som går till webbsidor med ”dålig” mobilanpassning visas istället med hjälp av Google Mobile Adapter.

SR.se har fått ett ”API” för att hitta radio-material, båda artiklar och nyhetssändningar i pod-format. Inte helt enkelt att fundera ut något bra sätt att använda det, men något borde det kunna användas till. Lite buggigt verkar det dock, just nu är t.ex. feed:en som ska lista pågående program tom, men det kanske löser sig.

Efter att ha tittat på Feber.se:s tips Sök enklare i Google Chrome så noterar jag att Google har identifierat både Frisim och Nyhetr som sökmotorer och det är möjligt att göra sajt-sök direkt från adressfältet.

Jag vet inte om det är bra eller dåligt för mina två sajter. Troligen är det bra för Google i alla fall. Jag tror inte det är så många som använder funktionen, men det gör säkert att Google inte skickar så många vilsna besökare till mina sökresultatsidor.

Jag skrev tidigare om mina initialt positiva erfarenheter av att skapa en webb-sida med jQTouch till iPhone. Det visade sig nog att jag var lite tidigt ute med min entusiasmen – den har avtagit något. Safari på iPhone och jQTouch är långt från stabilt. Jag misstänker att jQTouch (ihop med jQuery) pressar iPhone Safari till bristningsgränsen, samtidigt som de nyhetssidor som finns anpassade för mobil är dåligt kodade.

En sådan sak som att det inte fungerar okej att visa en sida från m.hd.se i en iframe är lite tråktigt. Anledningen verkar vara det statistikscript(?) som HD.se lägger i slutet på mobil-sidan. Exempel: Prova själv att gå till nyhetr.se/iphone/hd.html med en iPhone och försök klicka på knappen ”Info”. Precis, inget händer! (Notera att i en webbläsare på en normal dator fungerar det okej, men alltså inte i din iPhone.) Det är som om HDs trackning-script lagt en ”film” över hela skärmen. Om du istället går till nyhetr.se/iphone/hd2.html med en iPhone, vilket är exakt samma kod för iframe:n så fungerar ”Info”-knappen fint. Skillnaden här är att jag ”raderat” HD:s statistik-script från sidan i den andra versionen. Det känns lite skakigt att det ska fungera så. Det verkar vara en del som inte är så välbyggt någonstans…

Jag har i alla fall trixat ihop en Nyhetr.se/iPhone-sajt där jag gör så gott jag kan. Tyvärr är det fler saker som inte fungerar perfekt med jQTouch (beta-2) vilket gör att det kan hända lite oförutsedda grejer ibland. En del beror säkert på min slöa programmering, men jag är övertygad om att en del även beror på jQTouch och Safari (skumma skärmblinkningar etc.) Vill du prova den så ser den bäst ut om du lägger den på hemskärmen på din iPhone, för då kör sidan i fullskärmsläge.

På grund av alla konstigheter med mobilsidor och med jQTouch så tror jag att jag väntar lite med att försöka förbättra detta åtminstone tills dess att en ny version av jQTouch kommer ut. Det känns som om jQTouch/jQuery-kombinationen gör att det blir lite för mycket ”högnivåprogrammering” för mig. När något inte fungerar som man tror, är det också lurigt lite att svårt att debugga snabbt eftersom Webkit på PC:n och i iPhones Safari inte beter sig exakt likadant. Man blir helt enkelt för utlämnad till diverse konstigheter i jQTouch för att det ska vara riktigt kul.

Nyhetr fick förra året(!) en funktion för OAuth inloggning med hjälp av Twitters API. Nu kan den som är inloggad på Nyhetr markera nyheter som ”viktiga” signerat med Twitter-alias. Den som inte är inloggad ser vilka som markerat en nyhet som ett länkat namn till ett Twitter-kont, men kan själv inte markera länkar.

Idag fungerar funktionen bara på förstasidan, men den kommer snart att fungera även på övriga sidor. Prova gärna!

PS Funktionen skriver inget till ditt Twitter-konto och ser inte ditt Twitter-lösen. Applikationen får bara läsrättigheter för att hitta din Twittter-profil. DS

Bra 2009

Slashat.se: Bästa podcast på svenska, typ. Håller ungefär samma ”kvalitet” som Twig och de andra ”braiga” amerikanska podcastarna om teknik. Lika tramsiga, lika ihoppratade och lika lättlyssnade.

Jaiku: Jaiku, eller i alla fall de som fortfarande försöker hålla liv i det.

Amazon EC2: Amazon fortsätter att driva väldigt bra tjänster för att köra server. Med sin Management console så blev det väldigt lätt att även nyttja deras kringtjänster.

Spotify: Ja, Spotify fortsatte att vara bra även 2009. Inte många har missat det. Frisim fick en Spotify-länk-lista redan 2008, men först 2009 så fick Spotify ett API som gör att Spotify-listan kan visa ”rätt” titlar.

Voddler och Headweb: Film och tv-serier på nätet. Både via flera ”lagliga” betalversioner och via ”olagliga” gratisversioner.

Mindre bra 2009

Twingly Channels: Twingly Channels som jag trodde och hoppades skulle bli något intressant, med nyheter inblandad, kom aldrig riktigt igång. Hoppas det får ny fart vid en publik lansering,

Bloggy: Bloggy fungerade rätt bra en stund. Det var rätt många som började ”mikroblogga” där, men det lyfte inte. Kanske blev Bloggy inkörsporten till Twitter, men med Twitter så behövdes inte Bloggy. Synd var det i all fall.

Frisim: Jag kan ju inte klaga på andras låga utvecklingstakt och svaga idéer utan att konstatera att mitt nyhetssökande har fått alldeles för lite tid under 2009. Bättre lycka nästa decennium!

(Jag var ”tvingad” att skriva den här bloggposten – Med nästan 7 år med minst en bloggpost per månad då kan ju inte december 2009 bli den första utan.)

Jag har tänkt mig prova att integrera Nyhetr.se med Twitter. Tanken är att jag till en början ska använda mig av Twitters Oauth för att slippa bygga en egen inloggningsfunktion för att låta besökare kommentera på sajten, samtidigt som jag t.ex. skulle kunna skapa en retweet-funktion på kommentarer och nyhetslänkar. Oauth är ett protokoll för att ansluta mot APIn.

Jag började med att registrera en ny ”applikation” hos Twitter.

Det gav mig en ”consumer key” och en ”consumer secret”. Genom att anvädna mig av dessa i PHP-koden TwitterOauth så var det enkelt att sätta upp in- och utlogging. Det enda som behövde göras är att lägga in

require_once('./twitteroauth/twitteroauth/twitteroauth.php');
require_once('./twitteroauth/config.php');
 
/* Get user access tokens out of the session. */
$access_token = $_SESSION['access_token'];
 
/* Create a TwitterOauth object with consumer/user tokens. */
$connection = new TwitterOAuth(CONSUMER_KEY, CONSUMER_SECRET, $access_token['oauth_token'], $access_token['oauth_token_secret']);
 
$reply = $connection->get('account/verify_credentials');
 
$jobj=json_decode($reply);
 
/* Användarnamnet finns nu eventuellt i $jobj->{'screen_name'} */

längst upp på de sidor som kommer att använda inloggningsfunktionen.

På framsidan av Nyhetr.se finns nu en Twitter-login-länk.

Självklart ”ser” min applikation inte ditt Twitter-lösenord, men väl ditt Twitter-namn. När du är inloggad så byts inloggnings-knappen ut mot namnet på den Twitter-användare som du loggat in som. Applikationen är just nu registrerad bara för läsning, dvs jag kan inte skicka ut data på din Twitter-feed. Läsningsmöjligheter räcker för denna typ av login-funktion som jag tänkt mig, men om jag ska skapa t.ex. en retweet-knapp så måste applikationen också få skrivrättigheter.

Just idag så går det inte att göra mer än att logga in (och logga ut) men förhoppningen är att detta gör att jag nu enkelt kan bygga ”användarfunktioner”.

Jag har tidigare skrivit lite om Nyhetr.se:s funktion att lista Twitter-inlägg (tweets) som länkar specifika nyhetsartiklar i ett antal tidigare bloggposter. Tidigare har jag provkört med API:et för BackTweets.com, som är samma som för Backtype.com, för att göra detta. Backtype har fungerat bra, men de har en så kallad ”rate limit” på sitt API som gör att man bara kan ställa 1.000 frågor per dygn. Det räcker inte om man vill visa relativt fräscha tweets till många länkar. Min uppskattning är att jag önskar göra c:a 10.000 frågor per dygn. Då Backtype inte verkar vara så bra på att svara på mail, så tittade jag runt efter andra lösningar. I samband med det så hamnade jag på Topsy som har ett liknande API, Topsy’s Otter API som tillåter upp till 10.000 frågor per timme. Skillnaden är i princip bara att Topsy’s API returnerar tweets i sin originalform, dvs utan ”uppnystning” av eventuella länkförkortare såsom Bit.ly, samt att de bara erbjuder data i JSON-format.

Att köra JSON på serversidan, och i en lite gammal PHP-version, är ingen succé. Men det fungerar okej, men inte mer, med hjälp av JSON-PHP.

Detta finns nu implemeterat på Nyhetr.se. Jag gör fortfarande relativt få frågor mot Topsy, men tanken är att jag nu kan öka takten och även visa relaterade tweets på andra ställen än under aktuellt-fliken på Nyhetr.se.

Lite inspirerad av Ted Valentins bloggsajt Blogipedia och Googles define-operator så har jag denna söndag satt ihop Nyhetr Definiera.

Nyhetr Definera gör sökningar på ”[ordet] är” och returnerar slutet av den mening som denna fras förekommer i. För en definiera-sökning på Gudrun Schyman visas detta:

Detta är en första version, och jag ser mycket som kan förbättras. I första hand gäller det att öka kvaliteten på texten som indexeras, men det är också lätt att se att mer avancerad genomgång av artikeltexten, t.ex. att avgöra om det är ”enligt [personen] är” som har skrivits. Att addera resultat även för sökningar av typen ”[ordet] var” och andra varianter bör också leda till flera sökresultat. Och till skillnad från Blogipedia så kan användaren inte värdera de beskrivningar som hittats. Det är också stor skillnad på att göra detta för blogginlägg och i nyhetsartiklar, i nyhetsartiklar så förkommer ”tyckande” om namngivna personer inte alls i samma omfattning som i bloggar. Nyhetr har fortfarande ett relativt litet index av nyhetsartiklar så svaren på definiera-sökningar är ofta lite tunna.

Precis som Blogipedia så är kanske inte själva söksajten så användbar som sådan. Mer intressant blir det kanske om man använder den för att länka till beskrivningar eller fördjupningar i löpande text. New Tork Times, och andra tex. DN.se, har denna form av fördjupningssidor där denna typ av beskrivningar/sökningar skulle kunna användas. Konceptet ligger skrämmande nära funktionaliteten hos en scraper site, och gissningsvis har New York Times och DN.se skapat sina fördjupningssidor för att få lite mer trafik från Google på somliga typer av sökningar, samtidigt som fördjupningssidorna är användbara för läsare som vill ha en fördjupning eller tillbakablick.

Nyhetr.se samlar in inlägg från ett fåtal bloggar för att hitta nyheter som bloggare tycker är intressanta. Det är en välprovad teknik, som tyvärr kräver att man laddar hem en massa blogg-RSS-data.

Twitter är ett snabbare sätt än bloggen för att uttrycka och sprida sin åsikt om saker och ting, så även nyheter. Därför kändes det lite attraktivt att försöka ”scanna av” Twitter för att se vad twittrare länkar till för svenska nyheter. Många av de tweets som postas på Twitter har sina länkar förkortade med en länkförkortare, Bit.ly är den vanligaste. Bit.ly har ett API som gör att du enkelt kan skapa en kort länk av en lång (shorten).

Även Twitter har ett API. API:et kan t.ex. retunera sökningar från Twitters sökmotor. När jag provkörde den så noterade jag att den verkar indexera länkar som vanlig text, vilket gör att det går bra att söka efter en länk (URL).

Tanken var att jag därför skulle kunna ta en länk till en nyhetsartikel, korta den med Bit.ly, och göra en sökning efter den på Twitter-sök för att hitta personer som kommenterat nyheten och sedan visa upp dem i anslutning till nyhetslänken på Nyhetr. Smart va? Det tyckte i alla fall jag vid en första anblick. Men, nej.

Det finns två problem.

1) Inte många Twittrare länkar till svenska nyhetsartiklar, väldigt få faktiskt. Det gör att det blir rätt ointressant. En av de mest länkade nyheterna från bloggar just nu, enligt Knuff är den nyhet hos DN som berättar att det blir en förbifart Stockholm. Länken till den artikeln kan förkortas till http://bit.ly/784Na. Gör jag en sökning på den hos Twitter så ger den bara en träff – min test-tweet, tyvärr. Är det verkligen ingen mer som ville skriva en tweet om den?

2) Twitters sökmotor är inte ”case sensitive”, vilket gör att en sökning kan returnera ”fel” förkortade länkar. Problem är dock inte oöverklomligt, eftersom felaktiga länkar går att sålla bort i efterhand.

Problem 1 är en show-stopper.

Ett alternativ till att söka efter länkar är att använda ”viktiga ord” från t.ex. en nyhetsrubrik; använda dem i sökningar hos Twitter och visa upp dem i anslutning till nyhetslänken på Nyhetr.se. Provar jag en sökning med den titeln för förbifarts-artikel som jag använde nyss, så får jag bara tre träffar, alla tre automatpostade data från nyhetssajter. Att söka med ord i nyhetsartikelrubriker är exakt samma teknik som jag provade för att rangordna nyheter med hjälp av Twitter-data så det är inte lika kul, och heller inte lika tillförlitligt, tyvärr.