Archive for november, 2009

Statistik: Insamlade artiklar per dag

Posted in Frisim on november 25th, 2009 by Clas – 2 Comments

Jag har lagt en del tid på den ”synliga” delen av Nyhetr.se, men alldeles för lite tid på själva kärnfunktionen – att göra nyhetsartiklar sökbara. Jämför jag antalet insamlade artiklar per dag (som innehåller ordet ”och”) som Nyhetr samlar in, med antalet som Eniro nyhetssök samlar in så kan jag konstatera att jag inte hämtar in stort mer än hälften. Tittar jag på den senaste månaden så ser det ut såhär:




Det är inte så bra. Mestadels handlar det som att Nyhetr inte letar på lika många nyhetssajter, men eventuellt också att jag missar fler artiklar hos somliga sajter. Inget av det är bra. Det borde vara dags att försöka göra detta bättre. Samtidigt är det ju så mycket roligare att programmera sådant som ger synliga resultat.

Söndagshack: Nyhetr.se får Twitter Oauth inloggning

Posted in Osorterad on november 22nd, 2009 by Clas – 1 Comment

Jag har tänkt mig prova att integrera Nyhetr.se med Twitter. Tanken är att jag till en början ska använda mig av Twitters Oauth för att slippa bygga en egen inloggningsfunktion för att låta besökare kommentera på sajten, samtidigt som jag t.ex. skulle kunna skapa en retweet-funktion på kommentarer och nyhetslänkar. Oauth är ett protokoll för att ansluta mot APIn.

Jag började med att registrera en ny ”applikation” hos Twitter.




Det gav mig en ”consumer key” och en ”consumer secret”. Genom att anvädna mig av dessa i PHP-koden TwitterOauth så var det enkelt att sätta upp in- och utlogging. Det enda som behövde göras är att lägga in

require_once('./twitteroauth/twitteroauth/twitteroauth.php');
require_once('./twitteroauth/config.php');
 
/* Get user access tokens out of the session. */
$access_token = $_SESSION['access_token'];
 
/* Create a TwitterOauth object with consumer/user tokens. */
$connection = new TwitterOAuth(CONSUMER_KEY, CONSUMER_SECRET, $access_token['oauth_token'], $access_token['oauth_token_secret']);
 
$reply = $connection->get('account/verify_credentials');
 
$jobj=json_decode($reply);
 
/* Användarnamnet finns nu eventuellt i $jobj->{'screen_name'} */

längst upp på de sidor som kommer att använda inloggningsfunktionen.

På framsidan av Nyhetr.se finns nu en Twitter-login-länk.




Självklart ”ser” min applikation inte ditt Twitter-lösenord, men väl ditt Twitter-namn. När du är inloggad så byts inloggnings-knappen ut mot namnet på den Twitter-användare som du loggat in som. Applikationen är just nu registrerad bara för läsning, dvs jag kan inte skicka ut data på din Twitter-feed. Läsningsmöjligheter räcker för denna typ av login-funktion som jag tänkt mig, men om jag ska skapa t.ex. en retweet-knapp så måste applikationen också få skrivrättigheter.

Just idag så går det inte att göra mer än att logga in (och logga ut) men förhoppningen är att detta gör att jag nu enkelt kan bygga ”användarfunktioner”.

Söndagshack: Tweets och Varnish

Posted in Frisim on november 15th, 2009 by Clas – Kommentering avstängd

Nyhetr.se visar nu Twitter-inlägg som länkar nyhetsartiklar under alla ”nyhetsflikar” på startsidan. Data för detta kommer från Topsy.

Alla sidvisningar på nyhetr.se går nu via front-end-cache:n Varnish. De flesta sidvisningar är dock sökresultatsidor, och de har jag valt att inte cache:a alls, så ”hitraten” på data som cache:as är relativt låg. Finessen med att använda Varnish att flikarna under startsidan inte behöver genereras om vid varje sidvisning. Det innebär att drygt 20% av sidvisningarna tas från en cache, medan resten skapas som vanligt.

0+03:19:35
Hitrate ratio:       10      100    
Hitrate avg:     0.2365   0.2397

Serverflytt Frisim.com

Posted in Frisim on november 9th, 2009 by Clas – Kommentering avstängd

Servern som kör Frisim ska flytta på torsdag klockan 15:30. Servern flyttar från ena sidan av Mjärdevi, Linköping till den andra. Det är NetCamp som flyttar över servrar till sitt nybyggda datacenter. Flytten beräknas ta en timme och ger alltså Frisim en timmes nertid mellan 15:30 och 16:30.

För den om som ”måste” ladda nyhetsdata även under denna timme så kan man göra det från Nyhetr.se istället. Anropen är identiska sånär som på domännamnet.

Uppdatering (torsdag 16:01): Servern är nu flyttad och inkopplad och verkar må precis som tidigare, dvs. rätt bra.

Söndagshack: Uppdaterande ping-lista

Posted in Frisim on november 8th, 2009 by Clas – Kommentering avstängd

Frisim Ping har blivit lite mer ”live”. Listan med bloggar som pingar in till Frisim uppdaterar nu automatiskt. Uppdateringen görs med Ajax, med hjälp av JQuery. Jag har använt mig av ett gammlat Digg Spy-script som var populärt för att par år sedan. Det fungerar fortfarande bra. Designen är dock exakt samma som tidigare.



Data som visas på Frisim Ping är verkliga in-ping; inget fusk. Det enda som inte gör det ”realtid” på riktigt är att uppdateringsbufferten bara laddar data från servern var 15:e sekund. Notera att det är in-pingningar som visas, många pingar inte bara när bloggen är uppdaterad. Bättre att pinga en gång för mycket än en gång före lite verkar vara parollen. Många blogg-script åter-pingar vid efterhandsredigeringar, andra använder många ping-tjänster. Detta gör att samma blogg kan pinga in flera gånger under relativt kort tid. I live-listan kan flera av dem synas.

Frisim indexerar 47402 bloggar. Ungefär hälften av det som pingas in indexeras, resten klassas som skräp. Men som data på framsidan av Frisim antyder så är det bara 6622 av dessa som har skrivit inlägg under de senaste två veckorna.

Ännu lite coolare hade det blivit om jag använt Friendfeeds Tornado-server, istället för att köra mot Apache-servern, men det får vänta till nästa gång.

Jag kan också konstatera att Frisim Ping är den överlägset mest välbesökta sidan på Frisim.com. Det är en tydlig indikation att bloggare fortfarande är väldigt intresserad av varifrån de får sina besökare.