Frisim /nyhetssök/ utvecklingsblogg

I slutet på mars så blev mitt “utkast” till lista med kategoriserade nyhter och bloggar redo för uppstart. Den kategoriserade listan fick det norskklingande(?) namnet Nettopp och jag snodde designen rakt av från “internetkändisen” Guy Kawasakis listsajt Alltop.com.

Nettopp.se såg vid uppstarten ut såhär:

Alltop.com, som lanserade i början av mars, verkar ha nått viss framgång. Framgången för min “kopia” är, inte helt oväntat, betydligt blygsammare. Utseeendet med “remsan” över texten verkar inte rikitgt tilltala någon större massa.

Istället för att bara kasta bort hela idéen så har jag nu tagit konceptet och flyttat över det till Frisim/kategori. Domännamnet lägger jag på hyllan. Samma listor med kategoriserade nyheter och bloggar har nu fått ett “Frisim-utseende” och ser nu ut såhär:

Anledningen till att jag byggde mig en Alltop-kopia från början var inte i första hand för att jag tyckte det verkade vara så roligt att samla ihop en massa källor och försöka kategorisera dem, utan tanken var att kunna utnyttja en kategorisering i ett framtida förbättrat sök på Frisim.com.

Tittar man på vad som skrivits om Alltop på Twitter så kommer Alltop säkert att göras sökbar inom kort. En annan indikation på att kategoriserat sök bör “funka” är det svar jag fick från Guy när jag berättade om min svenska Alltop-version:

Hi Guy,

I have studied your new site Alltop.com. I got so impressed that I made my own, Swedish-only, version. You can see it at nettopp.se. The design of my version is really similar to yours, but I hope that this is okey with you?

Currently, my version does not include nearly as many blogs and news sites as Alltop, but I am working on that. For American news categories (those who interest me) I have linked diretly to your Alltop.com instead of constructing similar pages myself. I have some plans for my version of the site. I also run a search engine for Swedish-only blogs and news. My idea is to use the manual categorisation I make for nettopp.se to construct small vertical search interfaces - so that it will be possible to search, for example, only sources about “social media”. What do you think about that?

Good luck with Alltop.

Regards
Clas

Hans svar är kort:

Clas,

Thanks for your message. I’m glad that you like Alltop so much, and I appreciate the links. I think your vertical search engines is a good idea.

All the best to you.
Guy

Exakt hur jag ska utnyttja kategoriseringen vid sökningar återstår fortfaranade att fundera på…

Bloggar som skrivit om Nettopp-tjänsten är: Disruptive.nu om action speaks louder then(sic!) words!, SvDs Per Åström om linkr.se (RSS, KIS och konsten att utföra) och ClaJoh om Nettopp, Alltop fast på svenska.

Du hittar de kategoriserade nyheterna på Frisim.com/kategori. Fortsätt gärna att föreslå bloggar som du tycker borde vara med på listan. Vill du föreslå många bloggar till en ny, egen, kategori så går det också bra :-)

När nu SVT skapat en fantastisk nyhetswebbplats på PlayRapport så är det ju synd att inte utnyttja möjligherna fullt ut. Så efter att ha provat lite lite med att “bädda in” webb-tv-inslagen på webbsidor, och när nu de värsta buggarna är fixade, så provar jag att visa nyhetsinslagen direkt på Frisims startsida.

Förhoppningsvis innebär det inte att sidan blir allt för trögladdad.

Det är inte bara infogandet av nyhetsfilmerna som justerats, utan numera är det bara innehållet i den vänstra spalten som “byts ut” genom klick på flikarna. (Anledningen till att detta gjordes om är mestadels att det var [för] lurigt att få till dynamiskt laddade data, som laddar dynamiska data. Jag är helt enkelt riktigt överens med Internet Explorer om hur ID-referenser uppdateras i HTML när man laddar innehållet dynamiskt med Ajax.) Jag använder, som tidigare, jQuery för Javascript-programmerandet, och webb-tv-inslagen visas med hjälp av en jQuery plug-in med namnet FancyBox.

Frisim har fått en färggrannare sökresultatsida i och med att länkar till nyheter, bloggar och pressmeddelanden nu visas i olika färger.

Idén om färgningen kommer från DagensPS kommande nyhetsbevakare PSSpy.se som gör en liknande färgning för nyheter och bloggar. Kullin.net “avslöjar” PSSpy i detta inlägg. Kanske skriver jag mer om PSSpy när den lanseras.

Detta inlägg skulle också kunnat få titeln “Ibland är det bra med en hemsida som inte så många besöker” eller kanske “Clas betalar TV-licens”.

Frisims startsida har uppdaterats med bilder från SVTs alldeles fantastiska sajt PlayRapport. På PlayRapport finns de senaste nyhetsinslagen från SVTs Rapport. Helt klart ett steg i rätt riktning när det gäller nyhetsmaterial på nätet, i alla fall för material i TV-format. Så här ser den “kontaktkartan” med nyhetsinslagsbilder på startsidan ut.

Varje bild är en länk som leder direkt till PlayRapport; ett klick och du kommer till PlayRapport som startar med att visa det inlägg bilden handlar om.

Tyvärr så saknar PlayRapport en publik RSS-feed vilket gör att jag blev tvungen att “hacka” lite för att kunna ladda data från PlayRapport för att visa på Frisim. Bilderna laddas dessutom direkt från SVTs server. Men, eftersom 1) inte sååååå många besöker Frisims startsida, 2) Clas betalar TV-licens, och 3) SVT är så snälla, så kommer SVT att tycka att detta var en jättebra idé och istället för att maila och be mig ta bort länkarna så kommer de att kommentera här i bloggen och tacka, och dessutom länka RSS-feeden på sin hemsida - kanske…

Till SVT.se: Er möjlighet för att kunna visa nyhetsinslag på den egna hemsidan (link/embed) verkar inte fungera. Den ger “Det här klippet är inte längre tillgängligt”-fel vid varje försök utom för “demoklippet”.

Jag kör virtuella servrar hos Amazon EC2 sedan något år tillbaka, dels som “failover”, dels som utvecklingsserver. Till exempel ligger Nettopp.se på en sådan just nu. Amazon har tidigare lanserat möjlighen till fast IP-nummer, och idag så annonserar de en privat beta, som jag naturligtvis skrivit upp mig för att få prova, av deras nya “persistant storage”, vilket jag tolkar som en version av Amazon S3 som kan “monteras” direkt i operativet.

Amazon EC2 är en helt vanligt (virtuell) server. Du konfigurerar och installerar precis som på vilken server som helst. Det tar en massa tid, men du får det som du vill ha det om du bara har tillräckligt med tålamod. Den mest uppenbara fördel gentemot en “vanlig” server är att du kan stänga av den :-) Innan du stänger av den så kan du lagra en “image” av servern. Denna image laddar du tillbaka när du vill fortsätta köra servern och fortästta att betala. Jag har en serverimage med en Fedora, Apache, Tomcat, en massa open source-paket och all Frisim-kod installerad. Det innebär att jag i teorin skulle kunna börja “sälja” Frisim:mar till alla(?) som vill ha, genom att distribuera EC2-images.

Google lanserade Google App Engine (GAE) för ett par dagar sedan, även den i begränsad betaversion. Jag skrev naturligtvis upp mig för att få prova. GAE är gratis. GAE är inte en Amazon EC2, inte på långa vägar. När jag provar GAE så får jag samma känsla som jag fick när jag provade AMOS på min Amiga för ungefär 100 år sedan: cool och enkelt, men bara så länge jag vill göra sådana saker som utvecklaren hade i åtanke när du utvecklade verktyget. I GAE använder du Python som språk. Applikationer för GAE utvecklar du med fördel lokalt genom att ladda ned och installera Python 2.5, och GAE SDK. När det är gjort så har du en färdig testmiljö. SDK:n innehållen en webbserver och en Python-runner och den “sandlåda” som GAE körs i.

Du har tillgång till ett antal bibliotek, som Google tillhandahåller, bland annat templatesystemet Django för att separera kod från design. Script som körs i GAE körs i en “sandlåda” och du kan t.ex. inte skriva till filer hur som helst. Å andra sidan så finns en “datastore”, en databas, direkt tillgänglig. Databasen hanteras med en SQL-liknande språk som de kallar GQL. GAE har dessutom kopplingar till “Google Accounts” som innebär att du kan låta dina besökare identifiera sig genom sina Gmail-logins. Det finns också tillgång till paket för att läsa data från en annan server kallar URL fetch, och ett Mail API. Men inte så mycket mer… Vill du programmera ditt eget Jaiku så känns GAE perfekt, vill du göra några mer avancerat så …. njae, det kommer att bli trixigt. Till saken hör naturligtvis att jag bara prova GAE några timmar. Projektet jag skapat följer Googles “getting started” exempel. Mitt testprojekt finns uppladdat på Klottra2.appspot.com. Klottra på , Google låter mig använda 10GB trafik per dag, gratis.

Matti Palm jobbade tidigare på nyhetsbevakningssajten Agent25. Han har skrivit ett inlägg på sin blogg Greenhill Relations om den dåvarande relationen mellan TT och Agent25, och hur TT idag förhåller sig till Google News. Inlägget är från 28 Mars 2008, vilket gör det uppenbart att jag inte rikitgt hänger med…. men det är intressant i alla fall. Dessutom väcker texten gamla minnen från mailkonverationer jag haft runt Frisim.

Nu är det uppenbarligen dags att titta lite mer på Python. Självklart måste man ju prova Google nya “app engine” och Google App Engine applications are implemented using the Python programming language. Jag hade nog hoppats på något mer likt Amazon EC2, med lite mer frihet, men även detta ser ut som det är värt att titta mer på och Although Python is currently the only language supported by Google App Engine, we look forward to supporting more languages in the future låter lovande.

De 10.000 första som registrerar sig får ett testkonto, och during this preview period, applications are limited to 500MB of storage, 200M megacycles of CPU per day, and 10GB bandwidth per day..

Jag har just fått ett testkonto - och jag vet redan vad jag ska bygga :-) Tyvärr vet jag inte på vilken tid :-(

Twingly lanserade för några dagar sedan en ny version av sin bloggsökmotor, men bara i begränsad beta-version. Beta-versionen har dock RSS- och JSON-feeds för sökresultat vilket innebär att du enkelt kan prova Twinglys sökningar direkt via dem. Jag har satt ihop lite Javascript-kod för att, baserat på en sökbaserad JSON-feed visa upp de första 10 träffarna hos Twinglys bloggsök. Bara bloggar som är “approved”, dvs som Twingly anser spam-fria, med sökresultaten sorterade i TwinglyRank-ordning.

Tyvärr finns det lite briser i JSON-data som jag får ut, t.ex. saknas titeln på blogginlägget, och tyvärr fungerar min kod bara i Firefox. Här kan du prova den: Twingly JSON.

Detta är det första jag gjort med JSON, och det var en trevlig upplevelse, även om jag, nästa gång jag gör något, ska använda ett “ramverk” som t.ex. jQuery för att få det att fungera i alla browsers på en gång.

PS. Bygger du en version som fungerar i både Firefox och IE så får du gärna länka i kommentarerna. DS

Uppdatering: Twingly uttalar sig: Tanken är förstås att man ska kunna göra sådana där hack, men inte utan att vara användare så länge vi är i stängd beta. Om det visar sig att det är meningen att det ska vara stängt så ska jag försöka se till att du får reda på det innan vi stänger samt en plan för hur och när vi kan autenticera användare. :-(

Uppdatering: Twingly meddelar i en kommentar nedan att de låter JSON-feeden förbli öppen :-)

Uppdatering: Nu är sidan omgjord med jQuery och bör fungera i fler webbläsare.

När jag startade Nettopp.se så lovade jag att tacka de som hjälper till. Tyvärr har jag inte hunnit med att skapa tackrutan ännu… lite pinsamt. Tack i alla fall till Disruptive.nu, Mickey,Strm, och till Tobias på Kalmar.nu.

Som traditionen påbjuder så “lanserar” jag alltid mina projekt på Webforum.nu. Där kan man hitta en exposé av mina små “startups” från år 2000 till den i förra veckan. Tack även för de kommentarerna!

Naturligtvis kommer det också tackrutor på Nettopp, så forsätt gärna att föreslå bloggar.

Nu har jag fått en beta-inbjudan till nya Twingly. Jag har inte provkört så mycket, men några sökningar för att försöka bilda mig en uppfattning om det är bra har jag gjort.

Förstasidan ser exklusiv ut i sin svarta utformning, men är inte uppseendeväckande på något vis. En sökruta, en logga och den kryptiska texten “find+share”. Jag har tyvärr inte riktigt förstå vad det är jag ska share:a för något ännu, men det kanske kommer.

Det är i alla fall lätt att förstå att jag ska skriva in ett sökord i textrutan. Jag kan sedan välja att klicka på “search” eller “spam-free-search”. Riktigt varför jag skulle vilja ha med spam i bland sökresultaten vet jag inte. Enda anledningen till att det skulle vara intressant är väl om Twingly inte har samma uppfattning om vad som är spam som jag har. Så, okej, givet att spamfiltret är “trasigt” (för kinkigt) så vill jag även ha med “spam” bland resultaten. Jag gör en sökning på [frisim] och ser vad som kommer upp. Såhär ser sökresultatsidan om jag klickar på “spam-free-search” ut:



Sökresultaten på [frisim] känns bra! Klickar jag på de gula (digg-lika) knapparna så “gillar” jag ett sökresultat, och söker jag igen på samma ord, så hamnar det resultatet högre (högst?) bland sökresultaten. Ett “gillar”-klick verkar ha samma effekt på rangordningen som en länk från en annan blogg har när jag rangordnar sökresultaten efter “TwinglyRank”. Det går också att rangordna efter bara antal inlänkar (”gillar”-klicks räknas inte med) eller i datumordning.

Hur var det då med “spam”? Gör jag om sökningen på [frisim] med bara “search” (dvs., med spam inkluderat), då noterar jag att bloggen SameSameButDifferent är klassad som spam enligt Twingly. Under om författarna av den bloggen håller med Twinglys algoritm ;-)

Sånt som jag tycker är spam då, klassas det som spam av Twingly? Ja, då måste jag ju känna till några spambloggar för att kunna prova. Eftersom Frisim.com har en ping-tjänst så är jag medveten om ett par svenska “spamnät”. Minst ett av dem handlar om smslån. En sökning på [smslån] ger mig bland annat resultaten:

Aj aj aj, resultat två och tre i den lista jag zommat in skulle jag klassat som spam. Nummer två i resultaten tillhör (gissningsvis) sveriges största smslån-spam-nätverk. Den bör Twingly ha lyckats identifiera som spam. Tyvärr, löftet om att vara spam-fri är kaxigt och det kommer att krävas mycket svett för att kunna leva upp till det. Tyvärr är det inte uppfyllt just nu. Här behövs lite mer fingertoppskänsla, tror jag.

Som beta-testare så kan man föreslå och rösta på nya features som man vill att Twingly ska utveckla. Idén om feature-request-röstning är kopierat (ja, det är bra att kopiera fina koncept!) från bl.a. Dell som provade det på sin sajt för något halvår sedan. Feature request-listan toppas just nu av “Hot right now”. Jag tror jag skickar in önskemål om smslån-spam-reducering ;-)

Överlag verkar Twinglys nya sökmotor fungera väldigt bra. Det är ju bara en beta-version så de har ju lite tid på sig att trimma in sin presentation, funktioner och spam-filtret. Jag tycker att Twingly har god potential att kunna visa upp en bra bloggsöktjänst när sajten lanseras!

Rent teknisk så körs nya Twingly på 3 servrar för insamling av RSS-data, fyra servrar för dokumentlagring (tror jag), tre servrar för indexet och en som sökfront-end. Antagligen används ytterligare någon för presentation av webbsidor. Indexet som Twingly använder bygger på MySQL för lagring av dokumenten, och det är Sphinx: free open-source SQL full-text search engine som används för sökningarna. Systemet är, enligt Martin på Twingly, uppbyggt med skalbarhet i åtanke. Sphinx används med fördel ihop med MySQL, och svenska sajter som PirateBay och Jonas Lejons hobbyprojekt Bloggz bygger på den.

Recensionen på TechCrunch hamnade inte under URL:en http://www.techcrunch.com/swedens-twingly-sucks/ som jag hintade om igår (den första april) utan under /europe-focused-blog-search-engine-twingly-goes-into-private-beta/.

Jag har ännu inte provkört Twinglys JSON-interface som kan används t.ex. för att visa upp sökresultaten på egen hemsida, men API:s är kul! Bra att de är med från början. Kanske skickar jag även in en “feature request” på att få data i “searialized PHP” (som bl.a. Yahoo använder) för att enklare kunna processa data på serversidan innan den visas upp. Med de avancerade sökfunktionerna för att begränsa sökning till blogginlägg på utvalda bloggar som länkar till specifika sajter så kan man säkert få ihop mycket skojjigt.

Lycka till ute i världen, Twingly!

Anton på Twingly skriver i sitt mail: Vill du ha fler invites, eller vet någon som vill få en, hör av dig! / anton@twingly.com. Så, vill du prova själv så skicka honom ett mail!