Kommentarer till Frisim språk och spam http://www.frisim.com/blog/2008/07/08/frisim-sprak-och-spam/ Utvecklingsblogg för Frisim nyhetssök Wed, 22 Jun 2011 10:27:52 +0200 hourly 1 http://wordpress.org/?v=3.1.3 Av: Clas http://www.frisim.com/blog/2008/07/08/frisim-sprak-och-spam/#comment-66349 Clas Wed, 09 Jul 2008 14:30:41 +0000 http://www.frisim.com/blog/?p=450#comment-66349 Ah, tack, okej. Jag kör identifieringen på varje nytt blogginlägg just nu, men naturligtvis skulle jag kunna göra det en gång på varje feed (eller en gång på varje feed varje vecka, typ) istället. En (annan) fördel med att göra det på en "hel" feed, stället för på bara ett inlägg i taget, är ju att man får mer text att basera sin klassificering på. Att bestämma ursprungsland (eller kanske till och med hemstad) på bloggaren är också intressant, men det har jag inte gjort några sådana försök. Kanske är det möjligt att titta på vad det skrivs om (i bloggen) för att försöka gissa land/stad. Ah, tack, okej. Jag kör identifieringen på varje nytt blogginlägg just nu, men naturligtvis skulle jag kunna göra det en gång på varje feed (eller en gång på varje feed varje vecka, typ) istället. En (annan) fördel med att göra det på en ”hel” feed, stället för på bara ett inlägg i taget, är ju att man får mer text att basera sin klassificering på.

Att bestämma ursprungsland (eller kanske till och med hemstad) på bloggaren är också intressant, men det har jag inte gjort några sådana försök. Kanske är det möjligt att titta på vad det skrivs om (i bloggen) för att försöka gissa land/stad.

]]> Av: Martin Källström http://www.frisim.com/blog/2008/07/08/frisim-sprak-och-spam/#comment-66317 Martin Källström Wed, 09 Jul 2008 09:33:27 +0000 http://www.frisim.com/blog/?p=450#comment-66317 Hej Clas, vad vi gör för att öka kvalitén är att detektera språk individuellt för varje inlägg i bloggens RSS-feed och sedan sätta det mest representerade språket som språk för alla inläggen. Då offrar man tvåspråkiga bloggar, men hittills är det ingen som klagat över det. Bättre att något fåtal bloggar bara får ett enda språk på sina inlägg än att alla bloggar får 5% av sina inlägg felklassificerade. Om någon blogg byter språk helt kommer klassificeringen snappa upp detta. Ett annat intressant problem är landsklassificering. Hur avgör man t ex att ett blogginlägg är brittiskt snarare än amerikanskt, eller från Tyskland snarare än Österrike? Mvh Martin Hej Clas,

vad vi gör för att öka kvalitén är att detektera språk individuellt för varje inlägg i bloggens RSS-feed och sedan sätta det mest representerade språket som språk för alla inläggen. Då offrar man tvåspråkiga bloggar, men hittills är det ingen som klagat över det. Bättre att något fåtal bloggar bara får ett enda språk på sina inlägg än att alla bloggar får 5% av sina inlägg felklassificerade. Om någon blogg byter språk helt kommer klassificeringen snappa upp detta.

Ett annat intressant problem är landsklassificering. Hur avgör man t ex att ett blogginlägg är brittiskt snarare än amerikanskt, eller från Tyskland snarare än Österrike?

Mvh Martin

]]>