Цензура. Как сделать?

[AliMan]

У меня в наличии база данных из 43к анекдотов. Нужно определить какие из них матерные.
Есть идеи как это сделать?

[mdzht]

У меня в наличии база данных из 43к анекдотов. Нужно определить какие из них матерные.
Есть идеи как это сделать?

создай таблицы, anecdotes и fuck_anecdotes

[AliMan]

создай таблицы, anecdotes и fuck_anecdotes

Любителям поязвить прошу продвигаться в сторону лесных массивов окольными путями дабы не смущать светлые умы android-разработчиков и не разлагать рабочее настроение.

П.С. Если я захочу услышать язвительные замечание, нелепые советы или поговорить на отвлеченные темы - то напишу в разделе "флудильня".

[siberprogs]

На "анекдотов.нет" эту задачу не решили.
Первое что приходит в голову это сделать таблицу, занести в нее всевозможные матерные слова, и уже относительно нее делать фильтр.
Но навряд ли это получится, так как Русский язык велик и могуч! Эта таблица по объему может оказатся больше чем база с анекдотами.

[mdzht]

П.С. Если я захочу услышать язвительные замечание, нелепые советы или поговорить на отвлеченные темы - то напишу в разделе "флудильня".

Ну раз не хочешь трогать базу
[syntax=java5]if jokes.equals(offensive_jokes){
print("Fuck fuck fuck");
}else{
print("don't disturb the enlightened minds of android developers");
}[/syntax]

[AliMan]

Люди извращены в своей не грамотности. Много людей даже в матах умудряются допускать ошибки.
Я не претендую на роль грамотного.

[AliMan]

П.С. Если я захочу услышать язвительные замечание, нелепые советы или поговорить на отвлеченные темы - то напишу в разделе "флудильня".

Ну раз не хочешь трогать базу
[syntax=java5]if jokes.equals(offensive_jokes){
print("Fuck fuck fuck");
}else{
print("don't disturb the enlightened minds of android developers");
}[/syntax]

Не скомпелируется - скобочку после "if" забыл(а)

Код: Выделить всё

if(!isOfftop(msgObj) || !isTrolling(msgObj)){
	this.send(toWork);
}else{
	User user = msgObj.getUser();
	user.send(toWood);
	user.ignor();		
}

[altwin]

Первое что приходит в голову это....

Первое, что приходит в голову и единственный способ решения данной проблемы: Machine learning. И называется это: Supervised learning
http://www.rtexttools.com/

[mdzht]

Не скомпелируется - скобочку после "if" забыл(а)

Код: Выделить всё

if(!isOfftop(msgObj) || !isTrolling(msgObj)){
	this.send(toWork);
}else{
	User user = msgObj.getUser();
	user.send(toWood);
	user.ignor();		
}

Вот вот сам себе и ответил, только чуть чуть поправлю, если не будешь ныть
[syntax=java5]if(!isOfftop(msgObj) && !isTrolling(msgObj)){
this.send(ToSuck);
}else{
User user = msgObj.getUser();
user.send(toWood);
user.ignor();
aliwoman.whine();
}[/syntax]

[klblk]

Думаю изначально база создавалась не правильно... К каждому анекдоту нужны теги, и по ним делать выборки.
Подготовить базу: поискать матерные слова, в нужных местах поставить звездочку. А уже на устройстве эту звездочку учитывать. как-то так наверное.

[AliMan]

К каждому анекдоту нужны теги, и по ним делать выборки.

Тегов нет и взять их не от куда

Подготовить базу: поискать матерные слова, в нужных местах поставить звездочку. А уже на устройстве эту звездочку учитывать. как-то так наверное.

Как их поискать? в этом и загвоздка... была.
Проблему решил с помощью регулярок.
Помогла статья http://habrahabr.ru/post/101232/
И еще http://matov.net.ru/
Но переделать все на java вот это вот https://github.com/alrusdi/php-censure/ ... ensure.php лень было.
В целом вышло все нормально. На тестовой выборке в 1000 матерных анекдотов не распознал только 6.
На тестовой выборке в 1000 нормальных анекдотов распознал матерными только 12.