Команда «ВКонтакте» сооб­щи­ла о запус­ке в тесто­вой фор­ме ней­ро­се­ти, кото­рая будет бороть­ся с «язы­ком враж­ды» и «про­слав­ле­ни­ем наси­лия». Это каса­ет­ся не толь­ко пря­мых оскорб­ле­ний на поч­ве расиз­ма, ксе­но­фо­бии, гомо­фо­бии, осо­бен­но­стей внеш­но­сти и нали­чия забо­ле­ва­ния, но и при­зы­вов к раз­но­го рода агрес­сив­ным действиям.

По сло­вам раз­ра­бот­чи­ков про­ек­та, это серьез­но облег­чит рабо­ту моде­ра­то­рам, кото­рые еже­днев­но обра­ба­ты­ва­ют огром­ное коли­че­ство кон­тен­та. Конечно, сама ней­ро­сеть пока не смо­жет само­сто­я­тель­но уда­лять непри­ем­ле­мые посты, одна­ко она будет осу­ществ­лять поиск и поз­во­лит быст­рее выяв­лять мате­ри­а­лы с оскор­би­тель­ным содержанием.

Что такое нейросеть?

У мно­гих сло­во «ней­ро­сеть» ассо­ци­и­ру­ет­ся с искус­ствен­ным интел­лек­том, одна­ко это не совсем так. По сло­вам руко­во­ди­те­ля научно-технической экс­пер­ти­зы Партии пря­мой демо­кра­тии Олега Артамонова, ней­ро­сеть – это не более чем мате­ма­ти­че­ский алго­ритм, поз­во­ля­ю­щий после обу­че­ния на при­ме­рах авто­ма­ти­че­ски нахо­дить все объ­ек­ты нуж­но­го клас­са. Но при этом она может это делать, даже если точ­но­го сов­па­де­ния опре­де­ля­е­мо­го объ­ек­та ни с одним из при­ме­ров нет.

«Если мы обу­чи­ли ней­ро­сеть на деся­ти тыся­чах коти­ках – она будет нахо­дить коти­ков, даже если кон­крет­ный котик в обу­ча­ю­щей под­бор­ке пред­став­лен не был. Если мы ее обу­чи­ли на деся­ти тыся­чах руга­тельств – она может доволь­но уве­рен­но опре­де­лить, явля­ет­ся ли пред­став­лен­ная фра­за руга­тель­ством или нет», – пояс­нил Артамонов.

Аналитик Mindsmith Глеб Борисов уточ­нил, что суще­ству­ют раз­ные моде­ли ней­рон­ных сетей. Если гово­рить о моде­ра­ции тек­сто­во­го кон­тен­та, то клю­че­вой зада­чей ней­ро­се­ти будет являть­ся обра­бот­ка есте­ствен­но­го язы­ка. Обучение ее про­ис­хо­дит так: ком­пью­тер­ной про­грам­ме предо­став­ля­ют два мас­си­ва слов и сло­во­со­че­та­ний – тесто­вую выбор­ку без пояс­не­ний к содер­жа­нию и обу­ча­ю­щую выбор­ку с зара­нее раз­ме­чен­ны­ми харак­те­ри­сти­ка­ми и смыс­ла­ми тек­ста. Программа раз за разом ана­ли­зи­ру­ет тесто­вую выбор­ку и све­ря­ет конеч­ный резуль­тат оцен­ки тек­ста с обу­ча­ю­щей выбор­кой. Затем посте­пен­но, под­стра­и­вая и кор­рек­ти­руя резуль­та­ты для повы­ше­ния точ­но­сти пред­ска­за­ния смыс­ла тек­ста, ней­ро­сеть обу­ча­ет­ся само­сто­я­тель­но опре­де­лять харак­те­ри­сти­ки и содер­жа­ние текста.

Без людей никак

Несмотря на то, что ней­ро­се­ти доволь­но быст­ро раз­ви­ва­ют­ся, без уча­стия живых моде­ра­то­ров, людей, все еще не обой­тись – по край­ней мере в обо­зри­мом буду­щем. Facebook в послед­нем отче­те, опуб­ли­ко­ван­ном в нача­ле авгу­ста, заяв­лял, что его ней­ро­се­ти немед­лен­но обна­ру­жи­ва­ют 95% враж­деб­ных выска­зы­ва­ний по срав­не­нию с 88%, о кото­рых сооб­ща­лось в апре­ле, и по срав­не­нию с 52%, о кото­рых ком­па­ния сооб­ща­ла про­шлым летом. Однако Глеб Борисов уточ­нил, что подоб­ные высо­кие пока­за­те­ли не были бы достиг­ну­ты без при­ме­не­ния меха­низ­ма обу­че­ния ней­рон­ной сети с учи­те­лем, когда на помощь к ком­пью­тер­но­му алго­рит­му при­хо­дит чело­ве­че­ская экс­пер­ти­за. К при­ме­ру, моде­ра­то­рам на регу­ляр­ной осно­ве выда­ет­ся часть выдан­ных алго­рит­мом реше­ний, кото­рые под­твер­жда­ют­ся или оспа­ри­ва­ют­ся специалистом.

Важно пони­мать, что ней­ро­сеть может выявить лишь сход­ство кон­тен­та с тем, кото­рый ей пока­зы­ва­ли при обу­че­нии, но не может ана­ли­зи­ро­вать его кон­текст и смысл. Например, ней­ро­сеть, по сло­вам Артамонова, очень пло­хо опре­де­ля­ет, цити­ру­ет ли автор Гитлера в целях про­па­ган­ды нациз­ма или в рам­ках учеб­ни­ка истории.

И если учесть, что в соци­аль­ных сетях доста­точ­но мно­го кон­тен­та, кото­рый может кому-то пока­зать­ся оскор­би­тель­ным по фор­ме, но не явля­ю­щий­ся таким по содер­жа­нию, то здесь ней­ро­сеть часто не рабо­та­ет. Это каса­ет­ся, напри­мер, чер­но­го юмо­ра, кото­рый и живые-то люди не все­гда пони­ма­ют, не гово­ря уж о ком­пью­тер­ной про­грам­ме. Чтобы пони­мать кон­текст опре­де­лен­ных выска­зы­ва­ний, нуж­но более глу­бо­кое зна­ние о мире, чем то, кото­рым может обла­дать нейросеть.

По сло­вам Борисова, самая точ­ная муль­ти­мо­даль­ная модель на осно­ве искус­ствен­но­го интел­лек­та – Visual BERT COCO – обес­пе­чи­ва­ет точ­ность 64,7%, в то вре­мя как люди про­де­мон­стри­ро­ва­ли точ­ность 85% в рас­по­зна­ва­нии враж­деб­но­го посы­ла сооб­ще­ний, состо­я­щих как из тек­ста, так и изоб­ра­же­ний. Так что тут пре­иму­ще­ство все еще удер­жи­ва­ют живые специалисты.

Поэтому IT-специалисты схо­дят­ся на том, что ней­ро­сеть пока мож­но исполь­зо­вать толь­ко как вспо­мо­га­тель­ный меха­низм, но не наде­лять всей широ­той пол­но­мо­чий. По сло­вам Артамонова, един­ствен­ный спо­соб избе­жать мно­го­чис­лен­ных оши­боч­ных банов – это не давать авто­ма­ти­че­ско­му алго­рит­му пра­ва на бан. Автомат может лишь поме­чать «не нра­вя­щий­ся» ему кон­тент флаж­ка­ми и отправ­лять живо­му моде­ра­то­ру. Но здесь опас­ность не толь­ко в неоправ­дан­ной цен­зу­ре, кото­рую могут осу­ществ­лять ней­ро­се­ти, но и в том, что этот алго­ритм могут исполь­зо­вать люди в целях цензуры.

Наделение ней­ро­се­тей избы­точ­ны­ми пол­но­мо­чи­я­ми – это очень скольз­кая дорож­ка, так как она откры­ва­ет путь к неза­мет­ной поли­ти­че­ской цензуре

Олег Артамонов,
руководитель научно-технической экспертизы
Партии прямой демократии

По сло­вам спе­ци­а­ли­ста, все­гда мож­но под­стро­ить алго­ритм так, что­бы он был «более скло­нен» пони­жать рей­тин­ги и бло­ки­ро­вать кон­тент, соот­вет­ству­ю­щий опре­де­лен­ным поли­ти­че­ским взгля­дам. А вот опре­де­лить такое его пове­де­ние со сто­ро­ны прак­ти­че­ски невоз­мож­но. В такой цен­зу­ре неод­но­крат­но обви­ня­ли и Facebook, и Google, и Twitter.

Как это используют в других соцсетях

В свя­зи с этим самым рас­про­стра­нен­ным спо­со­бом моде­ра­ции все еще явля­ет­ся бло­ки­ров­ка неже­ла­тель­но­го кон­тен­та по пря­мым жало­бам поль­зо­ва­те­лей. Однако неко­то­рые соц­се­ти исполь­зу­ют алго­рит­мы для опре­де­ле­ния враж­деб­но­сти ком­мен­та­рия, еще когда поль­зо­ва­тель его толь­ко пишет – что­бы предот­вра­тить даже его опубликование.

Так, по сло­вам Борисова, в сен­тяб­ре 2019 года соци­аль­ная сеть для сосе­дей Nextdoor внед­ри­ла «Напоминание о доб­ро­те». Когда поль­зо­ва­тель соби­ра­ет­ся опуб­ли­ко­вать ком­мен­та­рий, кото­рый напо­ми­на­ет запи­си, отме­чен­ные как непри­стой­ные, при­ло­же­ние пере­во­дит его обрат­но в режим редак­ти­ро­ва­ния, где ему при­во­дит­ся ссыл­ка на реко­мен­да­ции по обще­нию в сообществе.

Социальная сеть LinkedIn исполь­зу­ет ней­ро­сеть для того, что­бы рас­по­зна­вать и уда­лять целые акка­ун­ты с недо­пу­сти­мым содер­жа­ни­ем. Эту ней­ро­сеть даже обу­ча­ли на про­фи­лях поль­зо­ва­те­лей, мар­ки­ро­ван­ных как «допу­сти­мые» и «недо­пу­сти­мые».

Очень мно­го экс­пе­ри­мен­ти­ру­ет с алго­рит­ма­ми Facebook, и не все­гда эти экс­пе­ри­мен­ты мож­но назвать удач­ны­ми. Из-за того, что ней­ро­сеть там может сама бло­ки­ро­вать неже­ла­тель­ный кон­тент, неод­но­крат­но слу­ча­лись гром­кие казу­сы вро­де бло­ки­ро­ва­ния исто­ри­че­ских доку­мен­тов или фотографий.

Что каса­ет­ся непо­сред­ствен­но «язы­ка враж­ды», то тут Facebook ста­ра­ет­ся сле­до­вать реше­ни­ям самих поль­зо­ва­те­лей с помо­щью инстру­мен­та голо­со­ва­ния за ком­мен­та­рии и их оцен­ки. Тем не менее и в Facebook, и в Instagram ней­ро­се­ти по-прежнему могут само­сто­я­тель­но уда­лять неже­ла­тель­ные комментарии.

360tv.ru