Эксперт па бяспецы Бар Ланьяда нядаўна правёў даследаванне таго, як генератыўныя мадэлі штучнага інтэлекту ненаўмысна спрыяюць вялізным патэнцыяльным пагрозам бяспецы ў свеце распрацоўкі праграмнага забеспячэння. Такое даследаванне Lanyado выявіла трывожную тэндэнцыю: штучны інтэлект прапануе пакеты ўяўнага праграмнага забеспячэння, а распрацоўшчыкі, нават не падазраючы, уключаюць яго ў свае кодавыя базы.
Выпуск адкрыты
Праблема ў тым, што згенераванае рашэнне было выдуманым імем - штосьці тыповае для штучнага інтэлекту. Аднак гэтыя выдуманыя назвы пакетаў затым упэўнена прапануюцца распрацоўшчыкам, якія маюць цяжкасці пры праграмаванні з дапамогай мадэляў штучнага інтэлекту. Сапраўды, некаторыя прыдуманыя назвы пакетаў былі часткова заснаваныя на асобах, такіх як Lanyado, а некаторыя пайшлі наперад і ператварылі іх у сапраўдныя пакеты. Гэта, у сваю чаргу, прывяло да выпадковага ўключэння патэнцыйна шкоднаснага кода ў рэальныя і законныя праграмныя праекты.
Адным з прадпрыемстваў, якія пацярпелі ад гэтага ўдару, была Alibaba, адзін з асноўных гульцоў у індустрыі тэхналогій. У сваіх інструкцыях па ўсталёўцы GraphTranslator Lanyado выявіў, што Alibaba ўключыла пакет пад назвай «huggingface-cli», які быў падроблены. Фактычна, у індэксе пакетаў Python (PyPI) быў сапраўдны пакет з такой жа назвай, але ў кіраўніцтве Alibaba спасылаўся на той, які зрабіў Ланьяда.
Тэставанне настойлівасці
Даследаванне Lanyado мела на мэце ацаніць даўгавечнасць і патэнцыйную эксплуатацыю назваў пакетаў, створаных AI. У гэтым сэнсе LQuery стварыла асобныя мадэлі штучнага інтэлекту аб праблемах праграмавання і паміж мовамі ў працэсе разумення, калі эфектыўна, сістэматычна, рэкамендавалі гэтыя выдуманыя назвы. У гэтым эксперыменце відавочна, што існуе рызыка таго, што шкодныя суб'екты могуць злоўжываць імёнамі пакетаў, створанымі штучным інтэлектам, для распаўсюджвання шкоднаснага праграмнага забеспячэння.
Гэтыя вынікі маюць глыбокія наступствы. Злыя асобы могуць скарыстацца сляпым даверам распрацоўшчыкаў да атрыманых рэкамендацый такім чынам, што яны могуць пачаць публікацыю шкодных пакетаў пад ілжывымі асобамі. З мадэлямі штучнага інтэлекту рызыка ўзрастае з паслядоўнымі рэкамендацыямі штучнага інтэлекту для прыдуманых імёнаў пакетаў, якія недасведчаныя распрацоўшчыкі будуць уключаць у шкоднасныя праграмы. **Шлях наперад**
Такім чынам, па меры далейшай інтэграцыі штучнага інтэлекту з распрацоўкай праграмнага забеспячэння можа ўзнікнуць неабходнасць выправіць уразлівасці, звязаныя з рэкамендацыямі, створанымі штучным інтэлектам. У такіх выпадках неабходна правяраць належную абачлівасць, каб праграмныя пакеты, прапанаваныя для інтэграцыі, былі законнымі. Акрамя таго, платформа, на якой размяшчаецца сховішча праграмнага забеспячэння, павінна правярацца і быць дастаткова надзейнай, каб ніякі код злоснай якасці не распаўсюджваўся.
Скрыжаванне штучнага інтэлекту і распрацоўкі праграмнага забеспячэння выявіла сур'ёзную пагрозу бяспецы. Таксама мадэль штучнага інтэлекту можа прывесці да выпадковай рэкамендацыі падробленых праграмных пакетаў, што стварае вялікую небяспеку для цэласнасці праграмных праектаў. Той факт, што ў сваіх інструкцыях Alibaba ўключыў скрынку, якой там ніколі не павінна было быць, з'яўляецца сапраўдным доказам таго, што магчымасці могуць узнікнуць, калі людзі выконваюць рэкамендацыі ў робатах
дадзены А.І. У будучыні трэба будзе праяўляць пільнасць, прымаючы актыўныя меры, каб засцерагчыся ад няправільнага выкарыстання ІІ для распрацоўкі праграмнага забеспячэння.
Крыніца: https://www.cryptopolitan.com/ai-generated-software-packages-threats/