У рамках тестування співробітники криптобіржі Coinbase самостійно проаналізували 20 смарт-контрактів різних токенів щодо ризиків, а потім використовували ChatGPT для тієї ж мети.
В 12 випадках з 20 висновки нейромережі про рівень ризиків збіглися з висновками експертів.
«З восьми випадків неправильного визначення рівня ризиків ChatGPT у п'яти випадках надала низький рівень ризику високоризиковим токенам. Це найгірший варіант помилки – недооцінка ризику активу може бути набагато небезпечнішою., ніж завищення рівня ризику», ― кажуть представники компанії.
Аналітики відзначили користь ChatGPT, однак заявили, що від ручного тестування смарт-контрактів йти поки що рано. За словами експертів Coinbase, нейромережа погано працює, коли у неї недостатньо контекстних даних для проведення аналізу. Крім того, ChatGPT звертає надто багато уваги на коментарі у коді смарт-контрактів, тоді як важливіша сама логіка роботи програми.
«Хоча ChatGPT показує потенціал для швидкої оцінки ризику смарт-контрактів, висновки нейромережі надто недостовірні, щоб інтегрувати її у процеси оцінки безпеки активів на Coinbase. Ми чекаємо, що з правильним інжинірингом точність інструменту можна підвищити, однак повністю покладатися на нього неможливо», ― роблять висновок представники біржі.
Популярність нейромережі ChatGPT звернула на себе увагу шахраїв. Нещодавно розробники проекту Harvest Keeper, який «використав ІІ та нейромережі для оптимізації торгівлі» втекли
з активами користувачів на суму понад $1 млн.
