
 
 
 
 
 
 Penulis : (1) Geraldo Xexéo, Program Teknik Sistem dan Komputer – COPPE, Universitas Federal Rio de Janeiro, Brasil; (2) Filipe Braida, Departemen Ilmu Komputer, Universidad Federal Rural do Rio de Janeiro; (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brasil dan Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Program Teknik Sistem dan Komputer – COPPE, Universitas Federal Rio de Janeiro, Brasil. Authors: (1) Geraldo Xexéo, Program Teknik Sistem dan Komputer – COPPE, Universitas Federal Rio de Janeiro, Brasil; (2) Filipe Braida, Departemen Ilmu Komputer, Universidad Federal Rural do Rio de Janeiro; (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brasil dan Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Program Teknik Sistem dan Komputer – COPPE, Universitas Federal Rio de Janeiro, Brasil. Tabel dari kiri Abstrak dan Introduksi 1. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Basic premises for our models 2.1. How LLMs are charged 2.2 An anedotal model from industry 2.3 Choice of Costs in the Model 2.4 Why multiple scenarios 
 
 
 A Decision Theoretic Model 3.1 How to model success 
 
 
 
 
 A Model for Commercial Operations Based on a Single Transaction 4.1 Example of Using the Model 4.2 Model Analysis 4.3 Discussion of the RoI vs. Earning dillema 
 
 
 
 Modelling of a Binary Classification Problem 5.1 Local Sensitivity Analysis 5.2 Global Sensitivity Analysis by Sobol Method 
 
 Related Work 
 
 Future work 
 
 Conclusion, References, and Acknowledgements abstrak Memilih model bahasa dalam konteks bisnis membutuhkan analisis yang hati-hati dari manfaat keuangan akhir dari investasi. Namun, penekanan dari analisis akademik dan industri LLM hanya pada kinerja. Pekerjaan ini memperkenalkan kerangka kerja untuk mengevaluasi LLM, berfokus pada keuntungan dan pengembalian pada aspek investasi yang harus diperhitungkan dalam pengambilan keputusan bisnis. Kami menggunakan pendekatan teori keputusan untuk membandingkan dampak keuangan dari LLM yang berbeda, mempertimbangkan variabel seperti biaya per token, kemungkinan keberhasilan dalam tugas tertentu, dan keuntungan dan kerugian yang terkait dengan penggunaan LLM. Studi ini mengungkapkan bagaimana akurasi yang lebih tinggi dari model yang lebih mahal dapat, dalam kondisi tertentu, membenarkan investasi yang lebih besar melalui keuntungan yang lebih signifikan tetapi tidak selalu RoI yang lebih besar. Artikel ini menyediakan kerangka kerja bagi perusahaan yang mencari untuk mengoptimalkan pilihan teknologi mereka 1 Pengantar Meskipun sebagian besar pekerjaan hanya membahas kinerja LLM dalam serangkaian tugas [Chang et al., 2023], di sini dianggap bahwa proses memilih Model Bahasa (LLM) untuk tugas-tugas spesifik dalam konteks bisnis harus melampaui penilaian kinerja, melihat juga aspek operasional dan memperhitungkan pendapatan yang diharapkan dan pengembalian investasi (RoI). Motivasi kami adalah fakta bahwa pemilihan LLM yang tepat telah menjadi keputusan strategis bagi perusahaan yang ingin meningkatkan dan mengoptimalkan operasi dan memaksimalkan ROI [Gupta, 2024]. Dengan evolusi berkelanjutan dari teknologi kecerdasan buatan, LLM menawarkan solusi inovatif untuk berbagai aplikasi bisnis, dari asisten virtual hingga sistem analisis data yang kompleks. Namun, memilih antara model yang berbeda yang tersedia dapat menjadi tantangan mengingat biaya variabel dan dampak pada kinerja tugas bisnis. Selain itu, evolusi konstan dari state-of-the-art, untuk berbagai tingkat kinerja dan biaya, menunjukkan kebutuhan untuk selalu mempertanyakan pilihan LLM untuk digunakan pada saat tertentu, yang membutuhkan evaluasi konstan dari model baru [Shharek et al., 2024]. Dokumen ini menyajikan model yang berbeda untuk menganalisis dampak dari mengadopsi LLM yang berbeda berdasarkan dampaknya pada penghasilan dan pengembalian investasi. Setiap model mengasumsikan skenario operasi bisnis yang mencakup tugas bisnis berdasarkan pelaksanaan tugas LLM. Misalnya, LLM dapat digunakan dalam sistem rekomendasi yang terkait dengan penjualan online [Zhao et al., 2024], di mana itu akan mengusulkan produk yang akan diperoleh oleh klien. Tugas bisnis adalah benar-benar menjual sistem yang direkomendasikan, sementara taksi LLM adalah menemukan rekomendasi yang benar. Biasanya, kedua tugas dapat dilatih, disesuaikan dengan baik, atau diuji menggunakan set data yang ada. Namun, hasil bisnis yang sebenarnya hanya dapat diukur saat beroperasi. Selain itu, dalam setiap skenario bisnis, beberapa informasi mudah didapatkan, seperti biaya per token, yang lain bisa menjadi perkiraan, rata-rata, atau sulit ditemukan.Selain itu, skenario yang berbeda juga dapat memiliki hasil yang berbeda.Setiap skenario dapat menyebabkan penciptaan model baru untuk menjelaskan ROI yang diharapkan dan analisis sensitivitas yang mengevaluasi bagaimana perubahan dalam parameter input mempengaruhi ROI. Dalam makalah ini, kami memodelkan skenario di mana keuntungan dan manfaat adalah hasil langsung dari satu operasi bisnis. Ini adalah, misalnya, kasus untuk sistem rekomendasi yang bertindak selama penjualan online, yang dapat membawa keuntungan jangka pendek yang sangat dapat diukur. Dalam skenario lain, yang tercantum sebagai pekerjaan masa depan, operasi hanya dapat memiliki dampak tidak langsung. Ini akan menjadi kasus untuk deteksi berita palsu di jaringan sosial yang dapat meningkatkan persepsi kepercayaan pada pengguna, menghasilkan manfaat jangka panjang. Bagian berikutnya membuat beberapa pertimbangan dan asumsi untuk model. Bagian ketiga menampilkan model untuk skenario berdasarkan ROI dari operasi tunggal yang dapat berhasil atau tidak. Bagian keempat menampilkan model untuk skenario berdasarkan tugas klasifikasi biner. Bagian kelima menggambarkan model yang akan digunakan ketika tidak mungkin untuk bekerja dengan operasi tunggal tetapi sebenarnya dengan hasil umum menggunakan LLM dalam bisnis. Bagian keenam membahas beberapa langkah selanjutnya, sementara bagian terakhir menampilkan kesimpulan. 
 
 Dokumen ini tersedia di archiv di bawah lisensi CC BY-NC-ND 4.0 DEED. Kertas ini adalah dengan lisensi CC BY-NC-ND 4.0 DEED. Tersedia di Arsip Tersedia di Arsip

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

Audio ini diproduksi dalam bahasa asli cerita!

Penelitian Baru Menghancurkan ROI LLM Melalui Kasus Penggunaan Bisnis

About Author

KOMENTAR

HANG TAG

ARTIKEL INI DISAJIKAN PADA

Related Stories

The Magic Shop

THE CAVERNS OF VENUS

Stocks will be More Profitable than Crypto - Interview With Bryan Applegate

Why do you need JWT in your ASP.NET Core project?

The Magic Shop

THE CAVERNS OF VENUS

Stocks will be More Profitable than Crypto - Interview With Bryan Applegate

Why do you need JWT in your ASP.NET Core project?

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps