МЕТОДЫ ОБРАБОТКИ И АНАЛИЗА БОЛЬШИХ ДАННЫХ: ПОДХОДЫ И ПЕРСПЕКТИВЫ В ЗАДАЧАХ МАШИННОГО ОБУЧЕНИЯ

В статье рассматриваются методы обработки и анализа больших данных с целью повышения точности и эффективности моделей машинного обучения (МО). Основное внимание уделено задачам классификации, эффективности алгоритмов, таких как XGBoost, метод опорных векторов (SVM), ансамблевые методы, а также системам работы с большими данными, включая Hadoop и Apache Spark. Описаны ключевые этапы работы с данными: очистка, нормализация, выбор признаков, что критически важно для построения устойчивых моделей. Для оценки эффективности алгоритмов использовались метрики точности, полноты, F-меры и AUC-ROC. Особое внимание уделено применению МО в контексте организационных инноваций. Рассмотрены перспективы интеграции распределенных вычислительных платформ с алгоритмами МО.

1. Junfei Qiu, Qihui Wu, Guoru Ding, Yuhua Xu & Shuo Feng. A survey of machine learning for big data processing. EURASIP Journal on Advances in Signal Processing, 2016, vol. 2016, article no. 67.

2. Najafabadi M.M., Villanustre F., Khoshgoftaar T.M. et al. Deep learning applications and challenges in big data analytics. Journal of Big Data, 2015, no. 2, article no. 1. https://doi.org/10.1186/s40537-014-0007-7.

3. Järvinen P., Siltanen P., Kirschenbaum A. Data Analytics and Machine Learning. In: Södergård C., Mildorf T., Habyarimana E., Berre A.J., Fernandes J.A., Zinke-Wehlmann C. (eds) Big Data in Bioeconomy. Springer, Cham. 2021. https://doi.org/10.1007/978-3-030-71069-9_10.

4. Sarker I.H. Machine Learning: Algorithms, Real-World Applications and Research Directions. SN COMPUT. SCI., 2021, vol. 2, article no. 160. https://doi.org/10.1007/s42979-021-00592-x.

5. Dastan Hussen Maulud, Adnan Mohsin Abdulazeez. A Review on Linear Regression Comprehensive in Machine Learning, Journal of Applied Science and Technology Trends, 2020, vol. 1, no. 4, pp. 140–147. https://doi.org/10.38094/jastt1457.

6. Maher Maalouf. Logistic regression in data analysis: An overview.International Journal of Data Analysis, Techniques and Strategies, 2011, vol. 3, no. 3, pp. 281–299, https://doi.org/10.1504/IJDATS.2011.041335.

7. Ivanov A.A. Iskusstvennyj intellekt kak osnova innovacionnyh preobrazovanij v tehnike, jekonomike, biznese. Izvestija SPbGJeU, 2018, no. 3 (111), pp. 112–115. [in Russian]

8. Sejdametova Z.S. Jekonomika i mashinnoe obuchenie. Uchenye zapiski Krymskogo inzhenernopedagogicheskogo universiteta, 2019, no. 1(63), pp. 167–171. [in Russian]

9. Terehov V.I. Metodika podgotovki dannyh dlja obrabotki impul'snymi nejronnymi setjami. Nejrokomp'jutery: razrabotka, primenenie, 2017, no. 2, pp. 31–36. [in Russian]

10. Flah P. Mashinnoe obuchenie. Nauka i iskusstvo postroenija algoritmov, kotorye izvlekajut znanija iz dannyh, 2015, p. 400. [in Russian]

11. Mukhanov S.B., Uskenbayeva R.K. Pattern Recognition with Using Effective Algorithms and Methods of Computer Vision Library. Advances in Intelligent Systems and Computing, 2020, no. 1, pp. 31–37.

12. Mukhanov S., Uskenbayeva R., Im Cho Young, Dauren K., Les N., Amangeldi M. Gesture Recognition of Machine Learning and Convolutional Neural Network Methods for Kazakh Sign Language. Herald Scientific Journal of Astana IT University, 2023, vol. 15, pp. 16–27.

13. Mukhanov S.B., Lee A.S., Zheksenov D.B., Yevdokimov D.D., Amirgaliev E.N., Kalzhigitov N.K., Kenshimov Sh. Comparative analysis of neural network models for gesture recognition methods hands. Bulletin of NIA RK. Information and communication technologies, 2023, no. 2(88), pp. 15–27.

14. Kenshimov C., Mukhanov S., Merembayev T., Yedilkhan D. A Comparison of Convolutional Neural Networks for Kazakh Sign Language Recognition Eastern-European. Journal of Enterprise Technologies, 2021, vol. 5, no. 2–113, pp. 44–54.