教程前言
宝贝分享@大数据,基于Spark的机器学习,智能客户系统项目实战,大小2.99G,117个文件。本套教程存放在百度网盘,可以转存以后在线播放,或者下载到本地离线学习,同时支持PC端与手机端。
教程描述
本套教程与机器学习相关,通过用真实的智能客户项目系统作为案例(案例附带源码,可以直接做二次开发),主要根据项目实例串讲机器学习以及相关知识,包括有:数据提取,数据清洗以及分词,数据特征值提取、机器学习模型计算、数据分类等等,进行详细讲解。整个项目的基本思路,是如何通过爬虫爬取大量数据放到Hbase,然后通过ETL工具初步转化筛选将数据存到mongodb,抽取mongodb的数据进行清洗处理算出模型放到hdfs。后续进来数据通过模型运算出数据的类型。项目系统主要包括前端+后端+机器学习,前端采用React Native,Native,后端采用Dubbo+Spring+java,机器学习采用Spark进行实现,本项目机器学习-spark代码运行在mesos上。
教程目录
第01节项目介绍以及在本课程中能学到什么东西、如何应用到实际项目中.mp4
第02节scala和IDE的安装以及使用以及maven插件的安装.mp4
第03节Centos环境准备(java环境、hosts配置、防火墙关闭).mp4
第04节scala基础知识讲解-1.mp4
第05节scala基础知识讲解-函数和闭包-2.mp4
第06节scala基础知识讲解-数组和集合-3.1.mp4
第07节scala基础知识讲解-数组和集合-3.2.mp4
第08节scala基础知识讲解-类和对象-4.mp4
第09节scala基础知识讲解-特征和模式匹配-5.mp4
第10节scala基础知识讲解-正则表达式和异常处理-6.mp4
第11节scala基础知识讲解-知识回顾.mp4
第12节nosql数据库mongodb安装.mp4
第13节spring data for mongodb-简单连接mongodb.mp4
第14节spring data for mongodb-spring配置+CRUD操作(不实现repo,默认操作).mp4
第15节spring data for mongodb-实现repo接口+mongoTemplate+CRUD操作.mp4
第16节spring data for mongodb-分页查询.mp4
第17节zookeeper集群安装.mp4
第18节zookeeper基本介绍-1.mp4
第19节zookeeper工作原理-选举流程(basic paxos算法)-2.mp4
第20节zookeeper工作原理-选举流程(fast paxos算法)-3.mp4
第21节kafka-背景及架构介绍.mp4
第22节kafka集群安装以及测试.mp4
第23节kafka数据发送与接收实现-java.mp4
第24节hdfs单机安装部署.mp4
第25节连接hdfs查询存储-java.mp4
第26节机器学习基本线性代数介绍.mp4
第27节IKAnalyzer中文分词工具介绍.mp4
第28节IKAnalyzer中文分词工具结合java应用.mp4
第29节Spark以及生态圈介绍.mp4
第30节Spark运行架构介绍及原理之job,stage,task.mp4
第31节Spark编程模型RDD设计以及运行原理.mp4
第32节纯手写第一个Spark应用程序:WordCount.mp4
第33节RDD常用函数介绍.mp4
第34节Spark Sql介绍、DataFrame创建以及使用、RDD DataFrame DataSet相互转化.mp4
第35节Spark Streaming介绍.mp4
第36节Spark Streaming+Kafka集成操作.mp4
第37节avro结合maven使用,实现序列化和反序列化.mp4
第38节Spark ML(机器学习)介绍(监督学习、半监督学习、无监督学习).mp4
第39节特征抽取:TF-IDF原理介绍.mp4
第40节特征提取:TF-IDF代码实现计算.mp4
第41节聚类算法:KMEANS原理介绍.mp4
第42节聚类算法:KMEANS代码实现计算.mp4
第43节其它Spark ML算法简单介绍.mp4
第44节Spark连接Mongodb代码实现.mp4
第45节Mesos总体架构介绍.mp4
第46节Mesos安装部署.mp4
第47节Spark on Mesos安装部署.mp4
第48节系统整体架构再次介绍+技术串联介绍(将学习的技术全部整合到项目中).mp4
第49节项目代码:父类工程,管理各个jar的版本.mp4
第50节项目代码:avro序列化jar,用于客户端和机器学学习实现序列化和反序列化.mp4
第51节项目代码:kafka发送数据jar,给app调用并实现切词并发送数据到kafka.mp4
第52节项目代码:工具类jar,实现操作hdfs、切词以及操作mongodb.mp4
第53节项目代码:操作类jar,调用工具类具体进行切词以及数据清洗并且存储到Hdfs.mp4
第54节项目代码:机器学习集合jar,主要用来存放record.mp4
第55节项目代码:机器学习算法jar,主要进行tf-idf以及kmeans计算,主要实现企业上下游、供求上下游模型计算.mp4
第56节项目代码:流式计算jar,主要是接受客户端发送到kafka的数据加载模型进行计算.mp4
第57节项目代码:测试模拟jar,主要模拟实现用户加载avro序列化jar写数据到kafka.mp4
第58节Spark on Mesos部署提交参数介绍.mp4
第59节Spark代码提交到Mesos运行(Spark-submit).mp4
第60节项目整体流程跑通,结果展示.mp4
第61节Spark调优介绍.mp4
第62节基于Spark的机器学习项目-智能客户系统实战课程总结.mp4
第63节实际工作及面试注意问题.mp4
课件资料