Home
Subjects
Advanced Technology
Computer & IT
Economics & Management
Humanities & Social Sciences
Self-Development
Natural Sciences
Multi Disciplines
Courses
Featured Courses
Live Streaming
Course Series
LM Presents
Learning Mentor
Our Partners
Visit LM Portal/ Core
Learning Mall Portal
Learning Mall Core
Learning Mall VIP
Event/Conference
Home
Subjects
Advanced Technology
Computer & IT
Economics & Management
Humanities & Social Sciences
Self-Development
Natural Sciences
Multi Disciplines
Courses
Featured Courses
Live Streaming
Course Series
LM Presents
Learning Mentor
Our Partners
Visit LM Portal/ Core
Learning Mall Portal
Learning Mall Core
Learning Mall VIP
Event/Conference
Log In
中文
Log In
中文
大数据计算引擎 - Spark详解与实战
任务 155：0504-基于Python的SparkStreaming从Network读取数据处理
View Courses
任务 List
任务 1：讲义
任务 2：Day2501_大数据分析框架概要、Spark课程学习计划及建议
任务 3：Day2502_为什么学习SCALA语言及SCALA语言介绍和学习提纲
任务 4：Day2503_SCALA环境搭建及IDEA安装配置（JAVA安装、SCALA安装及IDEA安装）
任务 5：Day2504_SCALA语言HelloWorld及安装总结（作业LINUX系统安装）
任务 6：Day2505_SCALA中变量的声明（两种方式）
任务 7：Day2506_SCALA中数据类型及操作符
任务 8：Day2507_IF语句及WHILE循环、循环表达式及FOR基本使用
任务 9：Day2508_FOR循环深入讲解及yield功能
任务 10：Day2509_SCALA中的Breaks使用
任务 11：Day2510_函数的定义（如何确定一个函数）
任务 12：Day2511_函数的定义（各种情况下函数定义与使用）
任务 13：Day2512_函数的作用域、默认参数函数和名称参数函数使用详解
任务 14：Day2513_变长参数函数和内部函数使用详解
任务 15：Day2514_匿名函数定义与使用
任务 16：Day2515_高阶函数定义与使用
任务 17：Day2516_深入高阶函数的使用
任务 18：笔记.zip
任务 19：代码.zip
任务 20：作业
任务 21：讲义
任务 22：Day2601_数组Array和ArrayBuffer
任务 23：Day2602_SCALA中集合类Collections概要讲解（对比JAVA中集合类）
任务 24：Day2603_集合类之List和ListBuffer创建与基本操作
任务 25：Day2604_集合List中常见高阶函数使用详解（一）
任务 26：Day2605_集合List中常见高阶函数使用详解（二）
任务 27：Day2606_SCALA中元组创建与使用
任务 28：Day2607_集合类之Set及常见函数使用
任务 29：Day2608_集合类之Map创建与遍历
任务 30：Day2609_集合类综合应用：实现WordCount词频统计
任务 31：Day2610_类Class的定义与创建对象
任务 32：Day2611_对象object及apply方法
任务 33：Day2612_类class的构造方法（主构造方法和附属构造方法）
任务 34：Day2613_SCALA中的Trait初步使用
任务 35：Day2614_SCALA中异常的处理及模式匹配初步使用
任务 36：Day2615_模式匹配之匹配类型、元组
任务 37：Day2616_CaseClass及在模式匹配中使用
任务 38：Day2617_Option（Some、Node）及模式匹配使用
任务 39：Day2618_SCALA中隐式转换详解（结合案例）
任务 40：Day2619_SCALA中隐式参数详解（结合案例）
任务 41：Day2620_综合回顾复习SCALA的所有知识要点
任务 42：笔记
任务 43：代码.zip
任务 44：作业
任务 45：讲义
任务 46：Day2701_SPARK框架学习的基础及与Spark初步认识（比较MapReduce框架）
任务 47：Day2702_Spark Feature详解及处理数据三步走策略
任务 48：Day2703_Spark 学习资源、源码下载及编译详解
任务 49：Day2704_SPARK 安装目录及使用的方便优点
任务 50：Day2705_Local Mode配置、启动spark-shell及运行程序测试
任务 51：Day2706_编程实现WordCount程序（类比MapReduce实现思路）
任务 52：Day2707_Spark Local Mode深入剖析详解
任务 53：Day2708_使用IDEA创建MAVEN工程及配置依赖
任务 54：Day2709_编写Spark Application开发模板
任务 55：Day2710_深入WordCount程序分析（sortByKey和top函数使用）
任务 56：Day2711_如何导入Spark源码至IDEA中（Windows下）
任务 57：Day2712_Spark Standalone 集群架构、配置、启动深入详解及l测试
任务 58：Day2713_浅析Spark Application运行Cluster组成及如何提交应用
任务 59：Day2714_深入剖析Spark Application中Job、Stage和Task关系
任务 60：Day2715_案例：对原始数据进行清洗过滤及实现每日浏览量统计
任务 61：Day2716_案例：实现每日访客数统计及使用HiveQL进行结果验证、打包运行集群
任务 62：笔记.zip
任务 63：代码.zip
任务 64：配置.zip
任务 65：资料.zip
任务 66：作业
任务 67：讲义
任务 68：Day2801_Spark Application运行的Deploy Mode详解(1)
任务 69：Day2802_使用spark-submit提交应用运行Standalone集群及性能调优
任务 70：Day2803_Spark Application运行的EventLog启用
任务 71：Day2804_Spark HistoryServer配置及使用
任务 72：Day2805_RDD是什么及创建方式
任务 73：Day2806_RDD操作类型及持久化详解
任务 74：Day2807_RDD中常用的Transformation和Action详解（一）
任务 75：Day2808_RDD中常用的Transformation和Action详解（二）
任务 76：Day2809_案例：分组排序TopKey实现及如何处理数据倾斜（分阶段聚合）
任务 77：Day2810_SparkOnYarn：运行SparkApplication在YARN上（编写脚本）
任务 78：Day2811_SparkOnYarn：配置HIstoryServer及运行在YARN的两种架构
任务 79：Day2812_官方案例：读取日志数据及正则解析（CASE CLASS）
任务 80：Day2813_官方案例：依据业务编码实现及熟悉RDD API
任务 81：Day2814_官方案例：其他业务编码实现测试及过滤数据
任务 82：Day2815_官方案例：RDD#top函数使用（自定义排序规则）及提交运行YARN集群
任务 83：Day2816_内核调度：Spark Job Scheduler详解（一）
任务 84：Day2817_内核调度：Spark Job Scheduler详解（二）
任务 85：笔记.zip
任务 86：代码.zip
任务 87：数据.zip
任务 88：06_脚本.zip
任务 89：作业
任务 90：讲义
任务 91：Day2901_SparkSQL的重要性及Spark2.x的生态圈
任务 92：Day2902_SparkSQL前世今生（Hive、Shark、SparkSQL）及初步使用说明
任务 93：Day2903_案例分析：基于DataFrame和SQL分析数据（一）
任务 94：Day2904_案例分析：基于DataFrame和SQL分析数据（二）
任务 95：Day2905_SparkSQL Introduction及处理数据的方式
任务 96：Day2906_SparkSQL与Hive集成配置详解
任务 97：Day2907_基于SQL和DSL方式分析处理Hive表的数据
任务 98：Day2908_SparkSQL中提供的spark-sql命令行的使用（与Hive类比）
任务 99：Day2909_SparkSQL中ThriftServer配置使用详解
任务 100：Day2910_SparkSQL性能优化及DataFrame是什么
任务 101：Day2911_SparkSQL读取多种数据数据实例
任务 102：Day2912_DataFrame实现多数据源数据的关联分析（MySQL与Hive表数据）
任务 103：Day2913_SparkSQL读取AVRO格式数据详解.exe
任务 104：Day2914_SparkSQL读取CSV或TSV格式数据详解.exe
任务 105：Day2915_自定义schema的方式转换RDD为DataFrame及直接运行SQL在数据文件上
任务 106：Day2916_SparkSQL中自带函数的使用及如何自定义UDF、注册和使用
任务 107：Day2917_Spark 2.x中SparkSQL基本使用（一）
任务 108：Day2918_Spark 2.x中SparkSQL基本使用（二）
任务 109：笔记.zip
任务 110：代码.zip
任务 111：数据.zip
任务 112：作业
任务 113：RTSP01_项目：编写Scala代码模拟KafkaProducer产生订单数据（一）
任务 114：RTSP02_项目：编写Scala代码模拟KafkaProducer产生订单数据（二）
任务 115：RTSP03项目：模拟产生Json格式订单数据批量发送到KafkaTopic（一）
任务 116：RTSP04项目：模拟产生Json格式订单数据批量发送到KafkaTopic（二）
任务 117：RTSP05项目：基于SCALA的贷出模式编写SparkStreaming编程模块（一）
任务 118：RTSP06项目：基于SCALA的贷出模式编写SparkStreaming编程模块（二）
任务 119：RTSP07项目：从Kafka的订单Topic读取及编程实现【实时累加统计各省份销售营业额】
任务 120：RTSP08项目：优化实时程序设置参数（处理条目数、序列化及JVM GC策略）
任务 121：RTSP09项目：集成SparkSQL分析基于窗口Window的每十秒的各个省份的订单量（一）
任务 122：RTSP10项目：集成SparkSQL分析基于窗口Window的每十秒的各个省份的订单量（二）
任务 123：RTSP11项目：高级特性优化之建议使用DStream基于RDD进行操作
任务 124：笔记.zip
任务 125：代码.zip
任务 126：0101-为什么要学习PySpark编程
任务 127：0102-PySpark编程的内容大纲
任务 128：0103-Python介绍、Windows下2.7的安装及测试
任务 129：0104-PyCharm安装、设置及创建工程和测试
任务 130：0105-PySpark第三方包的安装配置
任务 131：0106-基于Python的SparkCore编程模板
任务 132：0107-解决Windows下开发HDFS相关警告
任务 133：0108-并行化本地集合创建RDD及RDD初步使用
任务 134：0109-Python中函数的定义及匿名函数lambda使用
任务 135：0110-PySpark实现WordCount程序及测试
任务 136：0201-PySpark实现从HDFS读取数据实现WordCount（属性配置）
任务 137：0202-深入WordCount程序之SortByKey
任务 138：0203-深入WordCount程序之Top
任务 139：0204-Anaconda2版本、安装、配置、使用及测试（针对pyspark编程）
任务 140：0205-Spark自带交互式pyspark命令的使用
任务 141：0206-pyspark底层架构及如何提交pyspark程序运行
任务 142：0301-Linux下源码编译安装Python及测试pyspark程序
任务 143：0302-快速掌握SparkStandalone及HistoryServer配置与功能使用
任务 144：0303-运行Python脚本在SparkStandalone集群模式下
任务 145：0304-案例分析：需求分析及读取数据、过滤清洗转换数据
任务 146：讲义、代码、笔记、软件等
任务 147：0401-案例分析：浏览量PV和访客数UV分析实现
任务 148：0402-案例分析：熟悉RDD中其他API函数的使用
任务 149：0403-PySpark基础使用回顾总结
任务 150：0404-淘宝数据分析：Python的SparkSQL编程及RDD转换为DataFrame
任务 151：0405-淘宝数据分析：Python的DataFrame的SQL和DSL数据分析
任务 152：0501-Linux系统配置pyspark及安装PyCharm的配置_转
任务 153：0502-pyspark编程SparkSQL从Hive表和MySQL表读取数据及JOIN分析
任务 154：0503-pyspark中SparkSQL定义函数及在SQL与DSL中使用
任务 155：0504-基于Python的SparkStreaming从Network读取数据处理
