首页
学科
前沿科技
计算机与信息技术
经济管理
人文社科
自我提升
自然科学
综合学科
课程
精品好课
精彩直播
专辑系列
LM特色自研课
学习顾问
教育合作伙伴
访问门户/校内平台
西浦学习超市门户页
西浦学习超市校内学习平台
会员专区
活动/会议
首页
学科
前沿科技
计算机与信息技术
经济管理
人文社科
自我提升
自然科学
综合学科
课程
精品好课
精彩直播
专辑系列
LM特色自研课
学习顾问
教育合作伙伴
访问门户/校内平台
西浦学习超市门户页
西浦学习超市校内学习平台
会员专区
活动/会议
登录
English
登录
English
大数据计算引擎 - Spark详解与实战
第135任务： 0110-PySpark实现WordCount程序及测试
查看课程
任务列表
第1任务： 讲义
第2任务： Day2501_大数据分析框架概要、Spark课程学习计划及建议
第3任务： Day2502_为什么学习SCALA语言及SCALA语言介绍和学习提纲
第4任务： Day2503_SCALA环境搭建及IDEA安装配置（JAVA安装、SCALA安装及IDEA安装）
第5任务： Day2504_SCALA语言HelloWorld及安装总结（作业LINUX系统安装）
第6任务： Day2505_SCALA中变量的声明（两种方式）
第7任务： Day2506_SCALA中数据类型及操作符
第8任务： Day2507_IF语句及WHILE循环、循环表达式及FOR基本使用
第9任务： Day2508_FOR循环深入讲解及yield功能
第10任务： Day2509_SCALA中的Breaks使用
第11任务： Day2510_函数的定义（如何确定一个函数）
第12任务： Day2511_函数的定义（各种情况下函数定义与使用）
第13任务： Day2512_函数的作用域、默认参数函数和名称参数函数使用详解
第14任务： Day2513_变长参数函数和内部函数使用详解
第15任务： Day2514_匿名函数定义与使用
第16任务： Day2515_高阶函数定义与使用
第17任务： Day2516_深入高阶函数的使用
第18任务： 笔记.zip
第19任务： 代码.zip
第20任务： 作业
第21任务： 讲义
第22任务： Day2601_数组Array和ArrayBuffer
第23任务： Day2602_SCALA中集合类Collections概要讲解（对比JAVA中集合类）
第24任务： Day2603_集合类之List和ListBuffer创建与基本操作
第25任务： Day2604_集合List中常见高阶函数使用详解（一）
第26任务： Day2605_集合List中常见高阶函数使用详解（二）
第27任务： Day2606_SCALA中元组创建与使用
第28任务： Day2607_集合类之Set及常见函数使用
第29任务： Day2608_集合类之Map创建与遍历
第30任务： Day2609_集合类综合应用：实现WordCount词频统计
第31任务： Day2610_类Class的定义与创建对象
第32任务： Day2611_对象object及apply方法
第33任务： Day2612_类class的构造方法（主构造方法和附属构造方法）
第34任务： Day2613_SCALA中的Trait初步使用
第35任务： Day2614_SCALA中异常的处理及模式匹配初步使用
第36任务： Day2615_模式匹配之匹配类型、元组
第37任务： Day2616_CaseClass及在模式匹配中使用
第38任务： Day2617_Option（Some、Node）及模式匹配使用
第39任务： Day2618_SCALA中隐式转换详解（结合案例）
第40任务： Day2619_SCALA中隐式参数详解（结合案例）
第41任务： Day2620_综合回顾复习SCALA的所有知识要点
第42任务： 笔记
第43任务： 代码.zip
第44任务： 作业
第45任务： 讲义
第46任务： Day2701_SPARK框架学习的基础及与Spark初步认识（比较MapReduce框架）
第47任务： Day2702_Spark Feature详解及处理数据三步走策略
第48任务： Day2703_Spark 学习资源、源码下载及编译详解
第49任务： Day2704_SPARK 安装目录及使用的方便优点
第50任务： Day2705_Local Mode配置、启动spark-shell及运行程序测试
第51任务： Day2706_编程实现WordCount程序（类比MapReduce实现思路）
第52任务： Day2707_Spark Local Mode深入剖析详解
第53任务： Day2708_使用IDEA创建MAVEN工程及配置依赖
第54任务： Day2709_编写Spark Application开发模板
第55任务： Day2710_深入WordCount程序分析（sortByKey和top函数使用）
第56任务： Day2711_如何导入Spark源码至IDEA中（Windows下）
第57任务： Day2712_Spark Standalone 集群架构、配置、启动深入详解及l测试
第58任务： Day2713_浅析Spark Application运行Cluster组成及如何提交应用
第59任务： Day2714_深入剖析Spark Application中Job、Stage和Task关系
第60任务： Day2715_案例：对原始数据进行清洗过滤及实现每日浏览量统计
第61任务： Day2716_案例：实现每日访客数统计及使用HiveQL进行结果验证、打包运行集群
第62任务： 笔记.zip
第63任务： 代码.zip
第64任务： 配置.zip
第65任务： 资料.zip
第66任务： 作业
第67任务： 讲义
第68任务： Day2801_Spark Application运行的Deploy Mode详解(1)
第69任务： Day2802_使用spark-submit提交应用运行Standalone集群及性能调优
第70任务： Day2803_Spark Application运行的EventLog启用
第71任务： Day2804_Spark HistoryServer配置及使用
第72任务： Day2805_RDD是什么及创建方式
第73任务： Day2806_RDD操作类型及持久化详解
第74任务： Day2807_RDD中常用的Transformation和Action详解（一）
第75任务： Day2808_RDD中常用的Transformation和Action详解（二）
第76任务： Day2809_案例：分组排序TopKey实现及如何处理数据倾斜（分阶段聚合）
第77任务： Day2810_SparkOnYarn：运行SparkApplication在YARN上（编写脚本）
第78任务： Day2811_SparkOnYarn：配置HIstoryServer及运行在YARN的两种架构
第79任务： Day2812_官方案例：读取日志数据及正则解析（CASE CLASS）
第80任务： Day2813_官方案例：依据业务编码实现及熟悉RDD API
第81任务： Day2814_官方案例：其他业务编码实现测试及过滤数据
第82任务： Day2815_官方案例：RDD#top函数使用（自定义排序规则）及提交运行YARN集群
第83任务： Day2816_内核调度：Spark Job Scheduler详解（一）
第84任务： Day2817_内核调度：Spark Job Scheduler详解（二）
第85任务： 笔记.zip
第86任务： 代码.zip
第87任务： 数据.zip
第88任务： 06_脚本.zip
第89任务： 作业
第90任务： 讲义
第91任务： Day2901_SparkSQL的重要性及Spark2.x的生态圈
第92任务： Day2902_SparkSQL前世今生（Hive、Shark、SparkSQL）及初步使用说明
第93任务： Day2903_案例分析：基于DataFrame和SQL分析数据（一）
第94任务： Day2904_案例分析：基于DataFrame和SQL分析数据（二）
第95任务： Day2905_SparkSQL Introduction及处理数据的方式
第96任务： Day2906_SparkSQL与Hive集成配置详解
第97任务： Day2907_基于SQL和DSL方式分析处理Hive表的数据
第98任务： Day2908_SparkSQL中提供的spark-sql命令行的使用（与Hive类比）
第99任务： Day2909_SparkSQL中ThriftServer配置使用详解
第100任务： Day2910_SparkSQL性能优化及DataFrame是什么
第101任务： Day2911_SparkSQL读取多种数据数据实例
第102任务： Day2912_DataFrame实现多数据源数据的关联分析（MySQL与Hive表数据）
第103任务： Day2913_SparkSQL读取AVRO格式数据详解.exe
第104任务： Day2914_SparkSQL读取CSV或TSV格式数据详解.exe
第105任务： Day2915_自定义schema的方式转换RDD为DataFrame及直接运行SQL在数据文件上
第106任务： Day2916_SparkSQL中自带函数的使用及如何自定义UDF、注册和使用
第107任务： Day2917_Spark 2.x中SparkSQL基本使用（一）
第108任务： Day2918_Spark 2.x中SparkSQL基本使用（二）
第109任务： 笔记.zip
第110任务： 代码.zip
第111任务： 数据.zip
第112任务： 作业
第113任务： RTSP01_项目：编写Scala代码模拟KafkaProducer产生订单数据（一）
第114任务： RTSP02_项目：编写Scala代码模拟KafkaProducer产生订单数据（二）
第115任务： RTSP03项目：模拟产生Json格式订单数据批量发送到KafkaTopic（一）
第116任务： RTSP04项目：模拟产生Json格式订单数据批量发送到KafkaTopic（二）
第117任务： RTSP05项目：基于SCALA的贷出模式编写SparkStreaming编程模块（一）
第118任务： RTSP06项目：基于SCALA的贷出模式编写SparkStreaming编程模块（二）
第119任务： RTSP07项目：从Kafka的订单Topic读取及编程实现【实时累加统计各省份销售营业额】
第120任务： RTSP08项目：优化实时程序设置参数（处理条目数、序列化及JVM GC策略）
第121任务： RTSP09项目：集成SparkSQL分析基于窗口Window的每十秒的各个省份的订单量（一）
第122任务： RTSP10项目：集成SparkSQL分析基于窗口Window的每十秒的各个省份的订单量（二）
第123任务： RTSP11项目：高级特性优化之建议使用DStream基于RDD进行操作
第124任务： 笔记.zip
第125任务： 代码.zip
第126任务： 0101-为什么要学习PySpark编程
第127任务： 0102-PySpark编程的内容大纲
第128任务： 0103-Python介绍、Windows下2.7的安装及测试
第129任务： 0104-PyCharm安装、设置及创建工程和测试
第130任务： 0105-PySpark第三方包的安装配置
第131任务： 0106-基于Python的SparkCore编程模板
第132任务： 0107-解决Windows下开发HDFS相关警告
第133任务： 0108-并行化本地集合创建RDD及RDD初步使用
第134任务： 0109-Python中函数的定义及匿名函数lambda使用
第135任务： 0110-PySpark实现WordCount程序及测试
第136任务： 0201-PySpark实现从HDFS读取数据实现WordCount（属性配置）
第137任务： 0202-深入WordCount程序之SortByKey
第138任务： 0203-深入WordCount程序之Top
第139任务： 0204-Anaconda2版本、安装、配置、使用及测试（针对pyspark编程）
第140任务： 0205-Spark自带交互式pyspark命令的使用
第141任务： 0206-pyspark底层架构及如何提交pyspark程序运行
第142任务： 0301-Linux下源码编译安装Python及测试pyspark程序
第143任务： 0302-快速掌握SparkStandalone及HistoryServer配置与功能使用
第144任务： 0303-运行Python脚本在SparkStandalone集群模式下
第145任务： 0304-案例分析：需求分析及读取数据、过滤清洗转换数据
第146任务： 讲义、代码、笔记、软件等
第147任务： 0401-案例分析：浏览量PV和访客数UV分析实现
第148任务： 0402-案例分析：熟悉RDD中其他API函数的使用
第149任务： 0403-PySpark基础使用回顾总结
第150任务： 0404-淘宝数据分析：Python的SparkSQL编程及RDD转换为DataFrame
第151任务： 0405-淘宝数据分析：Python的DataFrame的SQL和DSL数据分析
第152任务： 0501-Linux系统配置pyspark及安装PyCharm的配置_转
第153任务： 0502-pyspark编程SparkSQL从Hive表和MySQL表读取数据及JOIN分析
第154任务： 0503-pyspark中SparkSQL定义函数及在SQL与DSL中使用
第155任务： 0504-基于Python的SparkStreaming从Network读取数据处理
