首页 > 选课中心 > 分布式系统 > 【快班】让服务飞起来:实时计算及其应用
【快班】让服务飞起来:实时计算及其应用
此课程所属 【大数据攻城狮专业】专业,报名专业套餐,可享受0元学习特惠!点击了解详情
随报随学 共13课 ★★☆
开课时间 课程周期 难易度
招生中

立即报名
管理 架构 框架 高可用 架构设计
课程介绍
      当前我们正处于一个数据经济时代,无论对于一线互联网企业,还是传统企业,对于内部累积的海量数据,都可以从中挖掘出对企业发展深有裨益的知识财富。对于数据挖掘工具而言,实时计算则更能紧跟当前实时数据动态变换,给出一些实时策略调整建议。对于实时计算而言,当前流行的计算工具以Storm(JStorm)、Spark Streaming、Flink为代表,诚然这些工具确实解决了很大部分实时计算需求,但对于一些传统企业或创业早期公司而言,如果也想解决实时计算需求,限于内部资源(人才和硬件)问题,则不见得适合选择这些相对比较重量级框架(维护成本很高);就解决问题而言,如同架构设计或企业招聘一样,选择合适解决方案即可。
  我个人一直从事搜索推荐方面的架构设计工作,根据在百丽优购、搜狐、网易、一点资讯等多年的个性化推荐架构设计经验,这次带领大家一起学习实时计算架构以及在个性化推荐中的使用,重点给大家介绍如何零基础构建一个轻量级实时计算平台,理论结合实践,并重点讲述案例,深入剖析
课程大纲

1课 实时计算当前应用

    1.1 何为实时计算系统?

    1.2 实时计算与日常生活

    1.3 实时计算在日常工作

    1.4 当前主流实时计算框架

         1.4.1 Storm/Jstorm

         1.4.2 Spark Streaming

     1.4.3 底层技术

    1.5 当前实时计算在企业应用

         1.5.1 实时计算在一线互联网企业

         1.5.2 实时计算在传统企业与初创企业

2课 构建属于自己的轻量级实时计算框架

     1.1 实时计算演变

     1.1.1 简易版

     1.1.2 升级版

     1.1.3 升级版应用案例

     1.2 构建个人终极实时计算框架

          1.2.1 总体逻辑架构

          1.2.2 总体物理架构

          1.2.3 要点难点

3课 实时计算框架数据流实时接收篇

     3.1 当前主流MQ

          3.1.1 RabbitMQ

          3.1.2 Kafka

     3.2 实时数据流处理方式

          3.2.1 单条

          3.2.2 Mini- Batch

     3.3 应用实例

      实时接收新闻APP的用户行为数据、入库并同时更新用户画像标签权重

4课 实时计算之底层服务通信

     4.1 当然热门RPC

          4.1.1 Thrift

        架构、数据类型、传输协议及传输和服务方式

        分词服务实例:java-python

          4.1.2 Avro

        序列化/反序列化实例

        RPC服务实例: java-2-javahelloworld

     4.2 WebService

         4.2.1 基于Jetty嵌入式的轻量级WebService实例

5课 实时计算框架——SpringBoot和资源管理Zookeeper

      5.1 轻量级WebService: SpringBoot

      简介

      SpringBoot VS SpringMVC

          快速开发(base on Version1.5.9)

          SpringBoot vs Jetty嵌入式WebService

          实际项目演练

      5.2 资源管理—zookeeper

          简介

      Zk安装启动(base on Version3.4.11)

      ZK之Web管理工具zkdash

      客户端CuratorCRUD及监听

      实际项目演练

6课 实时计算之任务调度及任务拆分独立计算

      6.1 任务调度

      Linux Crontab

      Quartz

      JDK自身Timer

      实际项目演练

      6.1 任务拆分独立计算

          Map/Reduce

      Fork/Join

      Map/Reduce VS Fork/Join

      实际项目演练

7课 实时计算框架之高可用及服务监控

      7.1 服务高可用

      7.1.1 QPS/TPS

      7.1.2 异步并行执行

      7.1.3 多级缓存

          7.1.4 Shard/replica

      7.2 服务监控

           7.2.1 服务所在硬件监控

           7.2.2 服务实时健康状况监控

           7.2.3 服务降级

8课 实时计算框架之缓存篇

       8.1 网络缓存:

       8.1 redis/ssdb/memcachedb

       8.2 Redis4.0安装及新特性

       8.3 Redis客户端使用

       8.2 本地缓存:

       8.2.1 GuavaCache

       缓存清理策略

        两种使用方式

       8.2.2 MapDB简介及使用

9课 个性化推荐系统之常用算法

       9.1 内容相似

       9.1.1 常用分词器

       9.1.2 内容相似算法

       9.2 关联规则

       9.3 协同过滤: UserCFItemCF

       9.4 知识图谱

           9.4.1 前世今生

       9.4.2 Neo4J

       9.4.3 OrientDB

       9.5 主题模型

       9.5.1 词义扩展:w2v d2v

       9.5.2 层级聚类

10课 深度学习DLJ和用户画像

       10.1 深度学习框架DL4J

        10.1.1 简介及Java使用

        10.1.2 模型训练:w2vd2v

        10.1.3 使用训练好的模型:w2vd2v

       10.2 用户画像组成

        10.2.1 用户画像直观形象

        10.2.2 不同维度看待

        10.2.3 画像存储

11课 个性化推荐之用户画像实时更新

       11.1 实时个性化推荐服务

        11.1.1 user-feature

        11.1.2 doc-feature

        11.1.3 二次排序

       11.2 用户画像实时更新流程

        11.2.1 正负反馈

        11.2.2 时间衰减:牛顿冷却定理

        11.2.2 实时兴趣标签权重更新

12课 高可用搜索服务系统之索引篇

       12.1 ES vs Solr

            12.1.1 DBEngines排名比较

            12.1.2 综合比较

       12.2 最新ES6.X介绍

            xpack

            head

            bigdesk

            new feature

       12.2 海量索引拆分:背景及解决方案

       12.3 多集群索引双写同步

13课 高可用搜索服务系统之查询篇

       13.1 高可用搜索服务

        ES集群健康状况监测

        双ES集群互备

            搜索服务之双读

            索引拆分后高效使用

       13.2 个性化搜索

        条件过滤查询

        关键词检索、结合知识图谱

        个性化搜索:相同搜索条件,不同返回结果

        实时计算用户画像

授课讲师
light, 某海外资讯创业公司首席架构师&技术合伙人,硕士毕业10年,曾任职多个一线互联网企业技术专家、资深架构师等,多年来一直从事搜索、数据挖掘和个性化推荐的设计、研发工作,曾多次从零构建完整的搜索和推荐系统,曾开源轻量级分布式实时计算框架light_drtc,并于2016年出版《分布式实时计算框架原理及实践案例》一书。
课程环境
eclipse + linux  + java8
授课对象
有一定Java基础,对实时计算、数据挖掘、搜索及个性化推荐感兴趣的同学。
收获预期

1. 有自己应对实时计算需求的解决方案,不再盲从跟众,有自己独到见解。

2. 对实时计算涉及底层技术都能基本使用;

3. 对当前个性化推荐及搜索有整体认识;

课程学费
学费:400元(固定学费:300元 + 逆向学费:100元)
新颖的课程收费形式:“逆向收费”约等于免费学习,课程收取300元固定收费 + 100元逆向学费,学习圆满则全额奖励返还给学员!
特别说明如下
本门课程本来打算完全免费,某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动,为了防止一些朋友在学习途中半途而废,浪费了讲师的付出,为此我们计划模仿某些健身课程,使用“逆向收费”的方法。 在 报名时每位报名者收取400元,其中300元为固定 收费,另外100元是暂存学费,即如果学员能完成全部课程要求,包括完成全部的书面作业,则100元全款退回。如果学员未能坚持到完全所有的学习计划任务,则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力!
课程授课方式

1、 学习方式:老师发布教学资料、教材,幻灯片和视频,学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。

2、 学习作业:每课均有布置课后作业,学员完成书面作业后则可进入下一课学习。

3、 老师辅导:通过论坛站内信及邮件等多种方式与老师进行一对一互动。

4、 完成课程:最后一课作业交纳后,老师完成作业批改,即可完成课程并取回相应剩余的逆向学费。

联系我们
咨询Email :edu01@dataguru.cnedu02@dataguru.cn
课程入门讨论咨询QQ群:706821899(群内有培训公开课视频供大家免费观看)
咨询QQ: 点击这里给我发消息 点击这里给我发消息
您是否对此课程还有疑问,那么请 点击进入FAQ,您的问题将基本得到解答
全国统一咨询热线: 4008-010-006
最新技术热点、 最新行业资讯,最新培训课程信息,尽在炼数成金官方微信,低成本传递高端知识!技术成就梦想!欢迎关注!
打开微信,使用扫一扫功能,即刻关注炼数成金官方微信账户,不容错过的精彩,期待您的体验!!!

授课老师

其他快班课程

【快班】Node.js Web开发实战
【快班】漫步华尔街
【快班】目标检测模型YOLOV3原理及实战
【快班】Cloudera Hadoop管理认证实战
【快班】【强化学习系列】强化视觉导航技术导引
【快班】PostgreSQL初识与提高
【快班】区块链新时代:技术原理与实操
【快班】Python全栈学习——Python基础及Web开发
【快班】端到端(End TO End)--由传统方法到深度学习
【快班】【百万年薪系列】宽度学习实战及算法解析
【快班】敏捷Agile快速入门
【快班】安全渗透测试工具之Burp Suite使用精讲
【快班】Python全栈学习——Python自动化测试
【快班】系统运维之基础服务进阶实战
【快班】Elastic Stack实战
【快班】测试架构师核心技术
【快班】python网络爬虫应用实战
【快班】locust性能测试实战
【快班】大话流式处理系统 Flink 核心原理
【快班】PyTorch – 深度学习全栈工程师进阶案例实战
【快班】MySQL高可用原理、架构与实战
【快班】快速成为深度学习全栈工程师
【快班】Python数据可视化实战
【快班】股票投资高手武器系列之缠论系统
【快班】基于R的Kaggle实战案例详解
【快班】计算机视觉:从入门到精通,极限剖析图像识别学习算法
【快班】黄金Quant工——量化金融分析师入门
【快班】DL4CV实战——构建基于深度学习的智能图像识别系统
【快班】Web全栈开发理论与实践
【快班】Oracle DB Performance Tuning(DSI系列Ⅳ)
【快班】精准安防场景理解及语义分割
【快班】【免费公开课】Python 的安装与部署
【快班】计算机视觉算法详解与实战开发
【快班】Python金融业数据化运营实战
【快班】人脸识别精准安防讲习班
【快班】Oracle SQL Tuning(DSI系列Ⅲ)
【快班】人脸识别90天速成特训班
【快班】Python3入门到精通实战特训
【快班】基于软件学习数据挖掘算法与案例
【快班】股票投资基础之技术分析
【快班】股票投资基础之基本面分析
【快班】Python机器学习
【快班】python3接口自动化测试开发实战
【快班】【免费公开课】《Hadoop入门手册》——CDH集群安装
【快班】Datastage基础及开发实践
【快班】Tensorflow工程师职场实战技
【快班】互联网金融中的交易反欺诈模型
【快班】OpenAI强化学习实战
【快班】Node.js项目实战:从编写代码到服务器部署
【快班】Java Web开发精讲
【快班】JavaScript从入门到精通
【快班】突击pyspark:数据挖掘的力量倍增器
【快班】赢在大数据-人工智能的应用实践
【快班】【免费公开课】《数据科学入门手册》——DSX架构与部署
【快班】【免费公开课】数据科学无难事
【快班】【免费公开课】《Hadoop入门手册》之 虚拟机的安装和使用
【快班】【免费公开课】玩转数据艺术-数据展示技巧应用实战
【快班】【免费公开课】玩转数据科学——IBM DSX
【快班】【免费公开课】《Hadoop入门手册》——Apache Hadoop集群安装
【快班】【免费公开课】赢在大数据-数据化运营落地实战
【快班】大数据管理
【快班】Streams流计算引航公开课
【快班】抽样调查
【快班】LATEX公式排版系统引航
【快班】Watson Analytics数据分析应用实战公开课
【快班】数据陷阱解读
【快班】R七种武器之文本挖掘包tm
【快班】R七种武器之可视化JS库HTMLWidgets包
【快班】R七种武器之数据加工厂plyr
【快班】R七种武器之交互化展示包shiny
【快班】R七种武器之网络爬虫RCurl
【快班】R七种武器之数据可视化包ggplot2
【快班】R七种武器之金融数据分析quantmod
【快班】Java经验谈
【快班】Go语言实战编程
【快班】DB2 V11新特性全解析
【快班】DB2数据库引航公开课
【快班】STATA统计分析入门
【快班】初识正则表达式
【快班】perl语言入门
【快班】Scala语言入门
【快班】Spark企业级大数据项目实战
【快班】知识图谱实战
【快班】【百万年薪系列】视觉的盛宴:深度玩转人脸识别
【快班】深入浅出设计模式
【快班】Oracle特殊恢复原理与实战(DSI系列)
【快班】Puppet 运维自动化
【快班】ROS机器人操作系统实战
【快班】开启智慧眼-深度玩转计算机视觉与机器认知
【快班】 深度学习框架Keras学习与应用
【快班】zabbix企业级实践
【快班】Qt编程快速入门
【快班】python web框架企业实战详解
【快班】python魔鬼训练营
【快班】数据治理及数据仓库模型设计
【快班】金融的人工智能革命
【快班】软件架构必备基础
【快班】MySQL性能优化最佳实践
【快班】Spark源码导读
【快班】Spark大数据平台应用实战
【快班】金融时间序列分析
【快班】左飞的机器学习十八般算法武艺详解
【快班】计算机视觉与深度学习实战
【快班】Hadoop集群原理与运维实践
【快班】OpenCV计算机视觉产品实战
【快班】黄美灵的Spark ML机器学习实战
【快班】DevSecOps安全交付应用实战
【快班】JavaScript突击-从精通到项目实战
【快班】R语言魔鬼训练营
【快班】基于案例学习bash脚本编程
【快班】量化投资基础计算与模型
【快班】老板说服术之玩转数据展示
【快班】区块链技术从入门到精通
【快班】Python机器学习Kaggle案例实战
【快班】深入浅出Git
【快班】数据库系统实现技术内幕
【快班】Goldengate从入门到精通
【快班】PL/SQL实战魔鬼训练营
【快班】Oracle 12c特性解读-容器数据库和灾备
【快班】Oracle DBA从小白到入职实战应用
【快班】MySQL DBA从小白到大神实战
【快班】深入浅出Oracle
【快班】深度学习PostgreSQL
【快班】Oracle 12C RAC集群原理与管理实战
【快班】Mycat从入门到精通
【快班】基于案例学SQL优化
【快班】ELKStack及Solr企业级搜索引擎实战
【快班】大型电商分布式系统实践
【快班】深入理解Storm与大数据实战
【快班】深入浅出Spring
【快班】Java魔鬼训练营
【快班】面试突击-数据结构与算法速成
【快班】JAVA极客特训
【快班】深入JVM内核—原理、诊断与优化
【快班】Excel数据分析师突击—从入门到精通到项目实战
【快班】人工智能前沿系列之生成式对抗网络
【快班】基于案例学习时间序列分析
【快班】自己动手实践神经网络
【快班】 深度学习框架Tensorflow学习与应用
【快班】自然语言处理软件实验
【快班】Redis技术实战
【快班】推荐系统
【快班】Zookeeper分布式系统开发实战
【快班】Python数据分析案例实战
【快班】Python金融投资分析实践
【快班】Kafka原理剖析及实战演练
【快班】实战Java高并发程序设计
【快班】MongoDB实战
【快班】应用系统架构优化方法与案例实战
【快班】金融市场基础
【快班】Python自然语言分析
【快班】Python突击—从入门到精通到项目实战
【快班】HBase从入门到精通
【快班】Hive数据仓库实践
【快班】Hadoop数据分析平台
【快班】数据分析与SAS
【快班】比特币
【快班】机器读心术之文本挖掘与自然语言处理
【快班】机器读心术之神经网络与深度学习
【快班】快速上手Jmeter性能测试工具
【快班】软件性能测试
【快班】软件自动化测试Selenium2
【快班】大数据必知的java基础
【快班】快速数据挖掘平台RapidMiner
【快班】R语言编程技巧
【快班】深入BI之Kettle篇
【快班】基于案例学Java服务器端程序设计
【快班】Scala从基础到开发实战
【快班】供应链物流—电商发展的“核”动力
【快班】详解SQL与PL/SQL
【快班】Oracle职业直通车
【快班】深度玩转Excel
【快班】Hadoop应用开发实战案例
【快班】大数据的Linux基础
【快班】机器学习
【快班】量化投资
【快班】SPSS数据分析入门与提高
【快班】Python数据分析
【快班】NoSQL与NewSQL数据库引航
【快班】大数据算法导论
【快班】大数据的矩阵计算基础
【快班】R语言数据分析、展现与实例
【快班】大数据的统计学基础

GMT+8, 2020-10-29 21:56 , Processed in 0.192353 second(s), 35 queries .