YangBao

😀 这里写文章的前言：机器学习三大范式（监督/无监督/强化）与深度网络的关系；回归 vs 分类；输入类型（表格、序列、图像、图结构）；模型作为函数族 + 训练数据选择具体函数；生成模型与潜变量 📝 机器学习的三大范式与深度网络关系核心关系深度神经网络是目前最强大、最实用的一类机器学习模型。将深度网络应用到数据上的过程称为深度学习。深度网络并非三大范式本身，而是实现这三大范式的核心工具/模型家族。三大范式定义了“学什么、如何学”的问题类型和目标，而深度网络提供了强大的函数逼近能力，使这些范式在复杂、高维、结构化数据上取得当前最佳性能。 监督学习：深度网络学习从输入 x 到输出 y 的映射 y=f[x,ϕ]。 无监督学习：深度网络学习数据的内在结构或概率分布（生成模型）。 强化学习：深度网络常被用来表示策略（从状态到动作的映射）或价值函数。 三大范式是否可以通过深度网络实现？是的，完全可以，而且目前最前沿的实现几乎都依赖深度网络。 具体说明如下： （1）监督学习 定义：从带标签的输入-输出对中学习映射关系。 深度网络实现方式： 网络作为函 ...

😀 这是一篇记录生活的碎碎念：欢迎你阅读我的碎碎念,非常感谢稍微学会下记录生活或者想法，毕竟年纪大了，很容易忘记一些事包括之前一些有的没得 📝 多做少想的实际行动想多了全是问题，做多了全是答案。想得再多都是焦虑，做得再少也算进步 个人含义理解 减少自己的胡思乱想，既然决定了前行的方向和目标，就不断的坚持和走下去;假设你不断的停留在不停不停不停的空想上,肯定是没有直接开始做得出来的好；并且随着你想着你越多，你放弃的可能程度也是不断的提升，但是你在整个过程中，是没有任何开始和行动的 所以，让自己行动起来，去贯彻做起来的主义，哪怕再少，也是在持续的不断前进 学会主动远离一些人，告别自己的恋爱脑远离那些让你内耗的人经历了漫长的一段时间的自我内耗，就搁那么一丢丢给自己整没了;索性好在突然的醒悟;从醒悟到现在差不多快2个月了吧，坚持着做许多自己当初没做的事情 去慢慢逐渐告别了内耗 远离那些背叛过的人此处借助张爱玲的一句话，来完全诠释这个二级标题的含义： 人家撇下你的那一刻，一定是觉得某个瞬间没有你，他会生活得更好，那一刻，一辈子都不值得原谅 所以对于有过背叛的人，只会给你非常清醒的 ...

😀 这里写文章的前言：计划一个开源的数据平台; 参考许多数据中台的公司产品 以及 开源项目，进行一个整体的总结;可以大致归纳到如下一些点 离线 实时 算法 数据服务开发 数据质量检查 数据安全 数据资产 调度任务 环境模块 📝系统配置最大力度以项目为隔离,来进行隔离 资源/用户/环境 等信息 进行如下的内容配置: 部门 & 租户 用户 & 角色 项目 ——> 项目资源(比如yarn,hdfs存储资源,数据源,集群资源) 业务流程(每个项目下有多个业务流程) 项目配置(比如这个项目的默认参数等) 📝离线开发开发系统设置 数据交换 和 数据集成 ： 数据的同步，数据库的同步，csv/execl同步,非结构化数据同步 数据开发 传统数据库 ： MySql / GaussDB / Oracle / PostgreSQL / SqlServer / DB2 等数据库 大数据组件： Spark(Sparl/SparkSql/pySpark) ...

😀 这里写文章的前言：记录编译各种项目以及开源项目遇到的问题 本地安装jar包pentaho-aggdesigner-algorithm-5.1.5-jhydeeigenbase-properties-1.1.4greenplum-jdbc-5.1.4 📝 缺少jar包本地编译pentaho-aggdesigner-algorithm-5.1.5-jhydejar包 📎 pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar 本地安装指令: -Dfile 切换为自己本地下载存放jar的位置 mvn install:install-file -Dfile=/home/luohong/Downloads/pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar -DgroupId=org.pentaho -DartifactId=pentaho-aggdesigner-algorithm -Dversion=5.1.5-jhyde -Dpackaging=jar eigenbase-properties-1 ...

😀 这里写文章的前言：数据中台技术记录 📝 数据底座 CDH闭源前的最后一个版本 CDP USDP DataSophon 📝 数据交换(数据集成)从各种数据源采集结构化和非结构化数据，包括实时数据采集和批量数据采集 将来自不同系统和不同格式的数据进行整合，实现一个统一个的数据视图 数据交换 API: 采集第三方的API的数据 日志采集： 采集应用日志 爬虫: 采集网页数据 数据源抽取: 直接通过数据源进行抽取 数据集成数据提取(Data Extraction)数据清洗（Data Cleaning)数据转换（Data Transformation）数据加载（Data Loading）数据清洗对采集的数据进行过滤、修正、归一化等,提高数据质量,修复脏数据。 📝 数据开发离线开发 Spark Hive Flink 实时开发 Kafka Spark Streaming Flink 算法开发暂不支持 📝 任务调度 Azkaban Airflow 海滩调度器 📝 数据可视化通告报表,dashboard等对数据和洞见进行直观的展示;帮助用户理解和决策 Apache S ...