PG平台 电子PG平台 电子数据挖掘指的是在大型的数据库中对有价值的信息知识进行获取， 属于 一种先进的数据信息模式。更具体的说：数据挖掘就是人们常说的知识发现，通过对海量的、杂乱无章的、不清晰的并且随机性很大的数据进行挖掘…
业界和学界都早已开始思考机器学习技术本身在金融市场的应用。但正如高赞回答提到的， 金融市场本身的低信噪比 (signal-to-noise) 导致机器学习很容易出现过拟合的问题。而这一特性导致投资管理人员很难有针对性地对投资组合进行调控。因此机器学习这一工具本身在选股场景下的应用场景还有待商榷。机器学习的优势早在2019年，Keywan Christian Rasekhschaffe 和Robert C. Jones 两位作者就在CFA旗下期刊Financial Analyst Journa…
大家好，我们是工程师和小土豆。我们的目标是带给大家人人都能读懂数据科学。欢迎大家关注我们！ 这个视频给大家详细阐述了数据分析师，数据科学家，数据工程师与机器学习工程师之间究竟有什么关系与区别，希望大…
先说日常节奏，我大概10点左右到公司，12点之前会把时间切的比较碎，写写文档、看看论文、和同事沟通、列一下当天计划。 午休一般到2点（当然总有那么一两天赶进度不休息），下午主要是开会或者集中时间开发。 晚上也比较碎一些，大部分时间是处理下午没做完的工作，或者做上午这些事情。大概9、10点钟下班。 注：文末附算法工程师面试知识点整理～如果要具体统计每类工作的占比，大概这样划分： 算法开发 [图片] 算法开发工作占比70%。…
这里主要介绍如何入门R语言（TIdyverse工作流），进行数据分析工作研究。更多关于R语言入门的基础知识可以看我的其他文章。 1. 数据分析的开端，Tidyverse？tidyverse 是一个清晰的 R 包集合，在数据操作、探索和可视化领域提供统一的数据科学解决方案，这些解决方案具有共同的设计理念。它是由 RStudio 背后的首席科学家 Hadley Wickham 创建的。 tidyverse 中的 R 包旨在提高统计学家和数据科学家的工作效率。包引导他们完成工…
各种机器学习算法的应用场景分别是什么（比如朴素贝叶斯、决策树、K 近邻、SVM、逻辑回归最大熵模型）？
关于这个问题我今天正好看到了这个文章。讲的正是各个算法的优劣分析，很中肯。 正好14年的时候有人做过一个实验[1]，比较在不同数据集上（121个），不同的分类器（179个）的实际效果。 论文题为：Do we Need Hundreds of Classifiers to Solve Real World Classification Problems? 实验时间有点早，我尝试着结合我自己的理解、一些最近的实验，来谈一谈吧。主要针对分类器(Classifier)。 写给懒得看的人： …
Data Science = statistics who uses python and lives in San Francisco 恰好我马上启程到Twitter的data science team，而且恰巧懂一点点统计和住在旧金山，所以冲动地没有邀请就厚脸回答了:D 我认为有几个大方面 1）学好python。 现在几乎所以公司的数据都可以api给你，而python的数据处理能力强大且方便。加之在machine learning的很多算法上，python也独俏一方。另外，它的简明方便迅速迭代开发，15分钟写完个算法就可以看…
数据分析员被扣上了数据科学家的高帽子，换汤不换药马云说中国缺乏人工智能、数据分析的人才，天天炒大数据时代、互联网+。但是 很多公司被拖入了马云无穷无尽的信息战当中，不是所有的公司都有大数据的监控，不是所有的公司都知道怎么把大数据转化成为产值和效益，也就导致了不是所有的所谓的数据科学家都能发挥作用，更不是所有的数据科学都是有很好的ROI的。而这不是中国独有的问题，国外也有类似的问题，传统行业怎么利用数…
一.决策树的基本思想决策树是一种基本的分类与回归方法，它可以看作 if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。将决策树转换成if-then规则的过程如下： 由决策树的根节点到叶节点的每一条路径构建一条规则； 路径内部结点的特征对应规则的条件； 叶节点的类对应规则的结论. 决策树的路径具有一个重要的性质： 互斥且完备,即每一个样本均被且只能被一条路径所覆盖。决策树学习算法主要由三部分构…
电商如何进行大数据分析？直接开门见山，不说废话，都是实操干货。 首先，纠正大家的一个想法：数据分析的重点不在于谁用的工具更复杂，学会基本的Excel 数据透视表 ，图表可视化等基本操作即可，至于高端点的spss，Python，r语言等统计和BI工具都是属于数据分析进阶水平的，下面也会跟大家讲。一、电商的数据分析应该围绕什么展开？拿出经典的“人货场”指标体系图，电商分析基本上也是围绕这三者展开。 [图片] 人：在电商分析中基本上…
【简说基因】画图时，对称或接近对称的图形，可以绘制其一半，从而为其他几何图形预留空间。 画图时我们都希望展示数据更多的细节，但绘图区域空间有限，多种图形混合在一起，有时候会显得拥挤。一种解决方法是：对称或接近对称的图形，只展示其一半，另一半节省下来的空间用于绘制其他图形。而 gghalves 包就是专为这样一种需求而开发的，它提供 3 个半几何图形，分别是箱线图、小提琴图和散点图： geom_half_boxplot geom_half…
本文章部分内容基于之前的一篇专栏文章： 统计学习引论 在机器学习里，通常来说我们不能将全部用于数据训练模型，否则我们将没有数据集对该模型进行验证，从而评估我们的模型的预测效果。为了解决这一问题，有如下常用的方法： 1.The Validation Set Approach第一种是最简单的，也是很容易就想到的。我们可以把整个数据集分成两部分，一部分用于训练，一部分用于验证，这也就是我们经常提到的训练集（training set）和测试集（tes…
所谓高手，就是把自己活成了贝叶斯定理！ “人生中最重要的问题，在绝大多数情况下，真的就只是概率问题。”--- 皮埃尔-西蒙·拉普拉斯（1749-1827） 这个定理非常有用，非常厉害！它简单优雅、却深刻隽永。贝叶斯定理出现在18世纪，当时还备受争议，但真正大规模派上用途还得等到计算机的出现。因为这个定理需要大规模的数据计算推理才能凸显效果，它在很多计算机应用领域中都大有作为，如自然语言处理，机器学习 ，推荐系统，图…
新加坡国立大学institute of data science的Ph.D项目如何？
[文章: 新加坡国立大学NUS数据科学学院IDS博士生招生宣传] 此文内容有作者的讲解视频，欢迎关注我的B站和一键三连哦~ 新加坡国立大学数据科学博士项目及新加坡留学宣传 - 新加坡留学/读博看这个就够了 - NUS计算机数据科学申请 - 新加坡留学生活分享_哔哩哔哩_bilibili 新加坡国立大学（National University of Singapore, NUS）数据科学专业（Institute of Data Science, IDS）博士生招生宣传页。 [图片] [图片] NUS IDS网站： …
论文 GATE: Gated Additive Tree Ensemble for Tabular Classification and Regression 代码 一 本文概要虽然深度学习在图像、音频和文本等同质数据领域取得了显著的成果，但对于表格数据而言，这种技术的表现并不是最佳的。目前，浅层模型（如梯度提升决策树）被认为是处理表格数据的最新技术。机器学习社区的研究表明，即使是最新的深度学习模型，在处理表格数据时仍然存在性能、训练和推理时间等方面…
年薪百万的机器学习专家，到底产生了什么价值，专门搞机器学习算法研究的出路在哪里？
根据我的观察，不论是百万年薪的专家大牛，还是二十到七十万的各类公司里的各类普通算法工程师，产出都小到不值得他们的年薪，极少数除外。但问题似乎不在他们本身。 AI大众做法就是机器学习里深度学习这一路，已经体系化，就是说上游有算法库（国外压倒），已经经历完整测试，再加上顶会论文和那么多GitHub完整工程免费下载方便安装配置，多到中国本公司绝大多数简单直接的业务，都可以有样学样，场景和任务都有非常接近的，只…
machine learning 在 Java 上的开发是不是已经没落？
多□□多想不开才会在一个 很少动态分配内存、高度性能敏感的场景下，去用一门既不支持内存对齐、不支持SIMD、不支持直接访问驱动和硬件，又没有高度动态特性和灵活表达能力、泛型就是个残废、一半代码是interface定义、构造个Map都能把人写死、连自动类型推理都才刚刚有的语言？可能只有某些推崇连OpenCV都不会用的□□外国佬的人吧。当然，比不上吹了半天java然后点进去是个Python项目这件事那么□□。 附：一个20+行的视频播…
异常检测（anomaly/ outlier detection）领域还有那些值得研究的问题？
这里分享一个我们最近的ICLR23工作，关于非独立样本的分布外检测（Out-of-Distribution Detection，简称OOD检测），即如何识别图结构数据中来自不同分布的节点。一般的OOD检测问题定义为： 当分类器在有限观测的训练数据上完成训练后，需要具备识别测试集中不同于训练主体分布的数据的能力。OOD检测在一些对安全性要求较高的领域（如自动驾驶、医疗诊断、风险投资）具有重要的实际价值。尽管OOD检测在图像领域已被广泛研究[1,2]， …
说起fine-tuning，大家再熟悉不过了，NLP和CV领域基本都是各种预训练模型了。 使用预训练模型最重要的一步就是fine-tuning，因为下游任务是多种多样的，所以每种下游任务都要有个副本，并且finetune会改变所有的参数。这篇论文
就提出一个轻量级的替代方式，使得语言模型参数固定，优化一个较小的特定任务的向量(论文叫prefix).该方案是受到最近大火的Prompting的…
ACM SIGKDD（国际数据挖掘与知识发现大会，KDD） 会议始于 1989 年，是数据挖掘领域历史最悠久、规模最大的国际顶级学术会议，也是首个引入大数据、数据科学、预测分析、众包等概念的会议。KDD 会议包含 Research 和 Applied Data Science 两个 track。目前，KDD 2022 论文接收结果已正式公布。据了解，KDD 2022 Research track 共收到 1695 篇投稿，其中 254 篇被接收，接收率为 14.9%。相比于 KDD 2021 的 Research track（154…
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
HKU PhD在读，NLPRLRoboticsCV
过去这半年，我读了很多prompt的工作，写了很多prompt的代码，做了很多prompt的实验。个人来讲我挺喜欢prompt这个方向的，但是下面有一些吐槽牢骚话（冷水）我也要和想入坑或者已经被坑的兄弟姐妹们说。 我们都知道，现在prompt基本就火两个，离散化的和连续化的。模板方法，也就是所谓的离散式prompt，无可厚非，没有功劳也有苦劳，工业界也可以从中获益；连续方法，则是在prompt tuning出来之后追平了全数据的性能之后被引爆，…
