Posts

Linux 三剑客之 Sed，相比于擅长数据查找定位的 Grep，Sed（Stream Editor）擅长做的是数据修改，做的主要是做一些增删改的功能。 sed 和 awk 的区别是什么？ Intro 首先介绍 Sed 命令，Stream Editor 流编辑器，针对字符流来进行文件编辑，同样，其核心也在于正则匹配式，其用法如下： bash sed [option] {script} [input-file] 其中{script}可以理解为三者的组合：sed 动作指令+Reg 用正则&行号确定修改位置+修改的内容：Script 是 Sed 的核心，分别对应着：操作的行为，操作的位置和操作的内容。 Sed 的用法也可以按照这个来记： bash sed [-hnV] [-e <script>] [-f <script文件>] [文本文件] h 显示 helo ；-n 表示静默输出，-V 显示版本；参考第一种用法，-e 可以指定多个 script 对输入的文件进行处理，-f 则可以将多个 script 写在文件中，通过读取文件中的 scripts 来对文本文件进行处理。 ...

Linux 三剑客之 Grep。Grep 估计会是大部分 Linux 用户最常用的文本搜索命令了，在三剑客中的使用场景也是最广泛的。在对正则有了基本了解之后，就可以更好的使用 Grep，同时也可以通过 Grep 的使用来更好的掌握常用的正则表达式。 Intro 首先介绍 Grep 命令，Global Regular Expression Print 全局正则表达式输出，使用正则表达式搜索文本内容输出。其使用模板如下： bash grep [option] pattern file option 指定 grep 的搜索模式 pattern 需要搜索的内容，可以用正则表达式指定一个模式来做匹配 file 可以是文件夹等路径，用来确定搜索的范围（仅支持通配符）[[Published发布/Linux三剑客之正则]] 接下来分别对两个部分进行简单的说明，file 的范围指定参考正则文章中对通配符的介绍即可。 Option 搜索模式 参考资料：man grep ，ManPage-zh 具体完整的有哪些搜索模式可以在 man page 中进行查看。这里主要介绍一些常见的搜索模式和一些使用场景。 ...

“awk、grep、sed 是 linux 操作文本的三大利器，合称文本三剑客，也是必须掌握的 linux 命令之一。三者的功能都是处理文本，但侧重点各不相同，其中属 awk 功能最强大，但也最复杂。grep 更适合单纯的查找或匹配文本，sed 更适合编辑匹配到的文本，awk 更适合格式化文本，对文本进行较复杂格式处理。“ Linux文本三剑客超详细教程—grep、sed、awk 在介绍这三个命令之前，需要对正则表达式有所了解，结合正则表达式来使用，才能发挥这 linux 三剑客的的全部能力。 正则表达式 RegExp 正则表达式： Regual Expression 为一类特殊字符和文本符号共通约定的一种 pattern，其中的一些字符并不表示其本身的含义，而是用来做通配符号。 其中基本正则表达式 BRE 是普遍支持的，而拓展正则表达式 ERE 通常则是需要特殊的参数来启用的。通过正则表达式中特殊符号的辅助，能够更快的过滤，查找，替换，处理字符流等。 除了在 grep、sed、awk 的 linux 三剑客中，在各个语言和各种搜索函数的地方，正则表达式都被普遍支持，应用相当广泛。 基础正则表达式对应的元字符主要有以下几个： bash ^ $ . [ ] * 而拓展正则表达式在上述元字符的基础上增加了： bash ( ) { } ? + | 等字符，接下来我们将逐一展开各个元字符的作用。 ...

本文简要介绍对内网穿透技术、对内网穿透技术的需求以及介绍一些用于"个人"进行内网穿透的工具和使用。 1. 什么是内网穿透(NAT traversal） 在计算机科学中，NAT穿越（NAT traversal）涉及TCP/IP中的一个常见问题，即在处于使用了NAT设备的私有TCP/IP网络中的主机之间创建连接的问题。 其中 NAT 即网络地址转换 （Network Address Translation）在计算机网络中是一种在 IP 数据包通过路由器或防火墙时重写来源 IP 地址或目的 IP 地址的技术。这种技术被普遍使用在有多台主机但只通过一个公有 IP 地址访问互联网的私有网络中。它是一个方便且得到了广泛应用的技术。当然，NAT 也让主机之间的通信变得复杂，导致了通信效率的降低。 NAT 是作为一种解决IPv4地址短缺 以避免保留 IP 地址困难的方案而流行起来的。NAT 成了家庭和小型办公室网络连接上的路由器的一个标准特征。 其中最为常见的 NAT 设备就是家家户户都有的路由器，将所有的设备在局域网中统一管理，并基于唯一的公网 ip 对互联网（私有网络）进行访问。 而 NAT 会带来以下的问题，因此会需要内网穿透的技术： 外网主动发起的服务无法准确的定位到内网的指定机器，会被 NAT 设备丢弃，因此链接会变成单项的，无法双向交互。 因此无法在外网访问内网机器提供给局域网的服务，因此我们的机器，我们部署于 NAS、docker 的服务就只能在局域网中访问，在一定程度上就造成不便。 2.如何实现内网穿透 解决方法也比较直观，在内网中建立一个代理服务器，其暴露在公网中，这样，通过直接访问该代理服务器进行中转，进而直接访问到指定的机器，这样其实就是建立了一个反向代理 来实现内网穿透。 ...

Mac 的 Terminal 和 Ubuntu 的操作上较为相似，都是 Unix 的吧，但是要注意一下安全和软件管理库。 其他的参考资料： https://www.youtube.com/watch?v=RNqDkF17ogY&t=787s Temrinal 终端 The default terminal is zsh, so we do not need to install zsh from scratch. Brew we install brew follow the official website settings : bash /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" Iterm 2 After install brew we can install iterm 2 like this : ...

在一个庞大的组织架构中，CI/CD 和 Devops 的概念是避不开的，了解它的工作原理和概念能帮助我们更好的与他人进行协作。 CI/CD 介绍 这是一个用来描绘 CI/CD 的示意图，其描绘了 CI/CD 的工作流和各自的一些职责，接下来本文分别对两者进行介绍。 CI (Continuous integration) 持续集成 持续集成是面向开发者（Developer）的环节。从上述的图也可以看出，整体的流程如下： Developer 基于给出的需求进行编码（code），完成 Feature 或者 Bug 修复后，提交（Commit）代码，然后平台会对这些需要（Merge Request）代码进行编译（Build），编译通过后，执行自动化的持续测试（Continuous Test），待测试通过后才会正式合并入主干。 也就是说，CI 工具在检测到代码变更后，自动对其执行编译和单元测试，验证其代码的正确性和可用性，以及是否适合与源代码进行集成，然后进行自动集成。 该流程有以下的优势： 能够避免不同开发环境带来的不一致问题 减少手动操作 清晰的版本管理和控制 降低人为操作的风险 CD (Continuous deployment)持续部署 持续部署则是面向 IT 运维技术人员（ops）的环节，整体流程如下： Devs 成功 发布代码(release) 后，CD 工具会自动 部署（deploy） 该 service 到服务器上，进行发布，直接部署到生产环境中，可供 操作（operate），并通过 监控（monitor） 来确保服务的正常运行，如果出现问题后，就即时 FeedBack 给开发者。 持续交付是一种软件开发实践，它与 CI 结合使用，可自动执行基础结构预配和应用程序发布过程。作为 CI 过程的一部分测试和构建代码后，CD 会在最后阶段接管，以确保它包含随时部署到任何环境所需的一切。CD 可以涵盖从调配基础结构到将应用程序部署到测试或生产环境的所有内容。使用 CD，软件的构建使其可以随时部署到生产环境。然后，可以手动触发部署或移动到持续部署，其中部署也是自动化的。 该流程提供了这样的能力： 确保随时随地能进行部署 确保更新能够正常执行 CT (Continuous Test) 持续测试 持续测试是一种软件测试实践，其中测试持续运行，以便在错误引入代码库后立即识别错误。在 CI/CD 管道中，持续测试通常是自动执行的，每次代码更改都会触发一系列测试，以确保应用程序仍按预期工作。 ...

本文的博客页面基于 Hexo +Icarus 主题搭建，在使用过程中对该主题做了一些简单的配置，以适应自己的需求。这里介绍一下自己粗浅的方案。 十分推荐 Icarus 这个主题，功能支持十分全面而且作者的文档也较为详实，推荐大家去了解。 拓宽显示页面区域 include/style/base.styl 中定义了各种基本页面尺寸： js $gap ?= 64px $tablet ?= 769px $desktop ?= 1088px $widescreen ?= 1280px $fullhd ?= 1472px 可以在 include/style/responsive.styl 中定义 2 栏 3 栏情况下所使用的宽度： js +widescreen() .is-3-column .container max-width: $fullhd- $gap width: $fullhd - $gap .is-1-column .container, .is-2-column .container max-width: $widescreen - 2 * $gap width: $widescreen- 2 * $gap 移动端优化 该主题在移动端表现的时候，两侧的 widget 会自动挪到下方，这样每个文章看完的时候体验很差，所以我希望在移动端的时候能隐藏这些 widget。 ...

本文介绍计算大规模数据流中的元素出现频次的方法 CMS，以及其简单改进Count-Mean-Min-Sketch Intro & Scene 在大数据场景下，比如网页的 TopK 问题，爬虫的是否访问过的问题，都是一种出现频次相关的问题，那么在系统设计的时候，如何选择策略和数据结构去存储相关的数据是最高效合适的呢？ 计算元素的出现频次，如果出现与普通的场景下，简单的方案就是用 hashmap 来记录元素出现的次数： cpp std::unordered_map<std::string, int> freq; for(const auto& e: elements){ if (freq.find(e) == freq.end()){ freq[e] = 1; }else{ freq[e] += 1; } } 但是这种方式在大量数据流的情况下，如果存在大量唯一元素的情况下，会占用大量的内存，导致其无法应对大数据场景，因此在"时间换空间"like 的策略选择中，这里就需要考虑通过时间，或者准确率等其他的因素来换空间。 通常来说，针对大数据场景，会无限扩张的数据结构显然是不适用的，所以希望能用固定的空间来进行计数的管理，同时希望尽量不要影响到运行的时间，换言之，可以牺牲掉一定的准确性，来实现节省空间的效果。 基于上述需求，我们可以想到 Hash 算法：将无限大的空间映射到固定的 size 的输出上；而大数据场景下的 Hash 会遇到冲突会被无限放大的问题，如何解决冲突是最核心的问题 基于概率数据结构实现的 Blomm Filter 算法采取多 Hash 的方法来减少冲突 而其衍生出来的 CMS 算法以同样的思想，基于不同的设计，更为适应这种计数场景 下面介绍该方法的具体实现 CMS 的具体实现 首先第一点，通过 hash 来实现数值空间的转换，通过哈希函数 H 将输入元素 x 映射到一维数组上，通过该 index 的值来判断元素的 Count（是否存在） ...

@Aikenhong 的旧笔记翻新完善 1.0 Python 的灵活和广泛应用场景来自于众多的第三方库，由于强大的可拓展性和众多的库，使得 Python 的使用简单灵活，且应用面极广。 但是不同库之间的相互依赖关系，对版本的不同要求等等因素，使得"环境配置"成为了开发者闻之变色的一词，对一个新的库和项目环境的配置尝尝会花去大量的时间，这可能也是 Docker、Venv（虚拟环境）必须存在的原因之一。 这里不对 Docker 及其相关技术，进行说明，会另开章节进行学习。 才疏学浅的本菜鸡希望从 python 开发者避不开的 conda 和 pip 出发介绍一下关于库安装的一些事情，以及这两个 CLI 的关系。 Anaconda MiniConda 和 Conda anaconda 是一个针对数据科学的 Python 发行版，其包含了一下三个方面的内容： 完整的 python，ipython numpy、Script 等常用的数据科学库 包管理器 Conda 和 pip 软件发行版是在系统上提前编译和配置好的软件包集合， 装好了后就可以直接用 miniconda 是 conda 的发行版，其包含了 conda 本体和其所需的所有环境，安装了 miniconda 后就可以正常使用 conda，由于其不包含 python 和诸多第三方包，所以会比 anaconda 纯净得多，我们可以基于其从零开始搭建一个完整的环境。 而 conda 只是一个包（lib、package）和环境（env）的管理工具，其用于自动安装，升级，（也可分析包之间的相互依赖关系）的工具。 Conda 和 Pip 的关联和区别 conda 是通用（语言无关且跨平台）的包管理器，它发源于 python 的 pydata 社区，但他不仅适用于 python 包的管理，还适用于任何语言写的包和依赖，但是我们应该大多数时候只用来做 python 管理。 其只能在 conda 环境中安装包，但是可以安装各种语言和各种类型的包。 pip（pip install package） 是 python 官方认证的 python 包通用管理器，只能管理 python 包，安装发布于 python package index（pypi）上的所有包，均由 python 官方管理。 ...

Update:@20230214 shift+右键: 在此处打开 powershell. PowerShell ，这里的 PowerShell 和 windows 的已经不是同一个东西了，可能要更先进一些，通过 msi 进行安装，安装完后重启 terminal 就会自动的添加配置，后续的配置在这个 new shell 中进行会更好一些 Basic Setting Setting & Cancel Proxy 设置代理如下： powershell netsh winhttp set proxy 127.0.0.1:8890 # 查看代理设置情况 netsh winhttp show proxy 取消代理设置使用： shell netsh winhttp reset proxy Setting Policy 如果 powershell 中禁止运行脚本运行： ...