京东6.18大促主会场领京享红包更优惠

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 1688|回复: 0

关于.net环境下跨进程、高频率读写数据的问题

[复制链接]

21

主题

0

回帖

10

积分

新手上路

积分
10
发表于 2021-8-8 05:15:59 | 显示全部楼层 |阅读模式 来自 中国
目录
, W3 \4 y, j2 D# _$ C# k; y; N
  F) B  ?2 m% j% j1 b, l- U5 X) W. [
    ( W" B0 ?9 H, W, s5 g- y2 E) _$ x% v
  • 一、需求背景
    + `0 Y# r! b0 x+ |
  • 二、没错,第一节写的太多了
    . `9 a8 v' x; Z& O, N
  • 三、开始写代码了) l  U7 D* n' }: m% e7 @- X8 P! Q- `
  • 四、真的要贴代码了
    : L. p- O5 g: y2 o" u
  • 五、差点忘记做成DLL了  r7 n! [' z  i
  • 六、因为跨线程、进程,所以要考虑加入互斥量哦$ D' G  u2 i- X* h: D, X! A
5 ^+ ~0 I- c1 \# j5 ]
一、需求背景# s+ A; U% i3 Z
3 h9 P! b3 \5 w7 A) V
1、最近项目要求高频次地读写数据,数据量也不是很大,多表总共加起来在百万条上下。  K+ x" S2 F* a* x+ Y' x: M
单表最大的也在25万左右,历史数据表因为不涉及所以不用考虑,$ @$ W+ s& j0 D* \* S& k8 k5 r
难点在于这个规模的热点数据,变化非常频繁。' A0 }+ ^1 f: K. g2 B; u
数据来源于一些检测设备的采集数据,一些大表,有可能在极短时间内(如几秒钟)可能大部分都会变化,& X$ A7 i2 \. Q6 t) Z) v- X" B7 z
而且主程序也有一些后台服务需要不断轮询、读写某种类型的设备,所以要求信息交互时间尽可能短。  J  O  W1 O" \
2、之前的解决方案是把所有热点数据,统一加载到共享内存里边,到也能够支撑的住(毫秒级的),但是由于系统架构升级,之前的程序(20年前的)不能兼容。" q9 m5 @1 ]# w
只能重新写一个,最先想到的是用redis,当时把所有API重写完成后,测试发现效率不行,是的,你没有看错,redis也是有使用范围的。
0 C# E8 z" ]3 W9 b- v' T) f2 m: F3、redis读写非常快,但是对于大批量读写操作我觉得支持不够,虽然redis支持批量读写,但是效率还是不够快,
' n' {' k, b6 J对于字符串(string)类型的批量读写,我测试过;效率比较好的在每批次200 至 250条之间,处理20万条数据耗时5秒左右, (PC机,8G,4核)
( L. A2 B% }' O1 M" f' ^" W0 ?7 t而对于有序集合(sorted set)类型,批量写的操作用起来非常别扭,而且没有修改API(如有其他方式请指教),我测试过,效率没string类型那么高
# t$ e% s  ?+ _( v# x其他类型不适合我的业务场景,就没考虑使用了
* j, N. L* ~8 i+ m8 ~4、所以项目组最后决定还是用回共享内存,先决定在.net环境下使用c#的共享内存,这个功能可能使用的人不多,其实在.net4.0版本就已经集成进来了8 V6 s1 I$ r# K: D4 [6 h4 N. i
在System.IO.MemoryMappedFile命名空间下。这个类库让人很无语,因为里边能用的只有Write、Read这2种方法,而且只是针对字节的操作,
6 T# a0 T- W! {; T$ J. h# `5 {) o3 y, }需要非常多的类型转换,非常麻烦!想想,只能以字节为单位去构建一个需要存放百万级数据的内存数据库,得多麻烦?; @: J9 O7 g: \4 e! b% A& B: E% L4 F. H
需要手动搞定索引功能,因为要支持各种查询,最后花了一天的时间写完DEMO,最后测试后发现效率并没有很大提高,因为当时加了互斥量测试,) w* l1 Z0 f9 {) ?
但是离毫秒级差得远。这个技术点有兴趣的可以了解下,园子里有,如:https://www.cnblogs.com/zeroone/archive/2012/04/18/2454776.html
: `( [( z5 P0 R. o4 D) j1 K6 C, X% a/ }
二、没错,第一节写的太多了
% S- j! c6 ]8 X: d$ _$ {- _
/ p: X4 P9 I) G+ K, B1、最后分析,这应该是c#语言的瓶颈,c#对于这种骚操作是不那么成熟的。! j# T: U. _" X3 V3 q, _
2、最后瞄来瞄去,决定使用VC开发一个dll,在里边封装对内存数据的读写功能,然后c#调用1 \6 o+ |; c. r
3、本人的C、C++不那么熟、参考了一些实例,比如园子里的:http://www.cnblogs.com/cwbcwb505/archive/2008/12/08/1350505.html# l7 d! h0 R7 L& F& y+ V8 L
4、是的,你没有看错,2008年的,我还看到一篇更早的,看来底层开发C、C++那么经久不衰不是没有道理的,很多技术现在都在用8 C! N4 ?! r1 n' u) h/ S- q0 w
5、看看什么是共享内存; v& }. Z7 h% X/ W, R5 K. n

- P: h$ `8 @  G/ M2 y( Q4 J
# B5 V) d+ Z5 n0 C- c三、开始写代码了
9 f+ F2 Q- y, c% |7 {
9 P& C) g1 X- f1、首先建2个控制台项目,支持MFC,) o' }' P/ v* R4 @9 V
2、先这样:一个负责创建共享内存,初始化数据
4 i9 F5 Z7 Q$ c( z% [1 `+ @3、再这样:一个读写数据测试,最后修改, O/ s+ S2 s0 I3 B
4、最后修改下图片细节,测试一下,看看效果
  I# x2 i, I8 [! \0 ?
+ U; R' a6 N9 E0 O1 S
! P+ O  ]" [- R3 X
5、完成了,see, 是不是很简单呀?都会了吗?
/ s" N- d  x% @/ L0 G. B; s$ V

! v5 L' u: \  a* @7 g8 F  O! |& Y; t- Q, k! _+ B
四、真的要贴代码了2 M6 G5 n9 H4 H' Z2 Q. @% q4 Q! h

/ }  F. I! S/ _6 A1 a1 v1、先定义个枚举返回状态
  1. typedef enum{    Success = 0,    AlreadyExists = 1,    Error = 2,    OverSize = 3}enumMemory;
复制代码
2、再定义个结构体用来测试
  1. typedef struct{    int        TagID;    char    TagName[32];    int        Area;    double    EngVal;    double    UpdateTime;    double    RawMax;    double    RawMin;    double    RawVal;    char    Name[50];    char    Al;    double    ASTime;    char    MaskState;    double    AMTime;    char    Cf;    char    Tdf;    char    AlarmCode[32];}TENG;
复制代码
3、开始创建共享内存
  1. int Create(UINT size)    {        // Data        HANDLE fileMap = CreateFileMapping(INVALID_HANDLE_VALUE, NULL, PAGE_READWRITE, 0, size, “Name”);        if (fileMap == NULL || fileMap == INVALID_HANDLE_VALUE)            return Error;        if (GetLastError() == ERROR_ALREADY_EXISTS)            return AlreadyExists;        // init        void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, size);        if (mapView == NULL)            return Error;        else            memset(mapView, 0, size);        return Success;    }
复制代码
4、再开始写数据
  1. int Write(void *pDate, UINT nSize, UINT offset)    {        // open        HANDLE fileMap = OpenFileMapping(FILE_MAP_WRITE, FALSE, “Name”);        if (fileMap == NULL)            return Error;        // hander        void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, nSize);        if (mapView == NULL)            return Error;        else            WriteDataPtr = mapView;        // write        memcpy(mapView, pDate, nSize);        UnmapViewOfFile(pMapView);        return Success;    }
复制代码
5、开始读数据
  1. int Read(void *pData, UINT nSize, UINT offset)    {        // open        HANDLE fileMap = OpenFileMapping(FILE_MAP_READ, FALSE, GetTableName());        if (fileMap == NULL)            return Error;        // hander        void *pMapView = MapViewOfFile(fileMap, FILE_MAP_READ, 0, 0, nSize);        if (pMapView == NULL)            return Error;        else            ReadDataPtr = pMapView;        memcpy(pData, (pMapView, nSize);        UnmapViewOfFile(pMapView);        return Success;    }
复制代码
6、OK了,不复杂,网上都有这些资料,最后我们贴上测试程序
  1. int _tmain(int argc, TCHAR* argv[], TCHAR* envp[]){    int length = 100000;    CEng * ceng = new CEng();    DWORD dwStart = GetTickCount();    for (int i = 0; i < length; i++) {        TENG eng;        ceng->Read(&eng, ceng->size, ceng->size * i);        eng.EngVal = i;        ceng->Write(&eng, ceng->size, (i*ceng->size));        if (i % 10000 == 0 || i == length - 1)            printf("正在读写的Eng.TagName:%s \n", eng.TagName);    }    printf("总条数%d,耗时:%d 毫秒 \n", length, GetTickCount() - dwStart);    // 验证数据    TENG eng5000;    ceng->Read(&eng5000, ceng->size, ceng->size * 5000);    printf("\n验证数据 \n");    printf("第5000个Eng的TagID:%d, EngVal:%lf \n", eng5000.TagID, eng5000.EngVal);    scanf_s("按任意键结束");    return 0;}
复制代码
7、还有写测试程序
  1. int _tmain(int argc, TCHAR* argv[], TCHAR* envp[]){    int length = 100000;    CEng * ceng = new CEng();    ceng->Create(ceng->size * length);    DWORD dwStart = GetTickCount();    for (int i = 0; i < length; i++)    {        TENG eng;        memset(&eng, 0, ceng->size);        eng.TagID = i;        sprintf_s(eng.AlarmCode, "AlarmCode.%d", i);        sprintf_s(eng.TagName, "TagName.%d", i);        if (i % 10000 == 0 || i == length - 1)            printf("正在写入的Eng.TagName:%s \n", eng.TagName);        ceng->Write(&eng, ceng->size, (i*ceng->size));    }    // print time    printf("写入数据完毕,总条数:%d\n", length);    printf("初始化值共享内存区耗时:%d 毫秒 \n", GetTickCount() - dwStart);    scanf_s("按任意键结束");    return 0;}
复制代码
8、当然得再贴一遍啦
5 m  B6 |" g+ n. G+ Y

6 M5 P/ V& x' G" J% \' p
# M1 C0 A* x6 B( B, X
5 a' p1 P/ {5 e* ^% |0 q0 B
五、差点忘记做成DLL了
+ u! t; p3 p' U( p* U. W" q$ q
; {/ a2 h* j( B- y5 C# D1、定义外部函数
  1. extern "C" __declspec(dllexport) int ReadFromSharedMemory(TENG *pData, int nSize, int offset){    return ceng->Read(pData, nSize, offset);}extern "C" __declspec(dllexport) int WriteToSharedMemory(void *pData, int nSize, int offset){    return ceng->Write(pData, nSize, offset);}
复制代码
2、好了,VC到此为止,可以去领盒饭了,c#进场
  1. public class Lib    {        [DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)]        public static extern int ReadFromSharedMemory(IntPtr pData, int nSize, int offset);        [DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)]        public static extern int WriteToSharedMemory(IntPtr pData, int nSize, int offset);    }
复制代码
3、c#测试一下
  1. static void Main(string[] args)        {            var length = 100000;            var startTime = DateTime.Now;            var size = Marshal.SizeOf(typeof(TEng));            var intPtrOut = Marshal.AllocHGlobal(size);            var intPtrIn = Marshal.AllocHGlobal(size);            for (var i = 0; i < length; i++)            {                Lib.ReadFromSharedMemory(intPtrOut, size, size * i);                var eng = Marshal.PtrToStructure(intPtrOut);                eng.EngVal = i;                Marshal.StructureToPtr(eng, intPtrIn, true);                Lib.WriteToSharedMemory(intPtrIn, size, size * i);                if (i % 10000 == 0)                    Console.WriteLine("eng.TagID:{0}", eng.TagID);            }            Console.WriteLine("总条数{0},耗时:{1} 毫秒", length.ToString(),                (DateTime.Now - startTime).TotalMilliseconds.ToString());            // 验证数据            var intPtr100 = Marshal.AllocHGlobal(size);            Lib.ReadFromSharedMemory(intPtr100, size, size * 100);            var eng100 = Marshal.PtrToStructure(intPtr100);            Console.WriteLine();            Console.WriteLine("验证数据");            Console.WriteLine("第100个Eng的TagID:{0},EngVal:{1}", eng100.TagID, eng100.EngVal);            Console.ReadKey();        }
复制代码

; T( p5 ]2 v, I4、165毫秒,相比在VC下运行,差了一个数量级,但是,也不错了;
! v5 v& o  Y& E: X8 b; N& w. b2 O因为c#环境下需要不断的Marshal.PtrToStructure、Marshal.StructureToPtr,频繁地把数据在托管内存俞共享内存之间搬运
0 k7 E" ]3 c. @. w& H是需要耗费时间的,这点有更好处理方式的请指教,
8 y; B6 Y* i4 K$ o
, Z' K) k' R6 ^" i2 G# x4 p& e/ i六、因为跨线程、进程,所以要考虑加入互斥量哦
2 @0 V$ m* m( P* Q( X$ ]0 Z
5 E0 M6 m) \" a" T% E: b1、很简单,MFC下有现成的类CMutex,加在Write里边在看看效率$ [' K9 d, u) I8 [" P7 P1 p) l2 T
* |) l' Q8 F8 P3 J* ], |
互斥量是需要耗费资源的,多了将进100毫秒' l) h: @. l. h
2、读写都加上互斥量试试看
0 H6 l3 J# k3 D$ ^( O1 f

% |' C/ \% Z) {0 F- J4 }又多了80多毫秒,. R" x0 F' Y* r! t% Q# j
鱼与熊掌不可兼得啊。要根据实际运用场景觉得是否加上互斥量( R) R* x/ @# q# o6 ~1 e( I* W
好了,人家51去游玩、我却宅家里码程序,可见我的趣味还是挺高的,洗澡、洗衣服、然后去吃饭、一天没进食了,
  ^0 w" o# y* F* H以上就是.net环境下跨进程、高频率读写数据的详细内容,更多关于.net跨进程高频率读写数据的资料请关注脚本之家其它相关文章!! R- g# I8 f- ?9 O+ i

1 B6 w  Q+ P5 J6 F' v来源:http://www.jb51.net/article/213616.htm8 p' h( ]' n% W0 f6 w3 C+ m9 @
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×

帖子地址: 

梦想之都-俊月星空 优酷自频道欢迎您 http://i.youku.com/zhaojun917
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|梦想之都-俊月星空 ( 粤ICP备18056059号 )|网站地图

GMT+8, 2026-6-19 18:55 , Processed in 0.036359 second(s), 24 queries .

Powered by Mxzdjyxk! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表